Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Automatisch differentiëren
Search
Michiel Stock
November 25, 2022
0
61
Automatisch differentiëren
Michiel Stock
November 25, 2022
Tweet
Share
More Decks by Michiel Stock
See All by Michiel Stock
Kernel mean embedding as a unifying theory for distributional data
michielstock
0
350
Differentiable sequence alignment
michielstock
0
270
Optimal transportation for species interaction networks
michielstock
1
190
Computational tools for designing modular biosystems
michielstock
2
170
A drunkard’s walk in the science of cocktails
michielstock
0
410
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
43
7.6k
GitHub's CSS Performance
jonrohan
1031
460k
Navigating Team Friction
lara
187
15k
The Cult of Friendly URLs
andyhume
79
6.5k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
970
Thoughts on Productivity
jonyablonski
69
4.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Visualization
eitanlees
146
16k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Transcript
AUTODIFF Photo by Matt Duncan on Unsplash Michiel Stock @michielstock
[email protected]
KERMIT 1
Automatisch differentiëren 2 Automatisch differentiëren (autodiff) is het automatisch numeriek
berekenen van afgeleiden en gradiënten van stukjes code door de computationele graaf aan te passen. een computerpakket voor autodiff
Wat is het niet? 3 symbolisch afleiden df(x) dx ≈
f(x + d) − f(x) d numeriek afleiden
Methode van Babylon 4 De methode van Babylon is een
algoritme om de vierkantswortel van een getal te berekenen x merk op dat je enkel optellen en delen gebruikt in de berekeningen
Duale nummers 5 Duale nummers zijn een heel eenvoudige manier
om autodiff te implementeren. Dit is een nieuw soort ‘getal’ dat zowel de waarde als de afgeleide bijhoudt. d (x) dx = 1 2 √ x Dit werkt!
Vergel ij k met symbolisch… 6 Vier stapjes van methode
van Babylon uitgeschreven: Boeltje afleiden maakt het nog erger…
Arti fi ciële intelligentie 7 Een artificieel neural netwerk is
een grote functie met parameters: f(θ) Men definieert dan een verliesfunctie die zegt hoe goed het netwerk werkt: ℒ( f(θ)) De afgeleide zegt hoe je de parameters moet aanpassen om het netwerk better te doen laten werken: θ ∂ℒ( f(θ)) ∂θi
Alles kan afgeleid worden! 8 vloeistofsimulaties eiwitstructuren robots fysicamodellen