微分
〜関数の”ある点”における傾きを求める〜
Jun. 2019 created by ITO Akihiro
Slide 2
Slide 2 text
まずは、最小二乗法
y
x
y
x
Slide 3
Slide 3 text
y
x
すべての点からの距離が最短（＝誤差が最小）となる直線
単純に距離の和をとると +/-で相殺されてしまうので二乗和をとる ⇒ 最小二乗法
y
x
L1
L2
L3
L4
L5 L7
L6
L8
L9
L10
Slide 4
Slide 4 text
x
f(x)
❓
y
x
微分
Slide 5
Slide 5 text
a a+h
h
f(a+h)
f(a)
y
x
Slide 6
Slide 6 text
a a+h
h
f(a+h)
f(a)
y
x
Slide 7
Slide 7 text
h
f(x+h)
f(x)
x x+h
y
x
Slide 8
Slide 8 text
No content
Slide 9
Slide 9 text
No content
Slide 10
Slide 10 text
偏微分
y
x
z
現実世界での誤差関数は複雑だが、二次元に落
として考えればシンプルに計算できる。
例えば、三次元の関数なら、グラフをある面で切っ
て、真横や真上から見れば、二次元の関数にな
る。これに対して微分すればよい。
つまり、特定のどれか１つの変数だけに着目して
微分する。
これが、偏微分。
Slide 11
Slide 11 text
No content
Slide 12
Slide 12 text
No content
Slide 13
Slide 13 text
局所解と最適解
y
x
w local
局所解
w optimal
最適解
最適解を見つけるには基本的に
勾配降下法を使うが、
局所解に嵌まり込んでしまい、
最適解に辿り着けなくなる場合がある。
このリスクを少なくするために、
確率的勾配降下法
(SGD：Stochastic Gradient Descent)
等を用いる。