update-directionOfPreactivationInSoftmax

Transcript

1. 出力層の活性化関数がsoftmax 関数 cost 関数がcross entropy error t がone-hot の1 t が = y に対応する正解ラベル とするとき t = t の場合、x がプラス方向に更新されること t ≠ t の場合、x がマイナス方向に更新されること 以上の2 点を証明せよ t k exp x ∑ i i exp xk k k t k k t k @2018 minemichi 1
2. = = t = t 、t ≠ t 、 両方において (n = k)、 (n ≠ k) を求める t = t の場合 t は1、 t = 1 だから = −t (1 − y ) = y − 1 ⋯ (n = k) = t y = 0 ⋯ (n ≠ k) t ≠ t の場合 t は0、 t = 1 だから = −t (1 − y ) = 0 ⋯ (n = k) = t y = y ⋯ (n ≠ k) ∂Z ∂C ∂a ∂C ∂Z ∂a ∑ i ∂yi ∂Ecross ∂xn ∂yi k t k t ∂Z ∂C ∂Z ∂C k t k ∑ n ∂Z ∂C k k k ∂Z ∂C ∑ n n k k t k ∑ n ∂Z ∂C k k ∂Z ∂C ∑ n n k k @2018 minemichi 2
3. t = t の場合 W ← W − μ W ← W − μ(y − 1) −1 ≤ y − 1 ≤ 0 よって、x はプラス方向へ更新される t ≠ t の場合 W ← W − μ W ← W − μ(y ) 0 ≤ y − 1 ≤ 1 よって、x はマイナス方向へ更新される k t ∂Z ∂C ∂W ∂Z k ∂W ∂Z k k k t ∂Z ∂C ∂W ∂Z k ∂W ∂Z k k @2018 minemichi 3