RelationsOfTheCost

Transcript

1. Cost 関数について @2018 minemichi 1
2. 指摘 cost 関数とloss 関数はほぼほぼ同じ意味 @2018 minemichi 2
3. 出力層の活性化関数が恒等関数の場合 sum of squares error がcost 関数として相性が良い それはなぜか sum of squares error (t − y ) 前提 = y − t となる場合が最も都合が良い 逆伝播を考えた時 = ⋅ で 出力と正解が同じ場合にしか学習を止めないから (W ← W − μ を思い出して) 2 1 i ∑ i i 2 ∂Z ∂C k k ∂W ∂C ∂Z ∂C ∂W ∂Z ∂W ∂C @2018 minemichi 3
4. = = ⋯ (1) (1) = ⋯ (2) (2) = (t − y ) ⋅ −1 ⋯ (3) (3) = y − t ⋯ (4) 以上から、 = y − t ∂Z ∂C ∂a ∂C ∂Z ∂a ∂yk ∂ (t −y ) 2 1 ∑ i i i 2 ∂xk ∂yk ∂t −y k k ∂ (t −y ) 2 1 ∑i j i 2 ∂yk ∂t −y k k ∂yk ∂yk k k k k ∂Z ∂C k k @2018 minemichi 4
5. 出力層の活性化関数がsigmoid 関数の場合 binary cross entropy error がcost 関数として相性が良い それはなぜか binary cross entropy error − t log y + (1 − t ) log (1 − y ) 以下E 前提 = y − t となる場合が最も都合が良い 逆伝播を考えた時 = ⋅ で 出力と正解が同じ場合にしか学習を止めないから (W ← W − μ を思い出して) ∑ i i i i cross ∂Z ∂C k k ∂W ∂C ∂Z ∂C ∂W ∂Z ∂W ∂C @2018 minemichi 5
6. = = ⋯ (1) (1) = −( − ) ⋅ ⋯ (2) (2) = −( − ) ⋅ ⋯ (3) (3) = −( ) ⋅ ⋯ (4) (4) = −( ) ⋅ y (1 − y ) ⋯ (5) (5) = −(t − y ) = y − t ⋯ (6) 以上から、 = y − t ∂Z ∂C ∂a ∂C ∂Z ∂a ∂yk ∂Ecross ∂xk ∂yk yk tk 1−yk 1−tk ∂xk ∂yk y (1−y ) k k t (1−y ) k k y (1−y ) k k y (1−t ) k k ∂xk ∂yk y (1−y ) k k t −y k k ∂xk ∂ 1+exp (−x ) k 1 y (1−y ) k k t −y k k k k k k k k ∂Z ∂C k k @2018 minemichi 6
7. 出力層の活性化関数がsoftmax 関数の場合 cross entropy error がcost 関数として相性が良い それはなぜか softmax 関数 cross entropy error − t ⋅ log y 以下E 前提 = y − t となる場合が最も都合が良い 逆伝播を考えた時 = ⋅ で 出力と正解が同じ場合にしか学習を止めないから (W ← W − μ を思い出して) exp x ∑ i i exp xk ∑ k k cross ∂Z ∂C k k ∂W ∂C ∂Z ∂C ∂W ∂Z ∂W ∂C @2018 minemichi 7
8. = = ⋯ (1) (i = k) の場合⋯ (2) = = − ⋅ ( − ) = − ⋅ (y (1 − y )) = −t (1 − y ) (i ≠ k) の場合⋯ (3) = = − ⋅ (− ) = − ⋅ (−y ⋅ y ) = t y ∂Z ∂C ∂a ∂C ∂Z ∂a ∑ ∂yi ∂Ecross ∂xk ∂yi ∂Z ∂C ∂yk ∂Ecross xk ∂yk yk tk exp x ∑ i exp xk ( exp x ) ∑ i 2 exp xk 2 ∂Z ∂C yk tk k k k k ∂Z ∂C ∂ya ∂Ecross xk ∂ya ya ta ( exp x ) ∑ i 2 exp x ⋅exp x k a ∂Z ∂C ya ta k a a k @2018 minemichi 8
9. (1) = (2) + (3) ⋯ (4) (4) = −t (1 − y ) + t y ⋯ (5) (5) = −t + t y + (t y + ⋯ + t y ) − t y (5) = −t + t y = −t + y = y − t 以上から、 = y − t ∑ k k ∑ i≠k i k k k k 1 k max k k k k ∑ i k k k k k ∂Z ∂C k k @2018 minemichi 9