金研究室 勉強会 『バックプロパゲーションと勾配消失問題』

バックプロパゲーションと勾配消失問題, 中村勇士, 2021

Transcript

1. バックプロパゲーションと勾配 消失問題
 金研 機械学習勉強会
 2021/08/12 中村勇士

2. 単純パーセプトロン
 x 1
 x 2
 x 3
 x 4
 x 5
 y 
 モデル化
 w i ：x i がどのくらい重要か（重み） 
 補正項
 （バイアス）
 ニューロン
 
 ステップ関数
 単純
 パーセプトロン
 
 シグモイド関数

3. 最適化
 最初から最適な重み・バイアスは分からない 
 → 重みの初期値はランダム 
 出力と正解がずれる（誤差） 
 → トレーニングで重みの誤差を修正する 

4. 最適化
 • 重みを変えると誤差は 
 どうなるか？
 
 • グラフ
 ◦ 重み↓ 誤差↓
 ⇒ 重みを減らす
 ◦ 重み↑ 誤差↓
 ⇒ 重みを増やす
 
 • 傾きを調べればよい 

5. 単純パーセプトロンのまとめ
 Forward
 Back
 誤差を修正して重みを更新・最適化 

6. ディープニューラルネットワーク
 モデル化

7. y 1
 y 2
 x 31
 x 32
 x 33
 x 34
 x 21
 x 22
 x 23
 x 24
 x 11
 x 12
 x 13
 y 1
 y 2
 x 31
 x 32
 x 33
 x 34
 x 21
 x 22
 x 23
 x 24
 x 11
 x 12
 x 13
 Forward propagation
 Forward propagation 
 最初の重みはランダム 
 → 計算した出力と正解には誤差がある 

8. x 31
 x 32
 x 33
 x 34
 y 1
 y 2
 x 31
 x 32
 x 33
 x 34
 x 21
 x 22
 x 23
 x 24
 x 21
 x 22
 x 23
 x 24
 x 11
 x 12
 x 13
 x 11
 x 12
 x 13
 y 1
 y 2
 Back propagation（誤差逆伝播法）
 Back propagation

9. y 1
 y 2
 x 31
 x 32
 x 33
 x 34
 x 21
 x 22
 x 23
 x 24
 x 11
 x 12
 x 13
 Forward propagation 
 Back propagation
 ディープニューラルネットワークのまとめ

10. 勾配消失問題
 
 
 • 傾きがほぼ0になり学習が 
 進まなくなる
 → 学習は終了していない 
 
 • 層が多いほど発生しやすい 
 
 • inputに近いほど発生しやすい 

11. 勾配消失問題
 左の層ほど0.25以下の数をたくさんかける 
 → 傾きが小さくなる 
 シグモイド関数の 微分
 シグモイド関数
 Back propagationの計算のため微分 
 → maxが0.25
 (0.25)4 ≒ 0.004

12. 勾配消失問題への対処
 傾きがシグモイド関数より大きい 
 x > 0で傾きが常に1 
 x ≤ 0に傾きをつけるなど 
 活性化関数の改善

13. • Batch Normalization 
 ◦ 各バッチを正規化
 （バッチ：グループ分けされたデータ）
 ◦ 平均0, 分散1にする
 
 • メリット
 ◦ 学習率を上げられる
 → 勾配が小さくても学習できる
 ◦ 過学習を防ぐ
 → 従来の方法より高速
 勾配消失問題への対処