Deep Learning 1 (Chapter 6)

自習を兼ねて「ゼロから作るDeep Learning」1巻 6章まとめ

Transcript

1. 「ゼロから作るDeepLearning」 6章まとめ 1 Twitterアカウント : @dar_kuma_san
2. 講座の流れ 【講座の⽬的】 ・ニューラルネットワークの理論を理解し、説明できるようになる ・基本的な動作をPythonで実装できるようになる ・ライブラリ活⽤時のパラメータの意味が理解できる 回 分野 章 キーワード 第1回 推論 2、3 ニューラルネットワーク、 活性化関数、⾏列計算 第2回 学習 4、5 損失関数、数値微分、 勾配法、誤差逆伝搬 第3回 学習 6 SDG、Adam、過学習、 ハイパーパラメータ 全3回を予定 2
3. 1. 前回発表の補⾜（誤解している恐れのある箇所の訂正） 2. 勾配法の効率化⼿法 ⇒ 「効率的」に⾕底を⽬指す最適化⼿法 3. 適正な「重み」から学習を始める 第3回の⽬標︓学習に使われる様々なテクニックの仕組みを理解する ディープラーニングでは、現実的な時間内の「学習」で 予測精度を確保するために様々なテクニックが使われています 講座の流れ 機能 確実性 汎化性 効率性 ⽅法 重みの初期 値 適性化 Batch Normalizati on Weight decay Dropuot 最適化 アルゴリズ ム ハイパーパ ラメタ チューン 概要 ニューロン からの出⼒ に「適度な 広がりが」 を持たせて、 確実に学習 を進める⽅ 法 ニューロン からの出⼒ に強制的に 「適度な広 がりが」を 持たせて、 確実に学習 を進める⽅ 法 罰則項を設 けて、重み が過⼤にな ることを避 け、過学習 を防ぐ⽅法 ニューロン をランダム に消去し、 パラメータ の数を減ら すことで過 学習を防ぐ ⽅法 様々な損失 関数におい て、⼤局的 最適解を効 率的に得る ⽅法 様々なハイ パーパラ メーターを 効率的に決 める⽅法 3
4. 前回発表の補⾜ （おそらく皆さんが誤解しているであろう箇所。。） 4
5. 前回発表の補⾜(1/6) 「学習」とは、正解が出るように重み(W)とバイアス(B)を調整する操作であり、 損失関数の傾きと逆⽅向に更新することで調整する（勾配法） 学習 + = ⼊⼒ 出⼒ 重み バイアス 0 1 2 3 2 ✕ 3 ◦ Xを⼊⼒したら、Yが出るように WとBを調整する 既知のデータ 正解/不正解を教える 勾配法 5
6. 前回発表の補⾜(2/6) パラメーターの「更新」のタイミングについて誤解させている恐れがあるので補⾜します 1 . 重み（W）、バイアス（B）を”適当に”に決める 2. 訓練データを⼊れて、推論させる（誤差を求める） 3. 誤差から傾きを求める 4. 重み（W）、バイアス（B）を更新する 2〜4を繰り返す L W W ← W − ρ L W 学習の流れ ループ 6
7. 前回発表の補⾜(3/6) 「オンライン学習」と「ミニバッチ学習」を例に再度説明します 名称 オンライン学習 ミニバッチ学習 バッチ学習 エントロピー誤差 更新のタイミング 1⽂字毎 1バッチ毎 全データ毎 メリット ・計算コストが⼩さい ・データ全て保管して おかなくて良い ・データの性質の変化 に機敏に対応できる ・局所最適解に陥りに くい ・局所最適解に陥りに くい ・バッチ学習に対して 計算コストが⼩さい ・外れ値の影響を受け にくい デメリット ・外れ値の影響を受け やすい ・局所最適解に陥りや すい ・新データを⼊れると、 全データで計算しなお す必要がある − ∑,-. / t, log y, − 1 6 7-8 9 6 :-. ; : log : − 1 6 7-8 ? 6 :-. ; : log : k︓クラス数、B︓1バッチの⽂字数、N︓全⽂字数 7
8. ✖︓1つのデータ（1⽂字）で⾕底まで更新する 損失関数Lは動かない L 初期位置 ⾕底 動かす⽅向 L 1回⽬更新後位置 ⾕底 L 2回⽬更新後位置 ⾕底 前回発表の補⾜(4/6) 1回⽬の更新 2回⽬の更新 8
9. L ⾕底 ◦︓1つのデータ（1⽂字）ではあくまでも1回しか更新しない 損失関数Lが頻繁に変動する L 初期位置 ⾕底 動かす⽅向 L 1回⽬更新後位置 ⾕底 前回発表の補⾜(5/6) 1回⽬の更新 2回⽬の更新 2回⽬更新後位置 9
10. L ⾕底 ミニバッチ学習の場合は、バッチごとに更新する ⼊⼒データが（バッチ数、784）の⾏列になることに注意︕ L 初期位置 ⾕底 動かす⽅向 L 1バッチ⽬更新後位置 ⾕底 前回発表の補⾜(6/6) 1バッチ⽬の更新 2バッチ⽬の更新 2バッチ⽬更新後位置 + = 28 28 (1,784)×(784,784) オンライン学習の場合 ミニバッチ学習の場合 + = (9,784)×(784,784) 10
11. 確実に学習を進めるテクニック 11
12. 1. 前回発表の補⾜（誤解している恐れのある箇所の訂正） 2. 勾配法の効率化⼿法 ⇒ 「効率的」に⾕底を⽬指す最適化⼿法 3. 適正な「重み」から学習を始める 第3回の⽬標︓学習に使われる様々なテクニックの仕組みを理解する ディープラーニングでは、現実的な時間内の「学習」で 予測精度を確保するために様々なテクニックが使われています 確実に学習を進めるテクニック(1/10) 機能 確実性 汎化性 効率性 ⽅法 重みの初期 値 適性化 Batch Normalizati on Weight decay Dropuot 最適化 アルゴリズ ム ハイパーパ ラメタ チューン 概要 ニューロン からの出⼒ に「適度な 広がりが」 を持たせて、 確実に学習 を進める⽅ 法 ニューロン からの出⼒ に強制的に 「適度な広 がりが」を 持たせて、 確実に学習 を進める⽅ 法 罰則項を設 けて、重み が過⼤にな ることを避 け、過学習 を防ぐ⽅法 ニューロン をランダム に消去し、 パラメータ の数を減ら すことで過 学習を防ぐ ⽅法 様々な損失 関数におい て、⼤局的 最適解を効 率的に得る ⽅法 様々なハイ パーパラ メーターを 効率的に決 める⽅法 12
13. 1層⽬ ⼊⼒X (1000,100) N(0,1) の乱数 各層100個の ニューロン 2層⽬ 3層⽬ 4層⽬ 5層⽬ 活性関数︓sigmoid 重み初期値︓N(0, σ2) = Z = ℎ() Z1 Z2 Z3 Z4 Z5 各層のニューロンが100個、5層のネットワークを考える 重みをN(0,σ2)で初期化した場合の各層からの出⼒を調べる 確実に学習を進めるテクニック(2/10) 13
14. 重みの 初期値 (, ) (, . ) ニュー ロン からの 出⼒ 活性 関数 と重み 分布の 関係 初期の重みの標準偏差によって各層からの出⼒の分布が⼤きく異なる 標準偏差⼤︓出⼒が0 , 1に偏る ⇒ 勾配消失により学習進まない 標準偏差⼩︓出⼒が0.5に偏る ⇒ 「表現の制限」の点で問題 頻度 頻度 出⼒値 出⼒値 頻度/出⼒値 頻度/出⼒値 ⼊⼒値 ⼊⼒値 出⼒値 の幅 確実に学習を進めるテクニック(3/10) 14
15. 予測確率と正解ラベルの差分を含 む、簡単に求められる項の積 (⻘字のルートに関係する項） だけで表すことができた︕ このようにして、重みWとバイア スBの傾きを求める⼿法を 「誤差逆伝播法」という 活性化関数の微分が⼊っていること に注⽬! （前回の復習︓誤差逆伝播法） () () 15
16. 重みの 初期値 (, ( )) ニュー ロン からの 出⼒ 活性 関数 と重み 分布の 関係 活性化関数にSigmoid関数、tanh関数（中央が線形）を適⽤したネットワークで は、前層のニューロン数の平⽅根の逆数を標準偏差に取る正規分布で初期化するこ とが多い（Xavierの初期化） i-1層⽬ i層⽬ １ の標準偏差を持つ 正規分布で初期化 ⼊⼒値 頻度/出⼒値 確実に学習を進めるテクニック(4/10) 16
17. 重みの 初期値 (, . ) (, ( )) (, ( )) ニュー ロン からの 出⼒ 活性 関数 と重み 分布の 関係 活性化関数にReLU関数を適⽤したネットワークでは、前層のニューロン数の平⽅根の 逆数の2倍を標準偏差に取る正規分布で初期化することが多い （Heの初期化） 頻度 出⼒値 出⼒値 頻度 出⼒値 頻度 ⼊⼒値 頻度/出⼒値 ⼊⼒値 頻度/出⼒値 ⼊⼒値 頻度/出⼒値 確実に学習を進めるテクニック(5/10) 17
18. 重みの初期値が不適切だと全く学習が進まない 学習を上⼿く進めるためには、重みの初期値に「適度な広がりが」必要 ミニバッチ学習 128⽂字/バッチ 2000バッチ学習させる 交差エントロピー誤差 バッチ数 (, . ) による初期化では「勾配消失」により 学習が全く進んでいない 活性化関数︓ReLU 確実に学習を進めるテクニック(6/10) 18
19. 初期値設定の⽅法論を説明しましたが、 解くべき問題によって適正な初期値が異なるため設定が難しい という問題がつきまといます そこで、「初期値にそれほど依存せず」学習を⾏える⽅法を考えます Batch Norm Batch Norm Batch Norm Batch Norm ニューロンからの出⼒を強制的に 調整する層を⼊れる 確実に学習を進めるテクニック(7/10) 19
20. ミニバッチごとにニューロンからの出⼒を「標準化」し、次の層に伝達する この⼿法を「Batch Normalization」という 1層⽬ Batch Norm 2層⽬ Batch Norm 3層⽬ 8 V 8.. 8 V 8.. m:ミニバッチ数 , ︓学習で決定する係数 (: =1 , : = 0から開始） (1,784)⾏列 (1,784)⾏列 (1,784)⾏列 (m,784）⾏列 各層100個の ニューロン : ← : Z : + : 確実に学習を進めるテクニック(8/10) 20
21. ミニバッチ学習 100⽂字/バッチ 20epochs学習させる 中間層(100)×5 正解率 Batch Normなし Batch Normあり 正解率 正解率 正解率 Batch Normを適⽤したネットワークでは、 いずれのWの初期値でも学習が進んでいる 活性化関数︓ReLU 確実に学習を進めるテクニック(9/10) 21
22. Batch Normalizationには 初期値にそれほど依存せず学習を⾏える他に、 ・学習を早く進⾏させることができる ・過学習を抑制する というメリットもあります 確実に学習を進めるテクニック(10/10) 22
23. 汎化性能を⾼めるテクニック 23
24. 1. 前回発表の補⾜（誤解している恐れのある箇所の訂正） 2. 勾配法の効率化⼿法 ⇒ 「効率的」に⾕底を⽬指す最適化⼿法 3. 適正な「重み」から学習を始める 第3回の⽬標︓学習に使われる様々なテクニックの仕組みを理解する ディープラーニングでは、現実的な時間内の「学習」で 予測精度を確保するために様々なテクニックが使われています 汎化性能を⾼めるテクニック(1/5) 機能 確実性 汎化性 効率性 ⽅法 重みの初期 値 適性化 Batch Normalizati on Weight decay Dropuot 最適化 アルゴリズ ム ハイパーパ ラメタ チューン 概要 ニューロン からの出⼒ に「適度な 広がりが」 を持たせて、 確実に学習 を進める⽅ 法 ニューロン からの出⼒ に強制的に 「適度な広 がりが」を 持たせて、 確実に学習 を進める⽅ 法 罰則項を設 けて、重み が過⼤にな ることを避 け、過学習 を防ぐ⽅法 ニューロン をランダム に消去し、 パラメータ の数を減ら すことで過 学習を防ぐ ⽅法 様々な損失 関数におい て、⼤局的 最適解を効 率的に得る ⽅法 様々なハイ パーパラ メーターを 効率的に決 める⽅法 この話 24
25. 過学習が起きやすい条件 ・パラメーターを⼤量に持ち、表現⼒の⾼いモデルであること ・訓練データが少ないこと 中間層(100)×6 ミニバッチ学習 100⽂字/バッチ 200epochs学習させる 60,000⽂字のうちの300⽂字だけで学習 訓練データとテストデータ の正解率に⼤きな隔たり 汎化性能を⾼めるテクニック(2/5) 25
26. ディープラーニングの主たる過学習抑制⼿法は、Weight decay と Dropout 名称 Weight decay Dropout 概要 損失関数に重みの2乗 ノルムを加えること で、重みが過⼤にな ることを防ぎ、過学 習を抑制する 学習時にランダムに ニューロンを消去し、 パラメータ数を減ら し、過学習を抑制す る メリット 実装が簡単 ⼤規模なネットワー クにも対応可能 汎化性能を⾼めるテクニック(3/5) 26
27. Weight decay L ← L + 1 2 λV V= w8 V + wV V + ⋯ + w7 V 損失関数に重みの⼆乗和を加える ことで、重みが過⼤になることを防ぐ λは罰則の強さをコントロールする ハイパーパラメータ = 0 = 0.1 正解率の隔たりが減少 汎化性能を⾼めるテクニック(4/5) 27
28. Dropout 学習時︓ ランダムにニューロンを消去し信号を伝達 推論時︓ 消去した割合pをニューロンの出⼒に乗算 することで平均を取る 出典︓我妻 幸⻑ 「はじめてのディープラーニング Pythonで学ぶニューラルネットワークとバックプロパゲーション」SBクリエイティブ (2018) = 0.2 アンサンブル学習と同じ効果を1つのネットワークで擬似的に実現 = 0 正解率の隔たりが減少 パラメータの更新ごとに切り替える 汎化性能を⾼めるテクニック(5/5) 28
29. 効率的に学習させるテクニック 29
30. 1. 前回発表の補⾜（誤解している恐れのある箇所の訂正） 2. 勾配法の効率化⼿法 ⇒ 「効率的」に⾕底を⽬指す最適化⼿法 3. 適正な「重み」から学習を始める 第3回の⽬標︓学習に使われる様々なテクニックの仕組みを理解する ディープラーニングでは、現実的な時間内の「学習」で 予測精度を確保するために様々なテクニックが使われています 効率的に学習させるテクニック(1/10) 機能 確実性 汎化性 効率性 ⽅法 重みの初期 値 適性化 Batch Normalizati on Weight decay Dropuot 最適化 アルゴリズ ム ハイパーパ ラメタ チューン 概要 ニューロン からの出⼒ に「適度な 広がりが」 を持たせて、 確実に学習 を進める⽅ 法 ニューロン からの出⼒ に強制的に 「適度な広 がりが」を 持たせて、 確実に学習 を進める⽅ 法 罰則項を設 けて、重み が過⼤にな ることを避 け、過学習 を防ぐ⽅法 ニューロン をランダム に消去し、 パラメータ の数を減ら すことで過 学習を防ぐ ⽅法 様々な損失 関数におい て、⼤局的 最適解を効 率的に得る ⽅法 様々なハイ パーパラ メーターを 効率的に決 める⽅法 30
31. ディープラーニングの勾配法のアルゴリズムには主に以下の4種類があり、 問題に応じて上⼿く使い分けることが⼤切 名称 SGD Momentum AdaGrad Adam アルゴリズム 次項参照 メリット 実装が簡単 ⼤きく更新さ れた次の回の 更新量は⼩さ く、「ジグザ グ」を低減で きる パラメータご とに学習率が 調整できる Momentumと AdaGradの ハイブリッド デメリット 関数が等⽅的 でないと⾮効 率な経路で探 索する ハイパーパラ メータの数が1 つ増える 学習を繰り返 すと更新量が0 になる ハイパーパラ メータの数⼤ 幅に増える ← − ρ L ← − ρ bc b +∆ ← + ( L )V ← − ρ 1 L 効率的に学習させるテクニック(2/10) 31
32. f(x,y) = 8 V. V + V 以下の等⽅的でない関数の勾配法による最適化を考える x y x y f(x,y)を表す図 傾斜⽅向を表す図 スタート ゴール 効率的に学習させるテクニック(3/10) 32
33. • SGDはその地点の傾きの⽅向にパラメータを更新する • 等⽅的な傾きを持つ関数でないとジグザグな挙動になり⾮効率 ← − ρ L :重み、ρ:学習率、 L︓損失関数 x ← x − ρ f(x, y) x y ← y − ρ f(x, y) y 重みの更新の式に置き換えると 効率的に学習させるテクニック(4/10) 33
34. • Momentumは、前回の更新量によって更新量を調整 • ⼤きく更新されたパラメータの次回の更新量を減らして、ジグザグを低減 ← − ρ bc b +∆ x ← x − ρ bk(l,m) bl +∆x y ← y − ρ bk(l,m) bm +∆y 重みの更新の式に置き換えると ∆x , ∆y :前回の更新量、 ≅ 0.9 ⼤きく更新された⽅向の動きを打ち消す 慣性的な動きを⾏う 効率的に学習させるテクニック(5/10) 34
35. • AdaGradは、過去の更新量に応じてパラメータごとに学習率を減衰 • ⼤きく更新されたパラメータの学習率を減衰させ、ジグザグを低減 ← + ( L )V ← − ρ 1 L (bk(l,m) bl )Vこれまでの傾きの2乗和を保持 ℎp ← ℎp + ( f(x, y) x )V x ← x − ρ 1 ℎp f(x, y) x 重みの更新の式に置き換えると 全てのパラメータで学習率が共通なのは不⾃然では︖ 毎回⼤きく更新されるパラメータの学習率は減らしたい 逆に毎回勾配がゼロのパラメータは、たまに勾配がある時 は⼤きく更新する 効率的に学習させるテクニック(6/10) 35
36. • Adamは、Momentum と AdaGrad改良版のハイブリッド • 直近の更新量が⼤きいパラメータの学習率を特に減衰させ、ジグザグを低減 . = . = 0 s = (1 − 8 ) ∑:-8 s 8 st:( bc b ) v s = s 1 − 8 s Z s = s 1 − V s ← − ρ v s Z s + 推奨値 ：8 =0.9 , V = 0.999 , ρ=0.001 , =10-8 t : 繰り返し回数 s = (1 − V ) ∑:-8 s V st:(bc b ): V これまでの更新量の情報を活かしながら、 直近の更新量を重視 ステップ数が増えても更新量が0にならない⼯夫 が施されている 効率的に学習させるテクニック(7/10) 36
37. ハイパーパラメータのチューニング⽅法には以下の4つがある 初⼼者は「⼿動」での調整をおすすめしない 名称 ⼿動 グリッドサーチ ランダムサーチ ベイズ最適化 概要 ⼿動でパラメータを振 り分けて精度を確認す る 各パラメータの候補を 定め、組み合わせを全 て探索する 各パラメータの候補を 定め、パラメータごと にランダムに、設定回 数だけ探索する 以前に計算した履歴に 基づいて、次に探索す べきパラメータをベイ ズ確率を⽤いて探索す る メリッ ト/デ メリッ ト パラメータへの理解が 深ければ、着実に精度 を上げることができる /作業者に⼿間がかか る 探索するパラメータの 候補を把握しやすい/ 探索点が膨⼤になり得 る 探索点が膨⼤でも探索 できる/最適なパラ メータを探索できると は限らない 探索履歴を使うことで、 精度が良い可能性の⾼ いパラメータを効率良 く探索できる 説明図 出典︓⾨脇⼤輔 他 「Kaggleで勝つデータ分析の技術」技術評論社(2019) 全格⼦点で正解率を求める 正解率の良さそうなエリアを 重点的に測定 ある範囲内でランダムに測定 効率的に学習させるテクニック(8/10) 37
38. 1 . パラメータの範囲を設定する 2. 設定されたパラメータの範囲からランダムサンプリング （0.001〜1000ぐらいで範囲を設定 エポックを⼩さく設定し、筋の悪い⼿を早く落とす） 3.ステップ2でサンプリングされた値を使⽤して学習し、 検証データで認識精度を評価する 4. ステップ2、3をある程度繰り返し、それらの認識精度から パラメータの範囲を絞る チューニングの流れ ループ 効率的に学習させるテクニック(9/10) 38
39. 正解率の⾼いパラメータの組を選択する 中間層(100)×6 ミニバッチ学習 100⽂字/バッチ 50epochs学習させる 60,000⽂字のうちの400⽂字だけで学習 検証データは100⽂字 ランダムサーチで100組み試⾏ L ← L + 1 2 λV ← − ρ L , ︓罰則項の強さ、学習率 ハイパーパラメータ 探索範囲︓ 10-8 〜 10-4 10-6 〜 10-2 正解率 正解率 正解率 正解率 訓練データ 検証データ 効率的に学習させるテクニック(10/10) 39
40. まとめ 40
41. 第3回発表まとめ ディープラーニングでは、 学習を上⼿く進めるために様々なテクニックを駆使する必要がある データによって最適な⼿法・パラメータが変わってくるため 試⾏錯誤と研究が必要 参考︓論⽂ arXiv.org （https://arxiv.org/） Kaggle Notebook 41