Deep Learning勉強会 逆伝播の仕組み

誤差逆伝播法の概要に関する説明です。
Deep Learningの社内勉強会の発表資料

Transcript

1. Deep Learning勉強会 逆伝播の仕組み 2016/10/14 (金) 19:00 – 21:00
2. アジェンダ • 復習 • 確率的勾配降下法に必要なものを算出する • 誤差逆伝播法 • 誤差逆伝播法の式からわかること • 誤差逆伝播法を一気にやる • プログラミング 2
3. 復習（パーセプトロン） 3 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ：ニューロンの活性 ：ニューロンの出力 ：ニューロンの入力の重み ：ニューロンのバイアス ：ネットワークのコスト関数 ベクトルで表現
4. 復習（確率的勾配降下法） 4 これを求めるのが誤差逆伝播法 わかりやすくするために、ニューロンレベルで書くと 重みの更新： バイアスの更新： （N：ミニバッチ内の訓練データの数）
5. 確率的勾配降下法に必要なものを算出する 5 と置きかえると これを第l層のj番目のニューロンの誤差とよぶ これが計算できればOK！ 次の層の誤差がわかれば計算できる（誤差の逆伝播）。出力層までさかのぼると・・・ これはフィードフォワードの結果から計算できる！
6. 誤差逆伝播法 1. 訓練データのセット（ミニバッチ）を入力 2. ミニバッチ内の各訓練データ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算 (3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 6
7. 誤差逆伝播法の式からわかること 7 1. 入力（ ）が小さいと、その入力の重みの学習は遅い 2. 誤差（ ）が小さいと、そのニューロンへの入力の重みの学習は遅い 誤差が小さくなるのはどんなとき？ → ニューロンの活性（ ）が大きい、または小さい時には となる 2. ニューロンの活性が大きい、または小さいと、 そのニューロンへの入力の重みの学習は遅い
8. 誤差逆伝播法を一気にやる 1. 訓練データのセット（ミニバッチ）を入力し、行列化する 2. ミニバッチ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算 (3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 8
9. プログラミング 9 ＜課題＞ network.pyを行列を使ったアルゴリズムに書き換えてください