GMOペパボ新卒研修2020 機械学習入門 補足資料#06
1ペパボ研究所 三宅悠介 新卒研修 機械学習入門 補足資料#06 (2020/07/03 Update) 誤差逆伝播法
View Slide
22ニューラルネットワークの 構造 線形から非線形へ
3ニューラルネットワークの構造3*本資料では簡単のため、バイアス項は導入しない
4ニューラルネットワークの構造4
5ニューラルネットワークの構造5
6ニューラルネットワークの構造6
7ニューラルネットワークの構造7
8ニューラルネットワークの構造8
9ニューラルネットワークの構造9
10ニューラルネットワークの構造10
11ニューラルネットワークの構造11活性化関数
12ニューラルネットワークの構造12
13ニューラルネットワークの構造13
1414誤差逆伝播法 デルタ!
15誤差関数と偏微分15誤差関数 パラメータごとの偏微分
16個別のパラメータごとに偏微分するのではなく、出力層に近い層の偏微分の結果を前の層に渡すことで各層でのパラメータの偏微分を行う。 誤差信号と呼ばれる値が出力から入力の方向へ(逆向きに)伝播していくことから名付けられている。 誤差逆伝播法16誤差逆伝播法
17出力層のパラメータの偏微分17
18隠れ層のパラメータの偏微分18
19隠れ層のδは一つ先の層のδを使って求めることができる。 隠れ層のδ19隠れ層のδ
20隠れ層のδ20上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
21隠れ層のδ21活性化関数によって異なる
22隠れ層のδ22上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
23出力層(はじめの)のδ23Lkはyk’(z2)の合成関数 活性化関数によって異なる 誤差
24各層における入力xと重みとの線形結合した結果であるzを保持する。これをパラメータの更新に用いる。 誤差逆伝播法によるパラメータの更新24順伝播
25誤差逆伝播法によるパラメータの更新25出力層の誤差またはパラメータの値と活性化関数の偏微分を用いて各層におけるδを求める 逆伝播
26誤差逆伝播法によるパラメータの更新26δとxからパラメータを更新する 逆伝播
27* 誤差逆伝播法27誤差関数に対するパラメータの偏微分 パラメータの更新
28参考: 活性化関数の微分28シグモイド関数 ReLU 実際はx=0の時は微分不可
2929参考
30参考文献30本資料における誤差逆伝播法の導出は以下の文献を参考にしました。 より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。 - スマートニュース株式会社 立石 賢吾, やさしく学ぶ ディープラーニングがわかる数学のきほん ~アヤノ&ミオと学ぶ ディープラーニングの理論と数学、実装~,マイナビ出版, 2019年07月31日. ISBN:978-4-8399-6837-3 - 斎藤 康毅, ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装, オライリー・ジャパン, 2016年09月, ISBN:978-4-87311-758-4 - 新納 浩幸, Chainerによる実践深層学習, オーム社, 2016年09月,ISBN:978-4-274-21934-4