Upgrade to Pro — share decks privately, control downloads, hide ads and more …

誤差逆伝播法/machine-learning-lecture-backpropagation

 誤差逆伝播法/machine-learning-lecture-backpropagation

GMOペパボ新卒研修2020 機械学習入門 補足資料#06

monochromegane

July 17, 2020
Tweet

More Decks by monochromegane

Other Decks in Technology

Transcript

  1. 1
    ペパボ研究所 三宅悠介

    新卒研修 機械学習入門 補足資料#06

    (2020/07/03 Update)

    誤差逆伝播法


    View Slide

  2. 2
    2
    ニューラルネットワークの

    構造

    線形から非線形へ


    View Slide

  3. 3
    ニューラルネットワークの構造
    3
    *本資料では簡単のため、バイアス項は導入しない 


    View Slide

  4. 4
    ニューラルネットワークの構造
    4

    View Slide

  5. 5
    ニューラルネットワークの構造
    5

    View Slide

  6. 6
    ニューラルネットワークの構造
    6

    View Slide

  7. 7
    ニューラルネットワークの構造
    7

    View Slide

  8. 8
    ニューラルネットワークの構造
    8

    View Slide

  9. 9
    ニューラルネットワークの構造
    9

    View Slide

  10. 10
    ニューラルネットワークの構造
    10

    View Slide

  11. 11
    ニューラルネットワークの構造
    11
    活性化関数


    View Slide

  12. 12
    ニューラルネットワークの構造
    12

    View Slide

  13. 13
    ニューラルネットワークの構造
    13

    View Slide

  14. 14
    14
    誤差逆伝播法

    デルタ!


    View Slide

  15. 15
    誤差関数と偏微分
    15
    誤差関数

    パラメータごとの偏微分


    View Slide

  16. 16
    個別のパラメータごとに偏微分するの
    ではなく、出力層に近い層の偏微分の
    結果を前の層に渡すことで各層でのパ
    ラメータの偏微分を行う。


    誤差信号と呼ばれる値が出力から入力
    の方向へ(逆向きに)伝播していくこと
    から名付けられている。

    誤差逆伝播法
    16
    誤差逆伝播法


    View Slide

  17. 17
    出力層のパラメータの偏微分
    17

    View Slide

  18. 18
    隠れ層のパラメータの偏微分
    18

    View Slide

  19. 19
    隠れ層のδは一つ先の層のδを使って
    求めることができる。

    隠れ層のδ
    19
    隠れ層のδ


    View Slide

  20. 20
    隠れ層のδ
    20
    上流のδの数だけ足し合わせ

    Lはz2(z1)の合成関数


    View Slide

  21. 21
    隠れ層のδ
    21
    活性化関数によって異なる


    View Slide

  22. 22
    隠れ層のδ
    22
    上流のδの数だけ足し合わせ

    Lはz2(z1)の合成関数


    View Slide

  23. 23
    出力層(はじめの)のδ
    23
    Lkはyk’(z2)の合成関数

    活性化関数によって異なる

    誤差


    View Slide

  24. 24
    各層における入力xと重みとの線形結
    合した結果であるzを保持する。これを
    パラメータの更新に用いる。

    誤差逆伝播法によるパラメータの更新
    24
    順伝播


    View Slide

  25. 25
    誤差逆伝播法によるパラメータの更新
    25
    出力層の誤差またはパラメータの値と
    活性化関数の偏微分を用いて各層に
    おけるδを求める

    逆伝播


    View Slide

  26. 26
    誤差逆伝播法によるパラメータの更新
    26
    δとxからパラメータを更新する

    逆伝播


    View Slide

  27. 27
    *

    誤差逆伝播法
    27
    誤差関数に対するパラメータの偏微分

    パラメータの更新


    View Slide

  28. 28
    参考: 活性化関数の微分
    28
    シグモイド関数

    ReLU

    実際はx=0の時は微分不可


    View Slide

  29. 29
    29
    参考


    View Slide

  30. 30
    参考文献
    30
    本資料における誤差逆伝播法の導出は以下の文献を参考にしました。

    より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。


    - スマートニュース株式会社 立石 賢吾, やさしく学ぶ ディープラーニングがわか
    る数学のきほん ~アヤノ&ミオと学ぶ ディープラーニングの理論と数学、実装~,
    マイナビ出版, 2019年07月31日. ISBN:978-4-8399-6837-3

    - 斎藤 康毅, ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理
    論と実装, オライリー・ジャパン, 2016年09月, ISBN:978-4-87311-758-4

    - 新納 浩幸, Chainerによる実践深層学習, オーム社, 2016年09月,
    ISBN:978-4-274-21934-4


    View Slide