Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Chainerによる深層学習(2)

Avatar for youichiro youichiro
February 28, 2017

 Chainerによる深層学習(2)

長岡技術科学大学
自然言語処理研究室
B3ゼミ発表会(第6回)

Avatar for youichiro

youichiro

February 28, 2017
Tweet

More Decks by youichiro

Other Decks in Technology

Transcript

  1. 計算グラフ !(#) !(%) &% &# &' (% (# () 

       *(%) *(#) 2 = $ $ & & + & + $ /20
  2. 計算グラフ 3 = , , = − − + −

    + !" !# !$ ℎ# ℎ$ &" &# ℎ" ' /20
  3. 計算グラフ 4 = , , = − − + −

    + ℎ& & , $ = & $ + $ $ + 1という関数を考えれば = − − , − ℎ$ & , $ = & − 2$ − 1, ℎ7 & , $ = & $ − 1という 関数を考えれば = ( , , , ) /20
  4. 計算グラフ 5 = & , $ , 7 = ℎ&

    ℎ$ & , $ , ℎ7 $ , 7 関数がℎ& , ℎ$ , ℎ7 の合成関数になっている !" !# !$ ℎ# ℎ$ &" &# ℎ" ' /20
  5. 計算グラフと逆伝搬 6 !" !# !$ ℎ# ℎ$ &" &# ℎ"

    ' () (*+ () (*, (*+ (-+ (*, (-. (*+ (-, (*, (-, /20
  6. 計算グラフと逆伝搬 7 !" !# !$ ℎ# ℎ$ &" &# ℎ"

    ' () (*+ () (*, (*+ (-+ (*, (-. (*+ (-, (*, (-, = /20
  7. 計算グラフと逆伝搬 8 !" !# !$ ℎ# ℎ$ &" &# ℎ"

    ' () (*+ () (*, (*+ (-+ (*, (-. (*+ (-, (*, (-, = + /20
  8. Variable 12 = 1 − 22 − 1 2 +

    2 3 − 1 2 + 1を 各パラメータで偏微分し、 1 , 2 , 3 = (1, 2, 3)を代入 1 = 2 1 − 22 − 1 = −8 2 = −4 1 − 22 − 1 + 23 2 3 − 1 = 46 3 = 22 2 3 − 1 = 20 /20
  9. Chainクラス 16 = $ + & + $ links内の関数Linearや function内の関数sigmoidを

    合成して、モデルを定義 !(#) !(%) &% &# &' (% (# (' )(%) )(#) &* /20