tech boost＿deeplearning

tech boost＿deeplearning

Transcript

1. 
   $POpEFOUJBM
   
   $
   
   #SBOEJOH
   &OHJOFFS
   *OD
2. $
   
   #SBOEJOH
   &OHJOFFS
   *OD tech boost AI/DS Expert 第9回講義 ディープラーニング
3. $
   
   #SBOEJOH
   &OHJOFFS
   *OD ⾃⼰紹介 蛭⽥ 興明 慶應義塾⼤学⼤学院 理⼯学研究科 専⾨：時系列解析、深層学習 趣味 読書、筋トレ、スノボ
4. $
   
   #SBOEJOH
   &OHJOFFS
   *OD ディープラーニング ɾޡࠩٯ఻೻๏ʹ͍ͭͯ ɾ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ(CNN) ɾ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN) ɾGoogle ColaboratoryΛ༻͍࣮ͨફਂ૚ֶश
5. $
   
   #SBOEJOH
   &OHJOFFS
   *OD ディープラーニングとは？ χϡʔϥϧωοτϫʔΫ ୈճߨٛͰઆ໌ Λ
   ଟ૚ ̏૚Ҏ্ ʹͨ͠΋ͷ ଟ૚Խ χϡʔϥϧωοτϫʔΫ σΟʔϓϥʔχϯά σʔλΛ༩͑Δ͚ͩͰɼಛ௃ྔΛࣗಈతʹநग़͢Δ͜ͱ͕Ͱ͖Δػցֶशख๏
6. $
   
   #SBOEJOH
   &OHJOFFS
   *OD ディープラーニングとは？ ୈ̏࣍"*ϒʔϜͷݗҾ໾ ग़యɿIUUQTJPUOFXTKQBSDIJWFT
7. $
   
   #SBOEJOH
   &OHJOFFS
   *OD ディープラーニング ɾޡࠩٯ఻೻๏ʹ͍ͭͯ ɾ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ(CNN) ɾ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN) ɾGoogle ColaboratoryΛ༻͍࣮ͨફਂ૚ֶश
8. $
   
   #SBOEJOH
   &OHJOFFS
   *OD 誤差逆伝播法 Ұൠతʹ͸ɼχϡʔϥϧωοτϫʔΫͰ͸ɼ
   ৴߸͸ೖྗ૚͔Βग़ྗ૚΁ͱྲྀΕΔ Z Y Y X X
9. $
   
   #SBOEJOH
   &OHJOFFS
   *OD 誤差逆伝播法 ग़ྗ஋ͱ࣮ࡍͷਖ਼ղ஋ͷޡࠩΛɼ
   ग़ྗ૚͔Βೖྗ૚΁ͱ఻೻ͤ͞Δ Z Y Y X X ग़ྗʔਖ਼ղ஋ ग़ྗͷޡࠩ
10. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 誤差逆伝播法がなぜ必要なのか？ χϡʔϥϧωοτϫʔΫͷֶशͰ͸ɼ
    ʮޯ഑߱Լ๏ʯΛ༻͍Δ ୈճߨٛ
11. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 勾配降下法 ޡࠩؔ਺& ॏΈύϥϝʔλX ֤఺ͷޡࠩؔ਺ͷ܏͖
    ޯ഑ͱٯ޲͖ʹύϥϝʔλΛௐ੔͍ͯ͘͠
    ඍ෼܎਺͕ʹͳΔ·Ͱ܁Γฦ͢ X X X ޡࠩؔ਺ͷ܏͖ ֶश܎਺
    େ͖͘͢ΔͱҰճͷֶशͰͷ
    ॏΈͷมԽ͕େ͖͘ͳΔ
12. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 勾配降下法 ࣍ͷΑ͏ͳೋ஋෼ྨχϡʔϥϧωοτϫʔΫʹޯ഑߱Լ๏Λద༻͢Δ ೖྗ૚Ϣχοτ਺̑ɼதؒ૚Ϣχοτ਺̏ͷ৔߹ ޡࠩؔ਺ & ਖ਼ղσʔλ
13. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 勾配降下法 ࣍ͷΑ͏ͳೋ஋෼ྨχϡʔϥϧωοτϫʔΫʹޯ഑߱Լ๏Λద༻͢Δ ೖྗ૚Ϣχοτ਺̑ɼதؒ૚Ϣχοτ਺̏ͷ৔߹ & ਖ਼ղσʔλ ޡࠩؔ਺&͸࣍ͷࣜͰදͤΔ ޡࠩؔ਺
14. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 勾配降下法 ޡࠩؔ਺&͸࣍ͷࣜͰදͤΔ ͜ͷχϡʔϥϧωοτϫʔΫʹ͓͍ͯɼॏΈύϥϝʔλ͸ݸଘࡏ͢Δ ७ਮʹޯ഑߱Լ๏Λద༻͢Δͱɼճඍ෼Λ͢Δඞཁ͕͋Δ ͜ͷܭࢉΛ௨Γߦ͏ඞཁ͕͋Δ
15. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 勾配降下法 ޡࠩؔ਺&ͷɹɹͷޯ഑ɹɹɹΛٻΊΔ & ޡࠩؔ਺ ਖ਼ղσʔλ
16. $
    
    #SBOEJOH
    &OHJOFFS
    *OD Y Y Y X X X G V ೖྗͷ ૯࿨
    V ग़ྗ
    G V V
    
    XY
    
    XY
    
    XY GΛ࡞༻ͤ͞Δ ࣮ࡍʹ͸ɼ֤ೖྗʹ͸׆ੑԽؔ਺͕࡞༻͞Ε͍ͯΔ ׆ੑԽؔ਺ ̔ষͰઆ໌
17. $
    
    #SBOEJOH
    &OHJOFFS
    *OD [ G [ Ұఆͷ஋ ͖͍͠஋ 
    G [ ׆ੑԽؔ਺ ̔ষͰઆ໌
18. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 勾配降下法 ޡࠩؔ਺&ͷɹɹͷޯ഑ΛٻΊΔ & ޡࠩؔ਺ ਖ਼ղσʔλ ͚ͩͰͳ͘
    
    
    
    
    
    
    
    
    
    
    
    ʹΑΔӨڹΛߟ͑Δඞཁ͕͋Γɼ
    ܭࢉ͕ඇৗʹ൥ࡶʹͳΔ ๲େͳ߹੒ؔ਺ͷඍ෼͕ඞཁ
19. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 誤差逆伝播法 Z Y Y X X & ޡࠩؔ਺ [ [
    
    XY
    
    XY ৽ͨͳه߸ɹɹΛಋೖ͢Δ
20. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 誤差逆伝播法を導⼊するメリット & ޡࠩؔ਺ ਖ਼ղσʔλ ޡࠩؔ਺&ͷޯ഑Λผͳه߸Ͱஔ͖׵͑Δ͜ͱͰɼ
    ඍ෼ܭࢉճ਺ΛݮΒ͢͜ͱ͕Ͱ͖Δ
21. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ドロップアウト：ディープラーニングの学習上の⼯夫 աֶशΛ๷͙ͨΊʹɼ
    χϡʔϥϧωοτϫʔΫͷ݁߹Λ͍͔ͭ͘औΓআֶ͍ͯशͤ͞Δํ๏
22. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ディープラーニング ɾޡࠩٯ఻೻๏ʹ͍ͭͯ ɾ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ(CNN) ɾ࠶ؼχϡʔϥϧωοτϫʔΫ ɾGoogle ColaboratoryΛ༻͍࣮ͨફਂ૚ֶश
23. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ৞ΈࠐΈχϡʔϥϧωοτϫʔΫͱ͸ʁ ʮ৞ΈࠐΈ૚ʯͱʮϓʔϦϯά૚ʯͷ
    ֊૚త૊Έ߹ΘͤͰߏங͞ΕΔ ը૾ೝࣝʹಛԽͨ͠σΟʔϓϥʔχϯάख๏
24. $
    
    #SBOEJOH
    &OHJOFFS
    *OD                                 ೖྗ ৞ΈࠐΈ ৞ΈࠐΈ ϓʔϦϯά ϓʔϦϯά શ݁߹ ग़ྗ ৞ΈࠐΈχϡʔϥϧωοτϫʔΫશମ૾
25. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ৞ΈࠐΈ૚ ը૾಺ͷಛ௃Λநग़͢Δ໾ׂΛ࣋ͭ खॻ͖਺ࣈͷ৔߹ ը૾ͷύλʔϯΛநग़
26. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ̎ ̏ ̌ ̍ ̍ ̌ ̏ ̎ ̏ ̍ ̎ ̌ ̌ ̍ ̎ ̏ ̎ ̏ ̌ ̍ ̍ ̌ ̏ ̎ ̏ ̍ ̎ ̌ ̌ ̍ ̎ ̏ ̐ ̒ ̐ ̑ ̍ ̌ ̌ ̌ ̍ ̌ ̌ ̌ ̍ ೖྗσʔλ Χʔωϧ ϑΟϧλ ಛ௃Ϛοϓ ̍ ̌ ̌ ̌ ̍ ̌ ̌ ̌ ̍ ̐ ̒ ̐ ̑ ৞ΈࠐΈ૚
27. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ೖྗσʔλ ಛ௃Ϛοϓ ৞ΈࠐΈ૚ ը૾ͷࣼΊ੒෼ ͕ɼͲͷҐஔʹଘࡏ͢Δ͔Λ ͍ࣔͯ͠Δ ̎ ̏ ̌ ̍ ̍ ̌ ̏ ̎ ̏ ̍ ̎ ̌ ̌ ̍ ̎ ̏ ̐ ̒ ̐ ̑ ೖྗσʔλͷӈ্ʹ
    ύλʔϯ͕ଘࡏ ӈ্ͷ஋͕େ͖͘ͳΔ ̍ ̌ ̌ ̌ ̍ ̌ ̌ ̌ ̍ ϑΟϧλ ͷ࡞༻ͷҙຯ
28. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ը૾಺ͷಛ௃ͷҐஔීวੑΛอূ͢Δ ಉ͡ಛ௃ͱͯ͠ೝࣝͤ͞Δ͜ͱ͕໨త ϓʔϦϯά૚
29. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ը૾಺ͷಛ௃ͷҐஔීวੑΛอূ͢Δ     ̎ ̏ ̌  ̍ ̌  ̎ ̏ ̍ ̎ ̌ ̌ ̍   ̍   ̏  ̎ ̌  ̏  ̎ ̌ ̌ ̍    ̏ ̌  ϓʔϦϯά૚
30. $
    
    #SBOEJOH
    &OHJOFFS
    *OD                                 ৞ΈࠐΈχϡʔϥϧωοτϫʔΫશମ૾ ʮ৞ΈࠐΈ૚ʯͱʮϓʔϦϯά૚ʯͷ֊૚త૊Έ߹ΘͤʹΑΔಛ௃நग़
31. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ディープラーニング ɾޡࠩٯ఻೻๏ʹ͍ͭͯ ɾ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ(CNN) ɾ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN) ɾGoogle ColaboratoryΛ༻͍࣮ͨફਂ૚ֶश
32. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN)ͱ͸ʁ աڈͷೖྗΛݱࡏͷग़ྗʹ൓өͤ͞Δ࢓૊ΈΛ࣋ͭ ࣗવݴޠॲཧɼ࣌ܥྻॲཧͳͲͷ
    ܥྻσʔλʹಛԽͨ͠σΟʔϓϥʔχϯάख๏
33. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN)ͱ͸ʁ தؒ૚ͷग़ྗΛࣗΒͷೖྗʹ໭͢ߏ଄Λ࣋ͭ ೖྗ૚ தؒ૚ ग़ྗ૚ 8 தؒ૚͕
    ࣗ෼ࣗ਎΁ͷ
    ؼؐ࿏ΛΛ࣋ͭ
34. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN)ͷ࣌ؒల։ 8 U U
    
      U ɾɾɾ 8 8 աڈͷॏΈͷཤྺ͕ݱࡏͷग़ྗʹӨڹΛ༩͍͑ͯΔ
35. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ディープラーニング まとめ ɾޡࠩٯ఻೻๏ʹ͍ͭͯ ɾ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ(CNN) ɾ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN)
36. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ・ޡࠩٯ఻೻๏ʹ͍ͭͯ ग़ྗͱ࣮ࡍͷਖ਼ղͱͷޡࠩΛɼ
    ग़ྗ͔Βೖྗ΁ͱ఻೻ͤ͞Δֶशख๏ Z Y Y X X ग़ྗʔਖ਼ղ஋ ग़ྗͷޡࠩ
37. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 誤差逆伝播法 Z Y Y X X & ޡࠩؔ਺ [ [
    
    XY
    
    XY ৽ͨͳه߸ɹɹΛಋೖ͢Δ͜ͱͰɼ
    ඍ෼ճ਺Λେ෯ʹݮΒ͢͜ͱ͕Մೳ
38. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ʮ৞ΈࠐΈ૚ʯͱʮϓʔϦϯά૚ʯͷ
    ֊૚త૊Έ߹ΘͤͰߏங͞ΕΔ ը૾ೝࣝʹಛԽͨ͠σΟʔϓϥʔχϯάख๏ ʮ৞ΈࠐΈ૚ʯɿը૾಺ͷಛ௃Λநग़͢Δ ʮϓʔϦϯά૚ʯɿಛ௃ͷҐஔීวੑΛ֬อ͢Δ 畳み込みニューラルネットワークとは？
39. $
    
    #SBOEJOH
    &OHJOFFS
    *OD                                 ೖྗ ৞ΈࠐΈ ৞ΈࠐΈ ϓʔϦϯά ϓʔϦϯά શ݁߹ ग़ྗ ৞ΈࠐΈχϡʔϥϧωοτϫʔΫશମ૾
40. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ・再帰ニューラルネットワーク(RNN) աڈͷೖྗΛݱࡏͷग़ྗʹ൓өͤ͞Δ࢓૊ΈΛ࣋ͭ ࣗવݴޠॲཧɼ࣌ܥྻॲཧͳͲͷ
    ܥྻσʔλʹಛԽͨ͠σΟʔϓϥʔχϯάख๏
41. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN)ͷ࣌ؒల։ 8 U U
    
      U ɾɾɾ 8 8 աڈͷॏΈͷཤྺ͕ݱࡏͷग़ྗʹӨڹΛ༩͍͑ͯΔ
42. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ディープラーニング ɾޡࠩٯ఻೻๏ʹ͍ͭͯ ɾ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ(CNN) ɾ࠶ؼχϡʔϥϧωοτϫʔΫ(RNN) ɾGoogle ColaboratoryΛ༻͍࣮ͨફਂ૚ֶश
43. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ・Google Colaboratoryを⽤いた実践深層学 習 σΟʔϓϥʔχϯά͸ɼ๲େͳ਺ͷύϥϝʔλΛܭࢉ͢Δ ௨ৗͷCPUͰ͸๲େͳܭࢉ͕͔͔࣌ؒͬͯ͠·͏͜ͱ͕ଟ͍ (16 (SBQIJDT
    1SPDFTTJOH
    6OJU
    ʹΑΔେن໛ฒྻԋࢉॲཧʹΑΓɼ
    ܭࢉ࣌ؒΛ୹ॖͤ͞Δ͜ͱ͕ଟ͍
44. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ・Google Colaboratoryとは？ (PPHMF͕ग़͍ͯ͠Δແྉ(16؀ڥ
    ׬શΫϥ΢υ্Ͱ(16Λ࿈ଓ࠷େ࣌ؒ࢖༻Մೳ
45. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ・Google Colaboratoryを使⽤する (PPHMF
    $PMBCPSBUPSZʹΞΫηεͯ͠Έ·͠ΐ͏ɽ
    IUUQTDPMBCSFTFBSDIHPPHMFDPNOPUFCPPLT XFMDPNFJQZOC IMKB
46. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 次のような画⾯に移ります．
47. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 左上の「ファイル」をクリックします． ΫϦοΫ
48. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 「Python 3 の新しいノートブック」を選択 ΫϦοΫ
49. $
    
    #SBOEJOH
    &OHJOFFS
    *OD ファイルが開くので，わかりやすい名前に変更 ϑΝΠϧ໊ͷมߋ
50. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 「ランタイムのタイプを変更」を選択 ͪ͜ΒΛબ୒
51. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 「ハードウェアアクセラレータ」を「GPU」に設定 ʮ(16ʯʹઃఆ ʮอଘʯΛΫϦοΫ
52. $
    
    #SBOEJOH
    &OHJOFFS
    *OD GPUが動作しているか確認する ҎԼͷίʔυΛ࣮ߦ (16͕ಈ࡞͍ͯ͠Ε͹࣍ͷΑ͏ͳ݁ՌͱͳΔ (16Λೝ͍ࣝͯ͠Δ͜ͱ͕֬ೝͰ͖Δ
53. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 主要なディープラーニングライブラリ DIBJOFS
    QSFGFSSE
    OFUXPSLT
    ͕։ൃ
    UFOTPSqPX
    (PPHMF
    ʹΑͬͯ։ൃ
    LFSBT
    .*5ϥΠηϯεͷϥΠϒϥϦ ࠓճ͸LFSBTΛ༻͍Δ
54. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 $//Λ༻͍ͯ
    ./*45 ͔Β·Ͱͷखॻ͖จࣈ σʔλΛֶशͤ͞Δ τϨʔχϯάσʔλ
    
    
    ςετσʔλ
    
    
    
    
    
    
    
    
    
    
    
    
55. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 LFSBTνϡʔτϦΞϧίʔυΛར༻͢Δ IUUQTHJUIVCDPNLFSBTUFBNLFSBTCMPCNBTUFSFYBNQMFTNOJTU@DOOQZ
56. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 4UFQ
    ඞཁͳϥΠϒϥϦΛಡΈࠐΉ
57. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 4UFQ̎
    ֶशͷઃఆΛߦ͏ CBUDI@TJ[F
    ҰճͷֶशͰ࢖༻͢Δσʔλ਺
    OVN@DMBTTFT
    ෼ྨͷΫϥε਺ ͔Β·Ͱͷ਺ࣈΑΓɼ
    FQPDIT
    ܇࿅σʔλΛֶशʹ࢖͏ճ਺
58. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 4UFQ̏
    σʔλαΠζͷઃఆɼ෼ׂ αΠζΛ✖ʹ͠ɼτϨʔχϯάͱςετʹ෼ׂ
59. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 4UFQ̐
    ֶशʹ༻͍Δ$//Ϟσϧͷߏங
60. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習：CNNによる⼿書き⽂字認識 4UFQ̑
    ࣮ࡍͷֶशΛߦ͏
61. $
    
    #SBOEJOH
    &OHJOFFS
    *OD 演習１：CNNによる⼿書き⽂字認識 ࣮ߦ݁Ռ
62. $
    
    #SBOEJOH
    &OHJOFFS
    *OD Thank You