study before deeplearning @YAPC2015

Transcript

1. %FFQ
   -FBSOJOH
   ͷલʹ
   ஌͓͍ͬͯͨ΄͏͕͍͍͜ͱ
   ʙ໨తɾಈ࡞ݪཧɾߏ଄ʙ 1 :"1$"TJB
   5PLZP
   
   !౦ژϏοάαΠτ
   NVEEZEJYPO
2. NF 2 ৿౻
   େ஍!NVEEZEJYPO
   χϑςΟ೥໨
   ϞόΠϧɾ*P5Ϗδωε෦
   +BWB4DSJQU
   
   1FSM
   σʔλલॲཧ
   
   σʔλղੳ
   ࣌ܥྻ༧ଌ
   
   σʔλՄࢹԽ
   
3. ࣗݾ঺հ 3 ৿౻
   େ஍!NVEEZEJYPO
   χϑςΟ೥໨
   ϞόΠϧɾ*P5Ϗδωε෦
   +BWB4DSJQU
   
   1FSM
   σʔλલॲཧ
   
   σʔλղੳ
   ࣌ܥྻ༧ଌ
   
   σʔλՄࢹԽ
   *P5
   new
4. ࣗݾ঺հ 4 ৿౻
   େ஍!NVEEZEJYPO
   χϑςΟ೥໨
   ϞόΠϧɾ*P5Ϗδωε෦
   +BWB4DSJQU
   
   1FSM
   σʔλલॲཧ
   
   σʔλղੳ
   ࣌ܥྻ༧ଌ
   
   σʔλՄࢹԽ
   *P5
   new ةͳ͍ʂ
   όζϫʔυͩʂ
5. 5 あれ？
6. ࣗݾ঺հ 6 ৿౻
   େ஍!NVEEZEJYPO
   χϑςΟ೥໨
   ϞόΠϧɾ*P5Ϗδωε෦
   +BWB4DSJQU
   
   1FSM
   σʔλલॲཧ
   
   σʔλղੳ
   ࣌ܥྻ༧ଌ
   
   σʔλՄࢹԽ
   *P5
   new
7. ࣗݾ঺հ 7 new ৿౻
   େ஍!NVEEZEJYPO
   χϑςΟ೥໨
   ϞόΠϧɾ*P5ɾ
   ϏοάσʔλϏδωε෦
   +BWB4DSJQU
   
   1FSM
   σʔλલॲཧ
   
   σʔλղੳ
   ࣌ܥྻ༧ଌ
   
   σʔλՄࢹԽ
   *P5
   
8. 8 はい
9. *P5ͷʮ*ʯΛΧλνʹ 9
11. 8F
    BSF
    IJSJOH 11 大事なことなので2回いいます IoTのファームウェアを書いたり いろんなところとパートナーとして ものづくりできます 採用しています @muddydixon までお声がけください
12. ຊ೔͸ɺ%FFQ-FBSOJOHͷલʹ
    ஌͓͍ͬͯͨํ͕͍͍
    χϡʔϥϧωοτϫʔΫͷ࿩Λ͠·͢ 12 ͓͜ͱΘΓ
13. %FFQ-FBSOJOH΍࠷৽ͷΞΧσϛοΫͳ
    ࿩͸͠·ͤΜ Ͱ͖·ͤΜ 13 ͓͜ͱΘΓ
14. ઈରʹ͠·ͤΜ 14 ͓͜ͱΘΓ
15. %FFQ-FBSOJOHʹ͔͠ڵຯ͕ແ͍Αʂ
    ͱ͍͏ํ͸1'*1'/ͷ4MJEFTIBSFΛ
    ηογϣϯதɺӾཡ͢Δ͜ͱΛ
    Φεεϝ͠·͢ 15 ͓͜ͱΘΓ
16. 16 http://www.slideshare.net/pfi/
19. 19 ന໨
20. ~Todays Topics~ 神経細胞(ニューロン)の話 認知科学・脳科学との関係の話 Artificial Neuralnetworkの 歴史・原理・支えるアルゴリズム 20
21. ૉ๿ͳٙ໰͕ɾɾɾ 21 ※ (2015/08/22 ௥ه) ͦͷޙɺன৯࣌ʹchezou͞Μͱ׻ஊ͠·ͨ͠
22. .Z
    XPSLT
    BCPVU
    /FVSBM/FUXPSLT 22 語彙獲得のニュラルネットワークモデルの構 築と背景メカニズムの推定 ヒトは文法/語彙獲得の認知的機構 文法に基づく語彙のグラウンディング
23. .Z
    XPSLT
    BCPVU
    /FVSBM/FUXPSLT 23 Computer Simulations Psychological Experiments Neuro Science
24. .Z
    XPSLT
    BCPVU
    /FVSBM/FUXPSLT 24 6層ネットワーク 再帰的ニューラルネットワーク Elman Network 自己組織化マップ Self-organizing map 自然文(量子化された単語列)の提示 次単語の予測課題
25. .Z
    XPSLT
    BCPVU
    /FVSBM/FUXPSLT 25 「SV.」と「SVO.」ではSVの習得度が高い 文脈習得後は、新奇のO(目的語)を提示した 場合でもV(動詞)の情報を元に適切なカテゴ リの賦活を示す 文末の予測精度が最初から高い 語順がロバストな入力(e.g.英語)と語順が不 安定な入力(e.g.トルコ語)を比較すると、ロ バストのほうが学習にかかる時間が短い 言語発達のフィールドワークの結果にそぐっ ている
26. .Z
    XPSLT
    BCPVU
    /FVSBM/FUXPSLT 26 Symbol Grounding Word2Vec: 「単語」を「単語」で接地する 研究: 「単語」を「文脈」で接地する 主語: I/You 自動詞: run 他動詞: eat/drive 食物: apple/orange 乗物: car/airplane
27. ͪͳΈʹ 27 証跡が残っていない(外付けHDDで飛んだ) Dropout(意図的に接続を省いて出力する） 出力を自身に再入力する文生成 ライブラリ化(今のようなモダンなやり方 ではない) などを2012-2017の5年間(修士・博士※1)で やっていました ※1:単位取得中退 なので最終学歴は修士
29. 29 元気に歩き回れてないですが 僕です
30. 8IBU
    JT
    
    /FVSBM/FUXPSL
31. 8IBU 31 ਓؒͷਆܦઢҡࡉ๔ χϡʔϩϯ ͷ໛฿ https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%8A%E3%83%97%E3%82%B9
32. ৴߸఻ୡͷ࢓૊Έ 32 ଞͷࡉ๔ γφϓεલࡉ๔ ͔ΒͷԽֶ෺࣭ͷ෼ൻʹΑ Γγφϓεޙࡉ๔ͷड༰ث͕ܹࢗΛड͚
    ΠΦϯνϟϯωϧ͕։͖ిҐ͕ൃੜ
    ిؾ৴߸ͱͯ࣠͠ࡧΛ௨Γ
    ׆ಈిҐ͕࣠ࡧऴ୺ʹ౸ୡɺਆܦ఻ୡ෺࣭Λ෼ൻ
    ҎԼɺ܁Γฦ͠
33. ਓޱχϡʔϩϯ 33 લड़ͷਆܦ৴߸ͷ఻ୡΛ؆ུԽ͠ɺ
    
    લஈͷࡉ๔ͷ׆ಈdγφϓεʹ͓͚Δड༰ମʹΑ Δ׆ಈ
    
    લஈͷ׆ಈʹ๭͔ͷؔ਺Λద༻ͨ͠΋ͷΛ఻ୡ xw σ(x) x0 x1 x2 y w0 w1 w2
34. )JTUPSZ 34 
    ܗࣜχϡʔϩϯ
    QEG
    
    ύʔηϓτϩϯ
    QEG
    
    ୯७ύʔηϓτϩϯͷݶքʹ͍ͭͯͷࢦఠ
    
    ࣗݾ૊৫ԽϚοϓ
    QEG
    
    ϗοϓϑΟʔϧυωοτϫʔΫ
    
    ϘϧπϚϯϚγϯ
    
    ੍ݶϘϧπϚϯϚγϯ
    QEG
    
    ޡࠩٯ఻ൖ๏
    QEG
    
    ࠶ؼχϡʔϥϧωοτϫʔΫ
    QEG
    
    %FFQ
    #FMJFG
    /FU
    QEG
35. ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷ෼ྨ 35 ڭࢣ͋Γֶश
    ೖྗʹରͯ͠ٻΊΒΕΔ౴͕ܾ͑·͍ͬͯΔ
    ڭࢣͳֶ͠श
    ೖྗʹରͯ͠౴͕ܾ͑·͍ͬͯͳ͍
36. ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷ෼ྨ 36 ڭࢣ͋Γֶश
    ೖྗʹରͯ͠ٻΊΒΕΔ౴͕ܾ͑·͍ͬͯΔ
    ύʔηϓτϩϯɺσΟʔϓϥʔχϯά
    ࠶ؼωοτϫʔΫ
    ڭࢣͳֶ͠श
    ೖྗʹରͯ͠౴͕ܾ͑·͍ͬͯͳ͍
    ࣗݾ૊৫ԽϚοϓɺχϡʔϥϧΨε
37. ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷ෼ྨ 37 ڭࢣ͋Γֶश
    ೖྗʹରͯ͠ٻΊΒΕΔ౴͕ܾ͑·͍ͬͯΔ
    ύʔηϓτϩϯɺσΟʔϓϥʔχϯά
    ࠶ؼωοτϫʔΫ
    ೖग़ྗͷؔ܎ؔ਺Λ࠶ݱ͢Δ
    ڭࢣͳֶ͠श
    ೖྗʹରͯ͠౴͕ܾ͑·͍ͬͯͳ͍
    ࣗݾ૊৫ԽϚοϓɺχϡʔϥϧΨε
    ೖྗͷ౷ܭతಛ௃ྔΛֶश͢Δ
38. ʮֶशʯͱ͸ 38 χϡʔϩϯؒ ૚ؒͷΈɺશ݁߹ɺͳͲͷ੍ ໿͸͋Δ ͷγφϓεؒͷ఻ୡޮ཰Λνϡʔ χϯά͢Δ͜ͱ
    ϊΠζ͕৐͍ͬͯΔɺ֬཰తͳೖྗʹ͓͚Δ ؔ਺ͷ࠶ݱɾಛ௃ྔͷ࠶ݱ
    ➜ΑΓʮޮ཰తʯͳಛ௃ྔͷ֫ಘ
    ɹ➜൚Խੑೳ աֶशͰ͸ͳ͍ ͷ֫ಘ
39. 39 χϡʔϥϧωοτϫʔΫͷ
    ͍͍ͱ͜ΖɾΘΔ͍ͱ͜Ζ
40. χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 40 ೚ҙͷ࿈ଓؔ਺Λۙࣅ
    %FFQ-FBSOJOH ಛ௃நग़ࣗମΛߦ͑Δ
    ैདྷ͸ਓखͰϧʔϧ࡞Γɾ੍໿ͮ͘Γ
41. χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 41 ؔ਺͸ࣸ૾Ͱ͖͕ͨɾɾɾ෼ࢄදݱ EJTUSJCVUFE
    JNQMJDJU
    SFQSFTFOUBUJPO ͷղ ऍ͸ͬ͞ͺΓΘ͔Βͳ͍ͱ͜Ζ 1$"ɺઢܗ ճؼͳΒ܎਺͔Βղऍ͢Δ͜ͱ͕Ͱ͖ͨͷ ʹɾɾɾ
42. 42 χϡʔϥϧωοτϫʔΫͷ༻్
43. Ԡ༻෼໺ 43 ޻ֶతͳԠ༻
    ࣗવݴޠॲཧ
    ύλʔϯೝࣝ
    ҟৗݕ஌
    ೝ஌ػೳͷղ໌ͷ༻్
    ೴಺ͷ׆ಈͷ࠶ݱ
    γϛϡϨʔγϣϯʹΑΔೝ஌ػߏͷղ໌
    ࢲ͸ͪ͜Β
44. ೝ஌ػೳղ໌ͷϩδοΫ ࢲͷ৔߹ 44 ൃୡݚڀɾ৺ཧ࣮ݧ
    ಛఆͷϑΟʔϧυʹ͓͚Δൃୡ࣌ظͷҧ͍ɺද৅ͷҧ͍ͷ؍࡯
    ಛఆͷೝ஌త՝୊ʹΑΓߦಈͷมԽͷ؍ଌ
    ➜؀ڥɾܹࢗʹΑΓࠩҟΛੜͤ͡͞Δೝ஌ػೳΛࣔࠦ
    ೴׆ಈͷݚڀ
    ೝ஌ػೳΛར༻͢ΔͰ͋Ζ͏ೝ஌త՝୊ʹΑΓො׆͢Δ෦Ґ લ಄༿ɾ಄ ௖༿ɾଆ಄༿ͳͲ ͷಛఆ
    ➜ೝ஌త՝୊ʹؔ܎͢Δೝ஌ػೳΛ୲͏ث࣭తͳଘࡏΛࣔࠦ
    ܭࢉػγϛϡϨʔγϣϯ
    ث࣭తͳߏ଄΍࿈݁Λʮ͋Δఔ౓ʯۙࣅ͠ɺೖྗܹࢗΛίϯτϩʔϧ͢Δ ͜ͱͰɺಉ༷ͷ৺ཧ࣮ݧ΍ൃୡݚڀΛఆੑతʹ࠶ݱ
    ➜ʮ૝ఆͨ͠ΞʔΩςΫνϟʹΑͬͯʯ࠶ݱ͢Δ͜ͱ͕ՄೳͰ͋Δ͜ͱΛ ࣔ͢ ඞͣͦ͏ͩɺͱ͍͏͜ͱ͸ݴ͑ͳ͍
45. )PX
    /FVSBM/FUXPSL
    8PSLT
46. )JFSBSDIJDBM
    /FVSBM/FUXPSL
47. ୺తʹ͍͏ͱ 47 ೖग़ྗʹ͓͚Δ݁߹ՙॏ ͷνϡʔχϯά
    ೖग़ྗͷؔ਺Λޮ཰Α͘ ࠶ݱͰ͖ΔΑ͏ʹ৘ใ Λѹॖɾಛ௃Λநग़ input layer hidden layer output layer input signals teacher signal
48. ྫ͑͹ 48 ?ͷೖग़ྗΛ࣮ݱ͢ Δؔ਺Λ࠶ݱ͢ΔͨΊ ʹ͸ೖग़ྗͷ౷ܭత৘ ใΛಛ௃ ߏ଄ Λநग़͢ Δඞཁ͕͋Δ input layer hidden layer output layer input signals teacher signal
49. 'FFE
    'PSXBSE
    1SPQBHBUJPO 49 М T
    ʹ͸γάϞΠυ΍૒ۂઢਖ਼઀͕࢖ΘΕΔ
    ࠷ۙ͸3FDUJGJFE
    -JOFBS
    6OJU͕Α͘࢖ΘΕΔΒ͍͠Ͱ͢ https://ja.wikipedia.org/wiki/׆ಈిҐ
51. #BDL
    1SPQBHBUJPO 51 ͜ͷΞϧΰϦζϜʹ ΑΓଟ૚Խ͕Մೳʹ
    ೚ҙͷ࿈ଓؔ਺ͷۙ ࣅ͕Ͱ͖Δ
    ऑ఺
    ऩଋ͕஗͍ 51 input layer hidden layer output layer input signals teacher signal
52. ޡࠩٯ఻ൖ๏ಋग़
    γάϞΠυؔ਺ͷ৔߹ 52
53. ޡࠩٯ఻ൖ๏ಋग़
    γάϞΠυؔ਺ͷ৔߹
    ଓ͖ 53
54. &MNBO
    /FUXPSL 54 ੈ୅લͷதؒ૚ͷ෼ࢄදݱΛೖ ྗ จ຺૚ ͱͯ͠ɺೖྗ૚ͱͱ΋ ʹֶशΛ܁Γฦ͢
    Ұํ޲΁ͷ఻ୡܦ࿏Ͱ͋Δ
    ͨΊޡࠩٯ఻ൖ๏ͰֶशՄೳ Copy Context Layer Input Layer Hidden Layer Output Layer
55. +PSEBO
    /FUXPSL 55 ੈ୅લͷग़ྗ૚ͷදݱΛೖྗ จ ຺૚ ͱͯ͠ɺೖྗ૚ͱͱ΋ʹֶ शΛ܁Γฦ͢
    Ұํ޲΁ͷ఻ୡܦ࿏Ͱ͋Δ
    ͨΊޡࠩٯ఻ൖ๏ͰֶशՄೳ Copy Context Layer Input Layer Hidden Layer Output Layer
56. ࣍୯ޠ༧ଌֶश 56 次の入力を予測するような学習を行い、かつ、 文脈の情報を入力として利用することで、系 列からの特徴抽出を強いる 予測誤差をエンコードするニューロンの存在 の示唆 Copy Context Layer Input Layer Hidden Layer Output Layer
57. 4FMG0SHBOJ[JOH
    .BQ
58. 4FMG0SHBOJ[JOH
    NBQ 58 ੜ෺ͷ೴಺ʹ͸ॱংؔ ܎͕ҡ࣋͞ΕΔ૊৫Խ ͞ΕͨϚοϓ͕ଘࡏ
    Ұ࣍ࢹ֮໺
    ԻҐ૬
    ମੑײ֮
    ͜ΕΛ࠶ݱ͢Δχϡʔϥ ϧωοτϫʔΫ input signals
59. 4FMG0SHBOJ[JOH
    NBQ 59 https://ja.wikipedia.org/wiki/ମੑײ֮
60. ԻҐ૬Ϛοϓ
    
    ܏ࣼϚοϓ 60 http://fourier.eng.hmc.edu/e161/lectures/nn/node14.html
61. 4FMG0SHBOJ[JOH
    NBQ 61 ֊૚ܕχϡʔϥϧωοτϫʔΫ͕ʮχϡʔϩ ϯؒ ૚ؒ ͷ݁߹ՙॏʯΛֶश͢Δ͜ͱʹର ͯ͠ɺ40.Ͱ͸ʮۙ๣ʯͱ͍͏زԿతͳ֓ ೦Λಋೖ͢Δ͜ͱͰʮॱংʯΛ࣋ͬͨ૊৫Խ Ϛοϓͷ࠶ݱʹ੒ޭ
    )FCCͷ๏ଇʹΑΔγφϓεؒͷ୅ँมԽ
    χϡʔϩϯͷԠ౴બ୒੍ ಛ௃හײ൓Ԡ
    ਆܦ఻ୡ෺࣭ͷ֦ࢄʹΑΔଆํ׆ੑ੍ޚ
62. 62 input signals
63. Ԡ౴બ୒੍ 63 input signals
64. ଆํ׆ੑ੍ޚ 64 input signals
65. )FCCͷ๏ଇʹΑΓ୅ँมԽ ఻ୡޮ཰ͷ޲্ 65 input signals
66. Ұൠతͳ %FFQ-FBSOJOHͱͷҧ͍ 66 ಛ௃நग़ೳྗͱ͠ ͯ͸ࣅ௨ͬ ͍ͯΔ ৘ ใѹॖΛ͍ͯ͠Δ ͨΊ
    ۭؒతͳॱং૊ ৫Խ͕ҟͳ͍ͬͯ Δ
    ͜͜ʹ40.ʹϫ ϯνϟϯ͋Δ͔΋ʂ
67. $MPTJOH
68. ·ͱΊ 68 %FFQ-FBSOJOH΍.BDIJOF-FBSOJOHͷ
    ར༻͠΍͢͞͸ࠓޙ૿͢͸ͣ
    χϡʔϥϧωοτϫʔΫͷຊ࣭ ԿΛ࠶ݱ͠ ͍ͯΔͷ͔ɺͲͷΑ͏ʹֶश͍ͯ͠Δͷ͔ Λ஌͍ͬͯΔͱνϡʔχϯά͕ՄೳʹͳΔ
    ϙΞϯΧϨ༧૝ͷΑ͏ʹɺ৘ใֶͷࢹ఺Ͱ͸ ߦ͖٧·Δ৔໘Ͱɺਆܦࡉ๔΍ൃୡաఔ͕ղ ์ͷώϯτʹͳΕ͹ͱࢥ͍·͢
69. ༨ஊ 69 ௿ϨΠϠͰΑΓޮ཰Α͘ར༻͢ΔͨΊͷೖྗ৘ใͷ౷ ܭతߏ଄Λநग़͢Δॲཧ BVUPFODPEFS ͸ൃୡॳظͷ ༮ࣇͷ׆ಈʹݟΒΕΔ΋ͷͱྨࣅ͍ͯ͠Δؾ͕͢Δ
    ࣗൃతӡಈͱ଻ੜໟʹΑΔͦͷϑΟʔυόοΫ Ұ ࣍ମੑײ֮ Λ૊৫Խ͢Δ
    ௿ϨΠϠͷ৘ใ͕ߏ଄Խ͢Δʹ൐͍ߴ࣍ͷॲཧ͕Մೳ ʹͳΓෳࡶԽ͢Δͱ͍͏ͷ͸਎ମߏ଄ͷਆܦܥɾӡಈ ߏ଄ΛΑ͘࠶ݱ͍ͯ͠Δ
    ϑΣʔζ͝ͱʹֶशΛక͍݁ͤͯ͞Δͱ͜Ζ͕͏· ͍ͳ͊ͱ http://www.isi.imi.i.u-tokyo.ac.jp/research.php?category=13 http://www.ncbi.nlm.nih.gov/pubmed/17123097
70. &OKPZ
    /FVSBM/FUXPSLT
71. &OKPZ
    :"1$"TJB
72. 72 ਺ࣜ΍จݙʹޡΓ͕͋Δ৔߹͸
    !NVEEZEJYPO
    ·Ͱ͝࿈བྷ͍͚ͨͩΔͱॿ͔ Γ·͢ɻ
    χϑςΟͰʮ΋ʯػցֶशɾχϡʔϥϧωο τϫʔΫΛར༻ͨ͠ϏδωεΛߦ͓ͬͯΓ· ͢ɻ
    ࠾༻ر๬΋
    !NVEEZEJYPO
    ·Ͱ͓੠͕͚͘ ͍ͩ͞ɻ