study before deeplearning @YAPC2015

%FFQ-FBSOJOHͷલʹ ஌͓͍ͬͯͨ΄͏͕͍͍͜ͱ ʙ໨తɾಈ࡞ݪཧɾߏ଄ʙ 1 :"1$"TJB5PLZP !౦ژϏοάαΠτ NVEEZEJYPO

NF 2 ৿౻େ஍!NVEEZEJYPO χϑςΟ೥໨ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ

ࣗݾ঺հ 3 ৿౻େ஍!NVEEZEJYPO χϑςΟ೥໨ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new

ةͳ͍ʂ όζϫʔυͩʂ

5 あれ？

ࣗݾ঺հ 7 new ৿౻େ஍!NVEEZEJYPO χϑςΟ೥໨ ϞόΠϧɾ*P5ɾ ϏοάσʔλϏδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ
*P5

8 はい

*P5ͷʮ*ʯΛΧλνʹ 9

8FBSFIJSJOH 11 大事なことなので2回いいます IoTのファームウェアを書いたりいろんなところとパートナーとしてものづくりできます採用しています @muddydixon までお声がけください

ຊ೔͸ɺ%FFQ-FBSOJOHͷલʹ ஌͓͍ͬͯͨํ͕͍͍ χϡʔϥϧωοτϫʔΫͷ࿩Λ͠·͢ 12 ͓͜ͱΘΓ

%FFQ-FBSOJOH΍࠷৽ͷΞΧσϛοΫͳ ࿩͸͠·ͤΜ Ͱ͖·ͤΜ 13 ͓͜ͱΘΓ

ઈରʹ͠·ͤΜ 14 ͓͜ͱΘΓ

%FFQ-FBSOJOHʹ͔͠ڵຯ͕ແ͍Αʂ ͱ͍͏ํ͸1'*1'/ͷ4MJEFTIBSFΛ ηογϣϯதɺӾཡ͢Δ͜ͱΛ Φεεϝ͠·͢ 15 ͓͜ͱΘΓ

16 http://www.slideshare.net/pfi/

19 ന໨

~Todays Topics~ 神経細胞(ニューロン)の話認知科学・脳科学との関係の話 Artificial Neuralnetworkの歴史・原理・支えるアルゴリズム 20

ૉ๿ͳٙ໰͕ɾɾɾ 21 ※ (2015/08/22 ௥ه) ͦͷޙɺன৯࣌ʹchezou͞Μͱ׻ஊ͠·ͨ͠

.ZXPSLTBCPVU/FVSBM/FUXPSLT 22 語彙獲得のニュラルネットワークモデルの構築と背景メカニズムの推定ヒトは文法/語彙獲得の認知的機構文法に基づく語彙のグラウンディング

.ZXPSLTBCPVU/FVSBM/FUXPSLT 23 Computer Simulations Psychological Experiments Neuro Science

.ZXPSLTBCPVU/FVSBM/FUXPSLT 24 6層ネットワーク再帰的ニューラルネットワーク Elman Network 自己組織化マップ Self-organizing map 自然文(量子化された単語列)の提示
次単語の予測課題

.ZXPSLTBCPVU/FVSBM/FUXPSLT 25 「SV.」と「SVO.」ではSVの習得度が高い文脈習得後は、新奇のO(目的語)を提示した場合でもV(動詞)の情報を元に適切なカテゴリの賦活を示す文末の予測精度が最初から高い語順がロバストな入力(e.g.英語)と語順が不安定な入力(e.g.トルコ語)を比較すると、ロバストのほうが学習にかかる時間が短い
言語発達のフィールドワークの結果にそぐっている

.ZXPSLTBCPVU/FVSBM/FUXPSLT 26 Symbol Grounding Word2Vec: 「単語」を「単語」で接地する研究: 「単語」を「文脈」で接地する主語: I/You
自動詞: run 他動詞: eat/drive 食物: apple/orange 乗物: car/airplane

ͪͳΈʹ 27 証跡が残っていない(外付けHDDで飛んだ) Dropout(意図的に接続を省いて出力する）出力を自身に再入力する文生成ライブラリ化(今のようなモダンなやり方ではない) などを2012-2017の5年間(修士・博士※1)でやっていました ※1:単位取得中退
なので最終学歴は修士

29 元気に歩き回れてないですが僕です

8IBUJT /FVSBM/FUXPSL

8IBU 31 ਓؒͷਆܦઢҡࡉ๔ χϡʔϩϯ ͷ໛฿ https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%8A%E3%83%97%E3%82%B9

৴߸఻ୡͷ࢓૊Έ 32 ଞͷࡉ๔ γφϓεલࡉ๔ ͔ΒͷԽֶ෺࣭ͷ෼ൻʹΑ Γγφϓεޙࡉ๔ͷड༰ث͕ܹࢗΛड͚ ΠΦϯνϟϯωϧ͕։͖ిҐ͕ൃੜ ిؾ৴߸ͱͯ࣠͠ࡧΛ௨Γ ׆ಈిҐ͕࣠ࡧऴ୺ʹ౸ୡɺਆܦ఻ୡ෺࣭Λ෼ൻ ҎԼɺ܁Γฦ͠

ਓޱχϡʔϩϯ 33 લड़ͷਆܦ৴߸ͷ఻ୡΛ؆ུԽ͠ɺ લஈͷࡉ๔ͷ׆ಈdγφϓεʹ͓͚Δड༰ମʹΑ Δ׆ಈ લஈͷ׆ಈʹ๭͔ͷؔ਺Λద༻ͨ͠΋ͷΛ఻ୡ xw σ(x)
x0 x1 x2 y w0 w1 w2

)JTUPSZ 34 ܗࣜχϡʔϩϯ QEG ύʔηϓτϩϯ QEG ୯७ύʔηϓτϩϯͷݶքʹ͍ͭͯͷࢦఠ ࣗݾ૊৫ԽϚοϓ
QEG ϗοϓϑΟʔϧυωοτϫʔΫ ϘϧπϚϯϚγϯ ੍ݶϘϧπϚϯϚγϯ QEG ޡࠩٯ఻ൖ๏ QEG ࠶ؼχϡʔϥϧωοτϫʔΫ QEG %FFQ#FMJFG/FU QEG

ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷ෼ྨ 35 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ౴͕ܾ͑·͍ͬͯΔ ڭࢣͳֶ͠श ೖྗʹରͯ͠౴͕ܾ͑·͍ͬͯͳ͍

ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷ෼ྨ 36 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ౴͕ܾ͑·͍ͬͯΔ ύʔηϓτϩϯɺσΟʔϓϥʔχϯά ࠶ؼωοτϫʔΫ ڭࢣͳֶ͠श ೖྗʹରͯ͠౴͕ܾ͑·͍ͬͯͳ͍ ࣗݾ૊৫ԽϚοϓɺχϡʔϥϧΨε

ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷ෼ྨ 37 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ౴͕ܾ͑·͍ͬͯΔ ύʔηϓτϩϯɺσΟʔϓϥʔχϯά ࠶ؼωοτϫʔΫ ೖग़ྗͷؔ܎ؔ਺Λ࠶ݱ͢Δ ڭࢣͳֶ͠श ೖྗʹରͯ͠౴͕ܾ͑·͍ͬͯͳ͍ ࣗݾ૊৫ԽϚοϓɺχϡʔϥϧΨε
ೖྗͷ౷ܭతಛ௃ྔΛֶश͢Δ

ʮֶशʯͱ͸ 38 χϡʔϩϯؒ ૚ؒͷΈɺશ݁߹ɺͳͲͷ੍ ໿͸͋Δ ͷγφϓεؒͷ఻ୡޮ཰Λνϡʔ χϯά͢Δ͜ͱ ϊΠζ͕৐͍ͬͯΔɺ֬཰తͳೖྗʹ͓͚Δ ؔ਺ͷ࠶ݱɾಛ௃ྔͷ࠶ݱ ➜ΑΓʮޮ཰తʯͳಛ௃ྔͷ֫ಘ
ɹ➜൚Խੑೳ աֶशͰ͸ͳ͍ ͷ֫ಘ

39 χϡʔϥϧωοτϫʔΫͷ ͍͍ͱ͜ΖɾΘΔ͍ͱ͜Ζ

χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 40 ೚ҙͷ࿈ଓؔ਺Λۙࣅ %FFQ-FBSOJOH ಛ௃நग़ࣗମΛߦ͑Δ ैདྷ͸ਓखͰϧʔϧ࡞Γɾ੍໿ͮ͘Γ

χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 41 ؔ਺͸ࣸ૾Ͱ͖͕ͨɾɾɾ෼ࢄදݱ EJTUSJCVUFEJNQMJDJUSFQSFTFOUBUJPO ͷղ ऍ͸ͬ͞ͺΓΘ͔Βͳ͍ͱ͜Ζ 1$"ɺઢܗ ճؼͳΒ܎਺͔Βղऍ͢Δ͜ͱ͕Ͱ͖ͨͷ ʹɾɾɾ

42 χϡʔϥϧωοτϫʔΫͷ༻్

Ԡ༻෼໺ 43 ޻ֶతͳԠ༻ ࣗવݴޠॲཧ ύλʔϯೝࣝ ҟৗݕ஌ ೝ஌ػೳͷղ໌ͷ༻్ ೴಺ͷ׆ಈͷ࠶ݱ γϛϡϨʔγϣϯʹΑΔೝ஌ػߏͷղ໌ ࢲ͸ͪ͜Β

ೝ஌ػೳղ໌ͷϩδοΫ ࢲͷ৔߹ 44 ൃୡݚڀɾ৺ཧ࣮ݧ ಛఆͷϑΟʔϧυʹ͓͚Δൃୡ࣌ظͷҧ͍ɺද৅ͷҧ͍ͷ؍࡯ ಛఆͷೝ஌త՝୊ʹΑΓߦಈͷมԽͷ؍ଌ ➜؀ڥɾܹࢗʹΑΓࠩҟΛੜͤ͡͞Δೝ஌ػೳΛࣔࠦ ೴׆ಈͷݚڀ ೝ஌ػೳΛར༻͢ΔͰ͋Ζ͏ೝ஌త՝୊ʹΑΓො׆͢Δ෦Ґ લ಄༿ɾ಄
௖༿ɾଆ಄༿ͳͲ ͷಛఆ ➜ೝ஌త՝୊ʹؔ܎͢Δೝ஌ػೳΛ୲͏ث࣭తͳଘࡏΛࣔࠦ ܭࢉػγϛϡϨʔγϣϯ ث࣭తͳߏ଄΍࿈݁Λʮ͋Δఔ౓ʯۙࣅ͠ɺೖྗܹࢗΛίϯτϩʔϧ͢Δ ͜ͱͰɺಉ༷ͷ৺ཧ࣮ݧ΍ൃୡݚڀΛఆੑతʹ࠶ݱ ➜ʮ૝ఆͨ͠ΞʔΩςΫνϟʹΑͬͯʯ࠶ݱ͢Δ͜ͱ͕ՄೳͰ͋Δ͜ͱΛ ࣔ͢ ඞͣͦ͏ͩɺͱ͍͏͜ͱ͸ݴ͑ͳ͍

)PX/FVSBM/FUXPSL 8PSLT

)JFSBSDIJDBM /FVSBM/FUXPSL

୺తʹ͍͏ͱ 47 ೖग़ྗʹ͓͚Δ݁߹ՙॏ ͷνϡʔχϯά ೖग़ྗͷؔ਺Λޮ཰Α͘ ࠶ݱͰ͖ΔΑ͏ʹ৘ใ Λѹॖɾಛ௃Λநग़ input layer hidden
layer output layer input signals teacher signal

ྫ͑͹ 48 ?ͷೖग़ྗΛ࣮ݱ͢ Δؔ਺Λ࠶ݱ͢ΔͨΊ ʹ͸ೖग़ྗͷ౷ܭత৘ ใΛಛ௃ ߏ଄ Λநग़͢ Δඞཁ͕͋Δ input
layer hidden layer output layer input signals teacher signal

'FFE'PSXBSE1SPQBHBUJPO 49 М T ʹ͸γάϞΠυ΍૒ۂઢਖ਼઀͕࢖ΘΕΔ ࠷ۙ͸3FDUJGJFE-JOFBS6OJU͕Α͘࢖ΘΕΔΒ͍͠Ͱ͢ https://ja.wikipedia.org/wiki/׆ಈిҐ

#BDL1SPQBHBUJPO 51 ͜ͷΞϧΰϦζϜʹ ΑΓଟ૚Խ͕Մೳʹ ೚ҙͷ࿈ଓؔ਺ͷۙ ࣅ͕Ͱ͖Δ ऑ఺ ऩଋ͕஗͍ 51 input
layer hidden layer output layer input signals teacher signal

ޡࠩٯ఻ൖ๏ಋग़γάϞΠυؔ਺ͷ৔߹ 52

ޡࠩٯ఻ൖ๏ಋग़γάϞΠυؔ਺ͷ৔߹ ଓ͖ 53

&MNBO/FUXPSL 54 ੈ୅લͷதؒ૚ͷ෼ࢄදݱΛೖ ྗ จ຺૚ ͱͯ͠ɺೖྗ૚ͱͱ΋ ʹֶशΛ܁Γฦ͢ Ұํ޲΁ͷ఻ୡܦ࿏Ͱ͋Δ ͨΊޡࠩٯ఻ൖ๏ͰֶशՄೳ Copy
Context Layer Input Layer Hidden Layer Output Layer

+PSEBO/FUXPSL 55 ੈ୅લͷग़ྗ૚ͷදݱΛೖྗ จ ຺૚ ͱͯ͠ɺೖྗ૚ͱͱ΋ʹֶ शΛ܁Γฦ͢ Ұํ޲΁ͷ఻ୡܦ࿏Ͱ͋Δ ͨΊޡࠩٯ఻ൖ๏ͰֶशՄೳ Copy
Context Layer Input Layer Hidden Layer Output Layer

࣍୯ޠ༧ଌֶश 56 次の入力を予測するような学習を行い、かつ、文脈の情報を入力として利用することで、系列からの特徴抽出を強いる予測誤差をエンコードするニューロンの存在の示唆 Copy Context Layer
Input Layer Hidden Layer Output Layer

4FMG0SHBOJ[JOH .BQ

4FMG0SHBOJ[JOHNBQ 58 ੜ෺ͷ೴಺ʹ͸ॱংؔ ܎͕ҡ࣋͞ΕΔ૊৫Խ ͞ΕͨϚοϓ͕ଘࡏ Ұ࣍ࢹ֮໺ ԻҐ૬ ମੑײ֮ ͜ΕΛ࠶ݱ͢Δχϡʔϥ ϧωοτϫʔΫ
input signals

4FMG0SHBOJ[JOHNBQ 59 https://ja.wikipedia.org/wiki/ମੑײ֮

ԻҐ૬Ϛοϓ܏ࣼϚοϓ 60 http://fourier.eng.hmc.edu/e161/lectures/nn/node14.html

4FMG0SHBOJ[JOHNBQ 61 ֊૚ܕχϡʔϥϧωοτϫʔΫ͕ʮχϡʔϩ ϯؒ ૚ؒ ͷ݁߹ՙॏʯΛֶश͢Δ͜ͱʹର ͯ͠ɺ40.Ͱ͸ʮۙ๣ʯͱ͍͏زԿతͳ֓ ೦Λಋೖ͢Δ͜ͱͰʮॱংʯΛ࣋ͬͨ૊৫Խ Ϛοϓͷ࠶ݱʹ੒ޭ )FCCͷ๏ଇʹΑΔγφϓεؒͷ୅ँมԽ
χϡʔϩϯͷԠ౴બ୒੍ ಛ௃හײ൓Ԡ ਆܦ఻ୡ෺࣭ͷ֦ࢄʹΑΔଆํ׆ੑ੍ޚ

62 input signals

Ԡ౴બ୒੍ 63 input signals

ଆํ׆ੑ੍ޚ 64 input signals

)FCCͷ๏ଇʹΑΓ୅ँมԽ ఻ୡޮ཰ͷ޲্ 65 input signals

Ұൠతͳ %FFQ-FBSOJOHͱͷҧ͍ 66 ಛ௃நग़ೳྗͱ͠ ͯ͸ࣅ௨ͬ ͍ͯΔ ৘ ใѹॖΛ͍ͯ͠Δ ͨΊ
ۭؒతͳॱং૊ ৫Խ͕ҟͳ͍ͬͯ Δ ͜͜ʹ40.ʹϫ ϯνϟϯ͋Δ͔΋ʂ

$MPTJOH

·ͱΊ 68 %FFQ-FBSOJOH΍.BDIJOF-FBSOJOHͷ ར༻͠΍͢͞͸ࠓޙ૿͢͸ͣ χϡʔϥϧωοτϫʔΫͷຊ࣭ ԿΛ࠶ݱ͠ ͍ͯΔͷ͔ɺͲͷΑ͏ʹֶश͍ͯ͠Δͷ͔ Λ஌͍ͬͯΔͱνϡʔχϯά͕ՄೳʹͳΔ ϙΞϯΧϨ༧૝ͷΑ͏ʹɺ৘ใֶͷࢹ఺Ͱ͸ ߦ͖٧·Δ৔໘Ͱɺਆܦࡉ๔΍ൃୡաఔ͕ղ
์ͷώϯτʹͳΕ͹ͱࢥ͍·͢

༨ஊ 69 ௿ϨΠϠͰΑΓޮ཰Α͘ར༻͢ΔͨΊͷೖྗ৘ใͷ౷ ܭతߏ଄Λநग़͢Δॲཧ BVUPFODPEFS ͸ൃୡॳظͷ ༮ࣇͷ׆ಈʹݟΒΕΔ΋ͷͱྨࣅ͍ͯ͠Δؾ͕͢Δ ࣗൃతӡಈͱ଻ੜໟʹΑΔͦͷϑΟʔυόοΫ Ұ ࣍ମੑײ֮
Λ૊৫Խ͢Δ ௿ϨΠϠͷ৘ใ͕ߏ଄Խ͢Δʹ൐͍ߴ࣍ͷॲཧ͕Մೳ ʹͳΓෳࡶԽ͢Δͱ͍͏ͷ͸਎ମߏ଄ͷਆܦܥɾӡಈ ߏ଄ΛΑ͘࠶ݱ͍ͯ͠Δ ϑΣʔζ͝ͱʹֶशΛక͍݁ͤͯ͞Δͱ͜Ζ͕͏· ͍ͳ͊ͱ http://www.isi.imi.i.u-tokyo.ac.jp/research.php?category=13 http://www.ncbi.nlm.nih.gov/pubmed/17123097

&OKPZ /FVSBM/FUXPSLT

&OKPZ :"1$"TJB

72 ਺ࣜ΍จݙʹޡΓ͕͋Δ৔߹͸ !NVEEZEJYPO·Ͱ͝࿈བྷ͍͚ͨͩΔͱॿ͔ Γ·͢ɻ χϑςΟͰʮ΋ʯػցֶशɾχϡʔϥϧωο τϫʔΫΛར༻ͨ͠ϏδωεΛߦ͓ͬͯΓ· ͢ɻ ࠾༻ر๬΋!NVEEZEJYPO·Ͱ͓੠͕͚͘ ͍ͩ͞ɻ

study before deeplearning @YAPC2015

study before deeplearning @YAPC2015

More Decks by muddydixon

Other Decks in Programming

Featured

Transcript