Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
study before deeplearning @YAPC2015
Search
muddydixon
March 28, 2023
Programming
0
100
study before deeplearning @YAPC2015
muddydixon
March 28, 2023
Tweet
Share
More Decks by muddydixon
See All by muddydixon
企業と勉強会
muddydixon
0
71
basic of data visualization and d3.js demonstration
muddydixon
0
100
d3.js demonstration
muddydixon
0
75
data visualization @html5study
muddydixon
0
88
Time Series Prediction@JubatusCasualTalk2
muddydixon
0
70
Perl for Visualization@YAPC2013
muddydixon
0
91
Time Series Analysis by JavaScript @LLMatsuri2013
muddydixon
0
100
How to create my own Hadoop MultipleInput@HadoopCodeReading8
muddydixon
0
70
BigDataAnalytics beginning by mongo-hadoop@MongoTokyo2012
muddydixon
0
55
Other Decks in Programming
See All in Programming
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
350
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
520
AIと人間の共創開発!OSSで試行錯誤した開発スタイル
mae616
2
760
Go言語はstack overflowの夢を見るか?
logica0419
0
500
大規模アプリのDIフレームワーク刷新戦略 ~過去最大規模の並行開発を止めずにアプリ全体に導入するまで~
mot_techtalk
1
470
コード生成なしでモック処理を実現!ovechkin-dm/mockioで学ぶメタプログラミング
qualiarts
0
220
アメ車でサンノゼを走ってきたよ!
s_shimotori
0
230
モテるデスク環境
mozumasu
3
250
Introduce Hono CLI
yusukebe
6
3k
Foundation Modelsを実装日本語学習アプリを作ってみた!
hypebeans
0
120
CSC509 Lecture 06
javiergs
PRO
0
260
Flutterで分数(Fraction)を表示する方法
koukimiura
0
140
Featured
See All Featured
Side Projects
sachag
455
43k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Writing Fast Ruby
sferik
629
62k
The Language of Interfaces
destraynor
162
25k
Being A Developer After 40
akosma
91
590k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Raft: Consensus for Rubyists
vanstee
140
7.2k
Done Done
chrislema
185
16k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
For a Future-Friendly Web
brad_frost
180
10k
A Tale of Four Properties
chriscoyier
161
23k
Context Engineering - Making Every Token Count
addyosmani
7
280
Transcript
%FFQ-FBSOJOHͷલʹ ͓͍ͬͯͨ΄͏͕͍͍͜ͱ ʙతɾಈ࡞ݪཧɾߏʙ 1 :"1$"TJB5PLZP !౦ژϏοάαΠτ NVEEZEJYPO
NF 2 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ
ࣗݾհ 3 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new
ࣗݾհ 4 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new
ةͳ͍ʂ όζϫʔυͩʂ
5 あれ?
ࣗݾհ 6 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new
ࣗݾհ 7 new ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5ɾ ϏοάσʔλϏδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ
*P5
8 はい
*P5ͷʮ*ʯΛΧλνʹ 9
10
8FBSFIJSJOH 11 大事なことなので2回いいます IoTのファームウェアを書いたり いろんなところとパートナーとして ものづくりできます 採用しています @muddydixon までお声がけください
ຊɺ%FFQ-FBSOJOHͷલʹ ͓͍ͬͯͨํ͕͍͍ χϡʔϥϧωοτϫʔΫͷΛ͠·͢ 12 ͓͜ͱΘΓ
%FFQ-FBSOJOH࠷৽ͷΞΧσϛοΫͳ ͠·ͤΜ Ͱ͖·ͤΜ 13 ͓͜ͱΘΓ
ઈରʹ͠·ͤΜ 14 ͓͜ͱΘΓ
%FFQ-FBSOJOHʹ͔͠ڵຯ͕ແ͍Αʂ ͱ͍͏ํ1'*1'/ͷ4MJEFTIBSFΛ ηογϣϯதɺӾཡ͢Δ͜ͱΛ Φεεϝ͠·͢ 15 ͓͜ͱΘΓ
16 http://www.slideshare.net/pfi/
17
18
19 ന
~Todays Topics~ 神経細胞(ニューロン)の話 認知科学・脳科学との関係の話 Artificial Neuralnetworkの 歴史・原理・支えるアルゴリズム 20
ૉͳ͕ٙɾɾɾ 21 ※ (2015/08/22 ه) ͦͷޙɺன৯࣌ʹchezou͞Μͱஊ͠·ͨ͠
.ZXPSLTBCPVU/FVSBM/FUXPSLT 22 語彙獲得のニュラルネットワークモデルの構 築と背景メカニズムの推定 ヒトは文法/語彙獲得の認知的機構 文法に基づく語彙のグラウンディング
.ZXPSLTBCPVU/FVSBM/FUXPSLT 23 Computer Simulations Psychological Experiments Neuro Science
.ZXPSLTBCPVU/FVSBM/FUXPSLT 24 6層ネットワーク 再帰的ニューラルネットワーク Elman Network 自己組織化マップ Self-organizing map 自然文(量子化された単語列)の提示
次単語の予測課題
.ZXPSLTBCPVU/FVSBM/FUXPSLT 25 「SV.」と「SVO.」ではSVの習得度が高い 文脈習得後は、新奇のO(目的語)を提示した 場合でもV(動詞)の情報を元に適切なカテゴ リの賦活を示す 文末の予測精度が最初から高い 語順がロバストな入力(e.g.英語)と語順が不 安定な入力(e.g.トルコ語)を比較すると、ロ バストのほうが学習にかかる時間が短い
言語発達のフィールドワークの結果にそぐっ ている
.ZXPSLTBCPVU/FVSBM/FUXPSLT 26 Symbol Grounding Word2Vec: 「単語」を「単語」で接地する 研究: 「単語」を「文脈」で接地する 主語: I/You
自動詞: run 他動詞: eat/drive 食物: apple/orange 乗物: car/airplane
ͪͳΈʹ 27 証跡が残っていない(外付けHDDで飛んだ) Dropout(意図的に接続を省いて出力する) 出力を自身に再入力する文生成 ライブラリ化(今のようなモダンなやり方 ではない) などを2012-2017の5年間(修士・博士※1)で やっていました ※1:単位取得中退
なので最終学歴は修士
28
29 元気に歩き回れてないですが 僕です
8IBUJT /FVSBM/FUXPSL
8IBU 31 ਓؒͷਆܦઢҡࡉ๔ χϡʔϩϯ ͷ฿ https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%8A%E3%83%97%E3%82%B9
৴߸ୡͷΈ 32 ଞͷࡉ๔ γφϓεલࡉ๔ ͔ΒͷԽֶ࣭ͷൻʹΑ Γγφϓεޙࡉ๔ͷड༰ث͕ܹΛड͚ ΠΦϯνϟϯωϧ͕։͖ిҐ͕ൃੜ ిؾ৴߸ͱͯ࣠͠ࡧΛ௨Γ ׆ಈిҐ͕࣠ࡧऴʹ౸ୡɺਆܦୡ࣭Λൻ ҎԼɺ܁Γฦ͠
ਓޱχϡʔϩϯ 33 લड़ͷਆܦ৴߸ͷୡΛ؆ུԽ͠ɺ લஈͷࡉ๔ͷ׆ಈdγφϓεʹ͓͚Δड༰ମʹΑ Δ׆ಈ લஈͷ׆ಈʹ͔ͷؔΛద༻ͨ͠ͷΛୡ xw σ(x)
x0 x1 x2 y w0 w1 w2
)JTUPSZ 34 ܗࣜχϡʔϩϯ QEG ύʔηϓτϩϯ QEG ୯७ύʔηϓτϩϯͷݶքʹ͍ͭͯͷࢦఠ ࣗݾ৫ԽϚοϓ
QEG ϗοϓϑΟʔϧυωοτϫʔΫ ϘϧπϚϯϚγϯ ੍ݶϘϧπϚϯϚγϯ QEG ޡࠩٯൖ๏ QEG ࠶ؼχϡʔϥϧωοτϫʔΫ QEG %FFQ#FMJFG/FU QEG
ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷྨ 35 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ͕ܾ͑·͍ͬͯΔ ڭࢣͳֶ͠श ೖྗʹର͕ܾͯ͑͠·͍ͬͯͳ͍
ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷྨ 36 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ͕ܾ͑·͍ͬͯΔ ύʔηϓτϩϯɺσΟʔϓϥʔχϯά ࠶ؼωοτϫʔΫ ڭࢣͳֶ͠श ೖྗʹର͕ܾͯ͑͠·͍ͬͯͳ͍ ࣗݾ৫ԽϚοϓɺχϡʔϥϧΨε
ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷྨ 37 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ͕ܾ͑·͍ͬͯΔ ύʔηϓτϩϯɺσΟʔϓϥʔχϯά ࠶ؼωοτϫʔΫ ೖग़ྗͷؔؔΛ࠶ݱ͢Δ ڭࢣͳֶ͠श ೖྗʹର͕ܾͯ͑͠·͍ͬͯͳ͍ ࣗݾ৫ԽϚοϓɺχϡʔϥϧΨε
ೖྗͷ౷ܭతಛྔΛֶश͢Δ
ʮֶशʯͱ 38 χϡʔϩϯؒ ؒͷΈɺશ݁߹ɺͳͲͷ੍ ͋Δ ͷγφϓεؒͷୡޮΛνϡʔ χϯά͢Δ͜ͱ ϊΠζ͕͍ͬͯΔɺ֬తͳೖྗʹ͓͚Δ ؔͷ࠶ݱɾಛྔͷ࠶ݱ ➜ΑΓʮޮతʯͳಛྔͷ֫ಘ
ɹ➜൚Խੑೳ աֶशͰͳ͍ ͷ֫ಘ
39 χϡʔϥϧωοτϫʔΫͷ ͍͍ͱ͜ΖɾΘΔ͍ͱ͜Ζ
χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 40 ҙͷ࿈ଓؔΛۙࣅ %FFQ-FBSOJOH ಛநग़ࣗମΛߦ͑Δ ैདྷਓखͰϧʔϧ࡞Γɾ੍ͮ͘Γ
χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 41 ؔࣸ૾Ͱ͖͕ͨɾɾɾࢄදݱ EJTUSJCVUFEJNQMJDJUSFQSFTFOUBUJPO ͷղ ऍͬ͞ͺΓΘ͔Βͳ͍ͱ͜Ζ 1$"ɺઢܗ ճؼͳΒ͔Βղऍ͢Δ͜ͱ͕Ͱ͖ͨͷ ʹɾɾɾ
42 χϡʔϥϧωοτϫʔΫͷ༻్
Ԡ༻ 43 ֶతͳԠ༻ ࣗવݴޠॲཧ ύλʔϯೝࣝ ҟৗݕ ೝػೳͷղ໌ͷ༻్ ͷ׆ಈͷ࠶ݱ γϛϡϨʔγϣϯʹΑΔೝػߏͷղ໌ ࢲͪ͜Β
ೝػೳղ໌ͷϩδοΫ ࢲͷ߹ 44 ൃୡݚڀɾ৺ཧ࣮ݧ ಛఆͷϑΟʔϧυʹ͓͚Δൃୡ࣌ظͷҧ͍ɺදͷҧ͍ͷ؍ ಛఆͷೝత՝ʹΑΓߦಈͷมԽͷ؍ଌ ➜ڥɾܹʹΑΓࠩҟΛੜͤ͡͞ΔೝػೳΛࣔࠦ ׆ಈͷݚڀ ೝػೳΛར༻͢ΔͰ͋Ζ͏ೝత՝ʹΑΓො׆͢Δ෦Ґ લ಄༿ɾ಄
༿ɾଆ಄༿ͳͲ ͷಛఆ ➜ೝత՝ʹؔ͢ΔೝػೳΛ୲͏ث࣭తͳଘࡏΛࣔࠦ ܭࢉػγϛϡϨʔγϣϯ ث࣭తͳߏ࿈݁Λʮ͋Δఔʯۙࣅ͠ɺೖྗܹΛίϯτϩʔϧ͢Δ ͜ͱͰɺಉ༷ͷ৺ཧ࣮ݧൃୡݚڀΛఆੑతʹ࠶ݱ ➜ʮఆͨ͠ΞʔΩςΫνϟʹΑͬͯʯ࠶ݱ͢Δ͜ͱ͕ՄೳͰ͋Δ͜ͱΛ ࣔ͢ ඞͣͦ͏ͩɺͱ͍͏͜ͱݴ͑ͳ͍
)PX/FVSBM/FUXPSL 8PSLT
)JFSBSDIJDBM /FVSBM/FUXPSL
తʹ͍͏ͱ 47 ೖग़ྗʹ͓͚Δ݁߹ՙॏ ͷνϡʔχϯά ೖग़ྗͷؔΛޮΑ͘ ࠶ݱͰ͖ΔΑ͏ʹใ ΛѹॖɾಛΛநग़ input layer hidden
layer output layer input signals teacher signal
ྫ͑ 48 ?ͷೖग़ྗΛ࣮ݱ͢ ΔؔΛ࠶ݱ͢ΔͨΊ ʹೖग़ྗͷ౷ܭత ใΛಛ ߏ Λநग़͢ Δඞཁ͕͋Δ input
layer hidden layer output layer input signals teacher signal
'FFE'PSXBSE1SPQBHBUJPO 49 М T ʹγάϞΠυۂઢਖ਼͕ΘΕΔ ࠷ۙ3FDUJGJFE-JOFBS6OJU͕Α͘ΘΕΔΒ͍͠Ͱ͢ https://ja.wikipedia.org/wiki/׆ಈిҐ
50
#BDL1SPQBHBUJPO 51 ͜ͷΞϧΰϦζϜʹ ΑΓଟԽ͕Մೳʹ ҙͷ࿈ଓؔͷۙ ࣅ͕Ͱ͖Δ ऑ ऩଋ͕͍ 51 input
layer hidden layer output layer input signals teacher signal
ޡࠩٯൖ๏ಋग़γάϞΠυؔͷ߹ 52
ޡࠩٯൖ๏ಋग़γάϞΠυؔͷ߹ ଓ͖ 53
&MNBO/FUXPSL 54 ੈલͷதؒͷࢄදݱΛೖ ྗ จ຺ ͱͯ͠ɺೖྗͱͱ ʹֶशΛ܁Γฦ͢ Ұํͷୡܦ࿏Ͱ͋Δ ͨΊޡࠩٯൖ๏ͰֶशՄೳ Copy
Context Layer Input Layer Hidden Layer Output Layer
+PSEBO/FUXPSL 55 ੈલͷग़ྗͷදݱΛೖྗ จ ຺ ͱͯ͠ɺೖྗͱͱʹֶ शΛ܁Γฦ͢ Ұํͷୡܦ࿏Ͱ͋Δ ͨΊޡࠩٯൖ๏ͰֶशՄೳ Copy
Context Layer Input Layer Hidden Layer Output Layer
࣍୯ޠ༧ଌֶश 56 次の入力を予測するような学習を行い、かつ、 文脈の情報を入力として利用することで、系 列からの特徴抽出を強いる 予測誤差をエンコードするニューロンの存在 の示唆 Copy Context Layer
Input Layer Hidden Layer Output Layer
4FMG0SHBOJ[JOH .BQ
4FMG0SHBOJ[JOHNBQ 58 ੜͷʹॱংؔ ͕ҡ࣋͞ΕΔ৫Խ ͞ΕͨϚοϓ͕ଘࡏ Ұ࣍ࢹ֮ ԻҐ૬ ମੑײ֮ ͜ΕΛ࠶ݱ͢Δχϡʔϥ ϧωοτϫʔΫ
input signals
4FMG0SHBOJ[JOHNBQ 59 https://ja.wikipedia.org/wiki/ମੑײ֮
ԻҐ૬ϚοϓࣼϚοϓ 60 http://fourier.eng.hmc.edu/e161/lectures/nn/node14.html
4FMG0SHBOJ[JOHNBQ 61 ֊ܕχϡʔϥϧωοτϫʔΫ͕ʮχϡʔϩ ϯؒ ؒ ͷ݁߹ՙॏʯΛֶश͢Δ͜ͱʹର ͯ͠ɺ40.Ͱʮۙʯͱ͍͏زԿతͳ֓ ೦Λಋೖ͢Δ͜ͱͰʮॱংʯΛ࣋ͬͨ৫Խ Ϛοϓͷ࠶ݱʹޭ )FCCͷ๏ଇʹΑΔγφϓεؒͷँมԽ
χϡʔϩϯͷԠબ੍ ಛහײԠ ਆܦୡ࣭ͷ֦ࢄʹΑΔଆํ׆ੑ੍ޚ
62 input signals
Ԡબ੍ 63 input signals
ଆํ׆ੑ੍ޚ 64 input signals
)FCCͷ๏ଇʹΑΓँมԽ ୡޮͷ্ 65 input signals
Ұൠతͳ %FFQ-FBSOJOHͱͷҧ͍ 66 ಛநग़ೳྗͱ͠ ͯࣅ௨ͬ ͍ͯΔ ใѹॖΛ͍ͯ͠Δ ͨΊ
ۭؒతͳॱং ৫Խ͕ҟͳ͍ͬͯ Δ ͜͜ʹ40.ʹϫ ϯνϟϯ͋Δ͔ʂ
$MPTJOH
·ͱΊ 68 %FFQ-FBSOJOH.BDIJOF-FBSOJOHͷ ར༻͢͠͞ࠓޙ૿ͣ͢ χϡʔϥϧωοτϫʔΫͷຊ࣭ ԿΛ࠶ݱ͠ ͍ͯΔͷ͔ɺͲͷΑ͏ʹֶश͍ͯ͠Δͷ͔ Λ͍ͬͯΔͱνϡʔχϯά͕ՄೳʹͳΔ ϙΞϯΧϨ༧ͷΑ͏ʹɺใֶͷࢹͰ ߦ͖٧·Δ໘Ͱɺਆܦࡉ๔ൃୡաఔ͕ղ
์ͷώϯτʹͳΕͱࢥ͍·͢
༨ஊ 69 ϨΠϠͰΑΓޮΑ͘ར༻͢ΔͨΊͷೖྗใͷ౷ ܭతߏΛநग़͢Δॲཧ BVUPFODPEFS ൃୡॳظͷ ༮ࣇͷ׆ಈʹݟΒΕΔͷͱྨࣅ͍ͯ͠Δؾ͕͢Δ ࣗൃతӡಈͱੜໟʹΑΔͦͷϑΟʔυόοΫ Ұ ࣍ମੑײ֮
Λ৫Խ͢Δ ϨΠϠͷใ͕ߏԽ͢Δʹ͍ߴ࣍ͷॲཧ͕Մೳ ʹͳΓෳࡶԽ͢Δͱ͍͏ͷମߏͷਆܦܥɾӡಈ ߏΛΑ͘࠶ݱ͍ͯ͠Δ ϑΣʔζ͝ͱʹֶशΛక͍݁ͤͯ͞Δͱ͜Ζ͕͏· ͍ͳ͊ͱ http://www.isi.imi.i.u-tokyo.ac.jp/research.php?category=13 http://www.ncbi.nlm.nih.gov/pubmed/17123097
&OKPZ /FVSBM/FUXPSLT
&OKPZ :"1$"TJB
72 ࣜจݙʹޡΓ͕͋Δ߹ !NVEEZEJYPO·Ͱ͝࿈བྷ͍͚ͨͩΔͱॿ͔ Γ·͢ɻ χϑςΟͰʮʯػցֶशɾχϡʔϥϧωο τϫʔΫΛར༻ͨ͠ϏδωεΛߦ͓ͬͯΓ· ͢ɻ ࠾༻ر!NVEEZEJYPO·Ͱ͓͕͚͘ ͍ͩ͞ɻ