Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
study before deeplearning @YAPC2015
Search
muddydixon
March 28, 2023
Programming
150
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
study before deeplearning @YAPC2015
muddydixon
March 28, 2023
Transcript
72 slides
%FFQ-FBSOJOHͷલʹ ͓͍ͬͯͨ΄͏͕͍͍͜ͱ ʙతɾಈ࡞ݪཧɾߏʙ 1 :"1$"TJB5PLZP !౦ژϏοάαΠτ NVEEZEJYPO
NF 2 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ
ࣗݾհ 3 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new
ࣗݾհ 4 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new
ةͳ͍ʂ όζϫʔυͩʂ
5 あれ?
ࣗݾհ 6 ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5Ϗδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ *P5 new
ࣗݾհ 7 new ౻େ!NVEEZEJYPO χϑςΟ ϞόΠϧɾ*P5ɾ ϏοάσʔλϏδωε෦ +BWB4DSJQU1FSM σʔλલॲཧσʔλղੳ ࣌ܥྻ༧ଌσʔλՄࢹԽ
*P5
8 はい
*P5ͷʮ*ʯΛΧλνʹ 9
10
8FBSFIJSJOH 11 大事なことなので2回いいます IoTのファームウェアを書いたり いろんなところとパートナーとして ものづくりできます 採用しています @muddydixon までお声がけください
ຊɺ%FFQ-FBSOJOHͷલʹ ͓͍ͬͯͨํ͕͍͍ χϡʔϥϧωοτϫʔΫͷΛ͠·͢ 12 ͓͜ͱΘΓ
%FFQ-FBSOJOH࠷৽ͷΞΧσϛοΫͳ ͠·ͤΜ Ͱ͖·ͤΜ 13 ͓͜ͱΘΓ
ઈରʹ͠·ͤΜ 14 ͓͜ͱΘΓ
%FFQ-FBSOJOHʹ͔͠ڵຯ͕ແ͍Αʂ ͱ͍͏ํ1'*1'/ͷ4MJEFTIBSFΛ ηογϣϯதɺӾཡ͢Δ͜ͱΛ Φεεϝ͠·͢ 15 ͓͜ͱΘΓ
16 http://www.slideshare.net/pfi/
17
18
19 ന
~Todays Topics~ 神経細胞(ニューロン)の話 認知科学・脳科学との関係の話 Artificial Neuralnetworkの 歴史・原理・支えるアルゴリズム 20
ૉͳ͕ٙɾɾɾ 21 ※ (2015/08/22 ه) ͦͷޙɺன৯࣌ʹchezou͞Μͱஊ͠·ͨ͠
.ZXPSLTBCPVU/FVSBM/FUXPSLT 22 語彙獲得のニュラルネットワークモデルの構 築と背景メカニズムの推定 ヒトは文法/語彙獲得の認知的機構 文法に基づく語彙のグラウンディング
.ZXPSLTBCPVU/FVSBM/FUXPSLT 23 Computer Simulations Psychological Experiments Neuro Science
.ZXPSLTBCPVU/FVSBM/FUXPSLT 24 6層ネットワーク 再帰的ニューラルネットワーク Elman Network 自己組織化マップ Self-organizing map 自然文(量子化された単語列)の提示
次単語の予測課題
.ZXPSLTBCPVU/FVSBM/FUXPSLT 25 「SV.」と「SVO.」ではSVの習得度が高い 文脈習得後は、新奇のO(目的語)を提示した 場合でもV(動詞)の情報を元に適切なカテゴ リの賦活を示す 文末の予測精度が最初から高い 語順がロバストな入力(e.g.英語)と語順が不 安定な入力(e.g.トルコ語)を比較すると、ロ バストのほうが学習にかかる時間が短い
言語発達のフィールドワークの結果にそぐっ ている
.ZXPSLTBCPVU/FVSBM/FUXPSLT 26 Symbol Grounding Word2Vec: 「単語」を「単語」で接地する 研究: 「単語」を「文脈」で接地する 主語: I/You
自動詞: run 他動詞: eat/drive 食物: apple/orange 乗物: car/airplane
ͪͳΈʹ 27 証跡が残っていない(外付けHDDで飛んだ) Dropout(意図的に接続を省いて出力する) 出力を自身に再入力する文生成 ライブラリ化(今のようなモダンなやり方 ではない) などを2012-2017の5年間(修士・博士※1)で やっていました ※1:単位取得中退
なので最終学歴は修士
28
29 元気に歩き回れてないですが 僕です
8IBUJT /FVSBM/FUXPSL
8IBU 31 ਓؒͷਆܦઢҡࡉ๔ χϡʔϩϯ ͷ฿ https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%8A%E3%83%97%E3%82%B9
৴߸ୡͷΈ 32 ଞͷࡉ๔ γφϓεલࡉ๔ ͔ΒͷԽֶ࣭ͷൻʹΑ Γγφϓεޙࡉ๔ͷड༰ث͕ܹΛड͚ ΠΦϯνϟϯωϧ͕։͖ిҐ͕ൃੜ ిؾ৴߸ͱͯ࣠͠ࡧΛ௨Γ ׆ಈిҐ͕࣠ࡧऴʹ౸ୡɺਆܦୡ࣭Λൻ ҎԼɺ܁Γฦ͠
ਓޱχϡʔϩϯ 33 લड़ͷਆܦ৴߸ͷୡΛ؆ུԽ͠ɺ લஈͷࡉ๔ͷ׆ಈdγφϓεʹ͓͚Δड༰ମʹΑ Δ׆ಈ લஈͷ׆ಈʹ͔ͷؔΛద༻ͨ͠ͷΛୡ xw σ(x)
x0 x1 x2 y w0 w1 w2
)JTUPSZ 34 ܗࣜχϡʔϩϯ QEG ύʔηϓτϩϯ QEG ୯७ύʔηϓτϩϯͷݶքʹ͍ͭͯͷࢦఠ ࣗݾ৫ԽϚοϓ
QEG ϗοϓϑΟʔϧυωοτϫʔΫ ϘϧπϚϯϚγϯ ੍ݶϘϧπϚϯϚγϯ QEG ޡࠩٯൖ๏ QEG ࠶ؼχϡʔϥϧωοτϫʔΫ QEG %FFQ#FMJFG/FU QEG
ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷྨ 35 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ͕ܾ͑·͍ͬͯΔ ڭࢣͳֶ͠श ೖྗʹର͕ܾͯ͑͠·͍ͬͯͳ͍
ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷྨ 36 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ͕ܾ͑·͍ͬͯΔ ύʔηϓτϩϯɺσΟʔϓϥʔχϯά ࠶ؼωοτϫʔΫ ڭࢣͳֶ͠श ೖྗʹର͕ܾͯ͑͠·͍ͬͯͳ͍ ࣗݾ৫ԽϚοϓɺχϡʔϥϧΨε
ڭࢣ৴߸ʹݟΔχϡʔϥϧωοτϫʔΫͷྨ 37 ڭࢣ͋Γֶश ೖྗʹରͯ͠ٻΊΒΕΔ͕ܾ͑·͍ͬͯΔ ύʔηϓτϩϯɺσΟʔϓϥʔχϯά ࠶ؼωοτϫʔΫ ೖग़ྗͷؔؔΛ࠶ݱ͢Δ ڭࢣͳֶ͠श ೖྗʹର͕ܾͯ͑͠·͍ͬͯͳ͍ ࣗݾ৫ԽϚοϓɺχϡʔϥϧΨε
ೖྗͷ౷ܭతಛྔΛֶश͢Δ
ʮֶशʯͱ 38 χϡʔϩϯؒ ؒͷΈɺશ݁߹ɺͳͲͷ੍ ͋Δ ͷγφϓεؒͷୡޮΛνϡʔ χϯά͢Δ͜ͱ ϊΠζ͕͍ͬͯΔɺ֬తͳೖྗʹ͓͚Δ ؔͷ࠶ݱɾಛྔͷ࠶ݱ ➜ΑΓʮޮతʯͳಛྔͷ֫ಘ
ɹ➜൚Խੑೳ աֶशͰͳ͍ ͷ֫ಘ
39 χϡʔϥϧωοτϫʔΫͷ ͍͍ͱ͜ΖɾΘΔ͍ͱ͜Ζ
χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 40 ҙͷ࿈ଓؔΛۙࣅ %FFQ-FBSOJOH ಛநग़ࣗମΛߦ͑Δ ैདྷਓखͰϧʔϧ࡞Γɾ੍ͮ͘Γ
χϡʔϥϧωοτϫʔΫͷ͍͍ͱ͜Ζɾѱ͍ͱ͜Ζ 41 ؔࣸ૾Ͱ͖͕ͨɾɾɾࢄදݱ EJTUSJCVUFEJNQMJDJUSFQSFTFOUBUJPO ͷղ ऍͬ͞ͺΓΘ͔Βͳ͍ͱ͜Ζ 1$"ɺઢܗ ճؼͳΒ͔Βղऍ͢Δ͜ͱ͕Ͱ͖ͨͷ ʹɾɾɾ
42 χϡʔϥϧωοτϫʔΫͷ༻్
Ԡ༻ 43 ֶతͳԠ༻ ࣗવݴޠॲཧ ύλʔϯೝࣝ ҟৗݕ ೝػೳͷղ໌ͷ༻్ ͷ׆ಈͷ࠶ݱ γϛϡϨʔγϣϯʹΑΔೝػߏͷղ໌ ࢲͪ͜Β
ೝػೳղ໌ͷϩδοΫ ࢲͷ߹ 44 ൃୡݚڀɾ৺ཧ࣮ݧ ಛఆͷϑΟʔϧυʹ͓͚Δൃୡ࣌ظͷҧ͍ɺදͷҧ͍ͷ؍ ಛఆͷೝత՝ʹΑΓߦಈͷมԽͷ؍ଌ ➜ڥɾܹʹΑΓࠩҟΛੜͤ͡͞ΔೝػೳΛࣔࠦ ׆ಈͷݚڀ ೝػೳΛར༻͢ΔͰ͋Ζ͏ೝత՝ʹΑΓො׆͢Δ෦Ґ લ಄༿ɾ಄
༿ɾଆ಄༿ͳͲ ͷಛఆ ➜ೝత՝ʹؔ͢ΔೝػೳΛ୲͏ث࣭తͳଘࡏΛࣔࠦ ܭࢉػγϛϡϨʔγϣϯ ث࣭తͳߏ࿈݁Λʮ͋Δఔʯۙࣅ͠ɺೖྗܹΛίϯτϩʔϧ͢Δ ͜ͱͰɺಉ༷ͷ৺ཧ࣮ݧൃୡݚڀΛఆੑతʹ࠶ݱ ➜ʮఆͨ͠ΞʔΩςΫνϟʹΑͬͯʯ࠶ݱ͢Δ͜ͱ͕ՄೳͰ͋Δ͜ͱΛ ࣔ͢ ඞͣͦ͏ͩɺͱ͍͏͜ͱݴ͑ͳ͍
)PX/FVSBM/FUXPSL 8PSLT
)JFSBSDIJDBM /FVSBM/FUXPSL
తʹ͍͏ͱ 47 ೖग़ྗʹ͓͚Δ݁߹ՙॏ ͷνϡʔχϯά ೖग़ྗͷؔΛޮΑ͘ ࠶ݱͰ͖ΔΑ͏ʹใ ΛѹॖɾಛΛநग़ input layer hidden
layer output layer input signals teacher signal
ྫ͑ 48 ?ͷೖग़ྗΛ࣮ݱ͢ ΔؔΛ࠶ݱ͢ΔͨΊ ʹೖग़ྗͷ౷ܭత ใΛಛ ߏ Λநग़͢ Δඞཁ͕͋Δ input
layer hidden layer output layer input signals teacher signal
'FFE'PSXBSE1SPQBHBUJPO 49 М T ʹγάϞΠυۂઢਖ਼͕ΘΕΔ ࠷ۙ3FDUJGJFE-JOFBS6OJU͕Α͘ΘΕΔΒ͍͠Ͱ͢ https://ja.wikipedia.org/wiki/׆ಈిҐ
50
#BDL1SPQBHBUJPO 51 ͜ͷΞϧΰϦζϜʹ ΑΓଟԽ͕Մೳʹ ҙͷ࿈ଓؔͷۙ ࣅ͕Ͱ͖Δ ऑ ऩଋ͕͍ 51 input
layer hidden layer output layer input signals teacher signal
ޡࠩٯൖ๏ಋग़γάϞΠυؔͷ߹ 52
ޡࠩٯൖ๏ಋग़γάϞΠυؔͷ߹ ଓ͖ 53
&MNBO/FUXPSL 54 ੈલͷதؒͷࢄදݱΛೖ ྗ จ຺ ͱͯ͠ɺೖྗͱͱ ʹֶशΛ܁Γฦ͢ Ұํͷୡܦ࿏Ͱ͋Δ ͨΊޡࠩٯൖ๏ͰֶशՄೳ Copy
Context Layer Input Layer Hidden Layer Output Layer
+PSEBO/FUXPSL 55 ੈલͷग़ྗͷදݱΛೖྗ จ ຺ ͱͯ͠ɺೖྗͱͱʹֶ शΛ܁Γฦ͢ Ұํͷୡܦ࿏Ͱ͋Δ ͨΊޡࠩٯൖ๏ͰֶशՄೳ Copy
Context Layer Input Layer Hidden Layer Output Layer
࣍୯ޠ༧ଌֶश 56 次の入力を予測するような学習を行い、かつ、 文脈の情報を入力として利用することで、系 列からの特徴抽出を強いる 予測誤差をエンコードするニューロンの存在 の示唆 Copy Context Layer
Input Layer Hidden Layer Output Layer
4FMG0SHBOJ[JOH .BQ
4FMG0SHBOJ[JOHNBQ 58 ੜͷʹॱংؔ ͕ҡ࣋͞ΕΔ৫Խ ͞ΕͨϚοϓ͕ଘࡏ Ұ࣍ࢹ֮ ԻҐ૬ ମੑײ֮ ͜ΕΛ࠶ݱ͢Δχϡʔϥ ϧωοτϫʔΫ
input signals
4FMG0SHBOJ[JOHNBQ 59 https://ja.wikipedia.org/wiki/ମੑײ֮
ԻҐ૬ϚοϓࣼϚοϓ 60 http://fourier.eng.hmc.edu/e161/lectures/nn/node14.html
4FMG0SHBOJ[JOHNBQ 61 ֊ܕχϡʔϥϧωοτϫʔΫ͕ʮχϡʔϩ ϯؒ ؒ ͷ݁߹ՙॏʯΛֶश͢Δ͜ͱʹର ͯ͠ɺ40.Ͱʮۙʯͱ͍͏زԿతͳ֓ ೦Λಋೖ͢Δ͜ͱͰʮॱংʯΛ࣋ͬͨ৫Խ Ϛοϓͷ࠶ݱʹޭ )FCCͷ๏ଇʹΑΔγφϓεؒͷँมԽ
χϡʔϩϯͷԠબ੍ ಛහײԠ ਆܦୡ࣭ͷ֦ࢄʹΑΔଆํ׆ੑ੍ޚ
62 input signals
Ԡબ੍ 63 input signals
ଆํ׆ੑ੍ޚ 64 input signals
)FCCͷ๏ଇʹΑΓँมԽ ୡޮͷ্ 65 input signals
Ұൠతͳ %FFQ-FBSOJOHͱͷҧ͍ 66 ಛநग़ೳྗͱ͠ ͯࣅ௨ͬ ͍ͯΔ ใѹॖΛ͍ͯ͠Δ ͨΊ
ۭؒతͳॱং ৫Խ͕ҟͳ͍ͬͯ Δ ͜͜ʹ40.ʹϫ ϯνϟϯ͋Δ͔ʂ
$MPTJOH
·ͱΊ 68 %FFQ-FBSOJOH.BDIJOF-FBSOJOHͷ ར༻͢͠͞ࠓޙ૿ͣ͢ χϡʔϥϧωοτϫʔΫͷຊ࣭ ԿΛ࠶ݱ͠ ͍ͯΔͷ͔ɺͲͷΑ͏ʹֶश͍ͯ͠Δͷ͔ Λ͍ͬͯΔͱνϡʔχϯά͕ՄೳʹͳΔ ϙΞϯΧϨ༧ͷΑ͏ʹɺใֶͷࢹͰ ߦ͖٧·Δ໘Ͱɺਆܦࡉ๔ൃୡաఔ͕ղ
์ͷώϯτʹͳΕͱࢥ͍·͢
༨ஊ 69 ϨΠϠͰΑΓޮΑ͘ར༻͢ΔͨΊͷೖྗใͷ౷ ܭతߏΛநग़͢Δॲཧ BVUPFODPEFS ൃୡॳظͷ ༮ࣇͷ׆ಈʹݟΒΕΔͷͱྨࣅ͍ͯ͠Δؾ͕͢Δ ࣗൃతӡಈͱੜໟʹΑΔͦͷϑΟʔυόοΫ Ұ ࣍ମੑײ֮
Λ৫Խ͢Δ ϨΠϠͷใ͕ߏԽ͢Δʹ͍ߴ࣍ͷॲཧ͕Մೳ ʹͳΓෳࡶԽ͢Δͱ͍͏ͷମߏͷਆܦܥɾӡಈ ߏΛΑ͘࠶ݱ͍ͯ͠Δ ϑΣʔζ͝ͱʹֶशΛక͍݁ͤͯ͞Δͱ͜Ζ͕͏· ͍ͳ͊ͱ http://www.isi.imi.i.u-tokyo.ac.jp/research.php?category=13 http://www.ncbi.nlm.nih.gov/pubmed/17123097
&OKPZ /FVSBM/FUXPSLT
&OKPZ :"1$"TJB
72 ࣜจݙʹޡΓ͕͋Δ߹ !NVEEZEJYPO·Ͱ͝࿈བྷ͍͚ͨͩΔͱॿ͔ Γ·͢ɻ χϑςΟͰʮʯػցֶशɾχϡʔϥϧωο τϫʔΫΛར༻ͨ͠ϏδωεΛߦ͓ͬͯΓ· ͢ɻ ࠾༻ر!NVEEZEJYPO·Ͱ͓͕͚͘ ͍ͩ͞ɻ
More Decks by muddydixon
See All by muddydixon
企業と勉強会
muddydixon
0
110
basic of data visualization and d3.js demonstration
muddydixon
0
160
d3.js demonstration
muddydixon
0
110
data visualization @html5study
muddydixon
0
120
Time Series Prediction@JubatusCasualTalk2
muddydixon
0
100
Perl for Visualization@YAPC2013
muddydixon
0
130
Time Series Analysis by JavaScript @LLMatsuri2013
muddydixon
0
150
How to create my own Hadoop MultipleInput@HadoopCodeReading8
muddydixon
0
98
BigDataAnalytics beginning by mongo-hadoop@MongoTokyo2012
muddydixon
0
76
Other Decks in Programming
See All in Programming
コード生成時代のAPI定義を支えるRequest Spec移行
pvcresin
0
280
AI-Powered Domain-Driven Design
ziobrando
0
470
Spec-Driven Development - Why Vaadin Is the Perfect Fit
simas
PRO
0
260
Growing PicoRuby's Ecosystem on ESP32
yuuu
2
150
Vue.jsで作る空間解析アプリとCapacitorプラグインのData Bridge
hal_spidernight
1
180
Claude Codeのおかげでやりたいことがやれるようになったんだよォー!
sms_tech
0
150
エラーチャンネルのボールを拾い続けて鍛えるエンジニアの地力 / phpcon-niigata2026
meihei3
1
450
そのデザイントークン、Flutterでも同じ見た目になりますか?
nakamizu
0
430
作れるエンジニアから、価値を届けるエンジニアへ
ryunakayama
1
310
Snowflake Openflow Connector利用の勘所 / 20261024developersio2026tokyo-snowflake-openflow
kasacchiful
PRO
0
360
AI時代のシニアエンジニアとは
yosuke_furukawa
PRO
15
12k
AIがコードを書いてくれる時代、我々は何を確かめるのか
yosuke_furukawa
PRO
13
6.1k
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
53
4k
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
Leo the Paperboy
mayatellez
11
2.5k
Testing 201, or: Great Expectations
jmmastey
46
8.4k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
4.2k
Marketing to machines
jonoalderson
1
6k
Are puppies a ranking factor?
jonoalderson
2
4.2k
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
2
350
HDC tutorial
michielstock
2
1k
Intergalactic Javascript Robots from Outer Space
tanoku
273
28k
Claude Code のすすめ
schroneko
67
230k