Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Chainerによる深層学習(2)
Search
youichiro
February 28, 2017
Technology
1
450
Chainerによる深層学習(2)
長岡技術科学大学
自然言語処理研究室
B3ゼミ発表会(第6回)
youichiro
February 28, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.5k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
91
Multi-Agent Dual Learning
youichiro
1
160
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
110
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
130
勉強勉強会
youichiro
0
86
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
180
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
160
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
190
Other Decks in Technology
See All in Technology
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
130
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
350
Tech-Verse 2025 Keynote
lycorptech_jp
PRO
0
220
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
350
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
210
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
26k
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.3k
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
4
2.2k
登壇ネタの見つけ方 / How to find talk topics
pinkumohikan
5
520
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
100
MySQL5.6から8.4へ 戦いの記録
kyoshidaxx
1
260
Delegating the chores of authenticating users to Keycloak
ahus1
0
130
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
How GitHub (no longer) Works
holman
314
140k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Site-Speed That Sticks
csswizardry
10
660
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
Chainerによる深層学習 (2) 平成29年3月1日 長岡技術科学大学 自然言語処理研究室 小川耀一朗
Chainerの使い方 1 /20
計算グラフ !(#) !(%) &% &# &' (% (# ()
*(%) *(#) 2 = $ $ & & + & + $ /20
計算グラフ 3 = , , = − − + −
+ !" !# !$ ℎ# ℎ$ &" &# ℎ" ' /20
計算グラフ 4 = , , = − − + −
+ ℎ& & , $ = & $ + $ $ + 1という関数を考えれば = − − , − ℎ$ & , $ = & − 2$ − 1, ℎ7 & , $ = & $ − 1という 関数を考えれば = ( , , , ) /20
計算グラフ 5 = & , $ , 7 = ℎ&
ℎ$ & , $ , ℎ7 $ , 7 関数がℎ& , ℎ$ , ℎ7 の合成関数になっている !" !# !$ ℎ# ℎ$ &" &# ℎ" ' /20
計算グラフと逆伝搬 6 !" !# !$ ℎ# ℎ$ &" &# ℎ"
' () (*+ () (*, (*+ (-+ (*, (-. (*+ (-, (*, (-, /20
計算グラフと逆伝搬 7 !" !# !$ ℎ# ℎ$ &" &# ℎ"
' () (*+ () (*, (*+ (-+ (*, (-. (*+ (-, (*, (-, = /20
計算グラフと逆伝搬 8 !" !# !$ ℎ# ℎ$ &" &# ℎ"
' () (*+ () (*, (*+ (-+ (*, (-. (*+ (-, (*, (-, = + /20
モジュールのインポート 9 /20
Variable 10 計算グラフの変数ノードに対応するオブジェクトを生成 変数の中身を確認 /20
Variable 11 /20
Variable 12 = 1 − 22 − 1 2 +
2 3 − 1 2 + 1を 各パラメータで偏微分し、 1 , 2 , 3 = (1, 2, 3)を代入 1 = 2 1 − 22 − 1 = −8 2 = −4 1 − 22 − 1 + 23 2 3 − 1 = 46 3 = 22 2 3 − 1 = 20 /20
functions 13 Variableを変数とする関数を提供 /20
links 14 Variableを変数とする関数を提供 links内の関数にはパラメータがある 第層が3個のノード、第 + 1層が4個のノードからなるNNの場合 /20
links 15 2つの3次元ベクトルを関数ℎに与える /20
Chainクラス 16 = $ + & + $ links内の関数Linearや function内の関数sigmoidを
合成して、モデルを定義 !(#) !(%) &% &# &' (% (# (' )(%) )(#) &* /20
Chainクラス 17 /20
optimizers 18 損失関数をパラメータで微分した値から、各パラメータを更新 →かなり面倒 →パラメータを更新する処理をモジュール化 「1つの訓練データ(, )を与えると、パラメータが1回更新される」 /20
プログラムの全体図 19 /20
発表内容 l Chainerの使い方 参考文献: 「Chainerによる実装深層学習」(第3章) 新納浩幸 著 オーム社 20 /20