Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
深層学習と再帰型ニューラルネット
youichiro
February 15, 2017
Technology
0
420
深層学習と再帰型ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第4回)
youichiro
February 15, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
700
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
43
Multi-Agent Dual Learning
youichiro
1
69
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
67
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
83
勉強勉強会
youichiro
0
44
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
110
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
70
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
120
Other Decks in Technology
See All in Technology
New Features in C# 10/11
chack411
0
750
Nutanix_Meetup_20220511
keigotomomatsu
0
140
Adopting Kafka for the #1 job site in the world
ymyzk
1
280
Devに力を授けたいSREのあゆみ / SRE that wants to empower developers
tocyuki
3
450
Poolにおける足を止めないシステム基盤構築
winebarrel
3
640
【OCHaCafe#5】その Pod 突然落ちても大丈夫ですか?
k6s4i53rx
1
120
ドキュメントの翻訳に必要なこと
mayukosawai
0
130
モダンデータスタックとかの話(データエンジニアのお仕事とは)
foursue
0
270
成長を続ける組織でのSRE戦略:プレモーテムによる信頼性の認識共有 SRE Next 2022
niwatakeru
7
2.3k
LINEのData Platform室が実践する大規模分散環境のCapacity Planning
line_developers
PRO
0
250
HTTP Session Architecture Pattern
chiroito
1
390
暗号資産ウォレット入門(MetaMaskの入門~NFTの購入~詐欺の注意事項など)
kayato
2
170
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
349
27k
4 Signs Your Business is Dying
shpigford
169
20k
Fantastic passwords and where to find them - at NoRuKo
philnash
25
1.5k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
172
8.3k
What's new in Ruby 2.0
geeforr
336
30k
Learning to Love Humans: Emotional Interface Design
aarron
261
37k
A better future with KSS
kneath
225
15k
Done Done
chrislema
174
14k
How GitHub (no longer) Works
holman
296
140k
The Language of Interfaces
destraynor
148
20k
Why Our Code Smells
bkeepers
PRO
324
54k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
268
11k
Transcript
ਂֶशͱ࠶ؼܕχϡʔϥϧωοτ 平成29年2⽉16⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
発表内容 1. 深層学習(Deep Learning)とその特徴 2. 再帰型ニューラルネット(RNN) 3. 誤字脱字の検知における課題 4. ニューラルネットによる誤字脱字検知のアプローチ
5. RNNによる誤字脱字検知のアプローチ 1 /19
深層学習(Deep Learning) Deep Learningとは・・・ ニューラルネットワークを多層構造に繋げた機械学習の⼿法 近年、「Deep Learning」という⾔葉が研究の場やITに強い企業 のみならず、⼀般の企業やテレビなどでも広く使われるように なってきた。 ⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀
つに役割を与え、理解するべき内容を出来る限りシンプルにして から理解させようという試み 2 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 3 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⽿、⼝がある」→動物 4 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「4⾜歩⾏で⽿が尖っている」 →狼?ライオン?三⽑猫?柴⽝? 5 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 ⾊や模様 → 柴⽝? 6 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⼀番近いのは柴⽝だろう」 「柴⽝」 7 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「柴⽝」 各層ごとに特徴を抽出し、答えを絞っていく ⼈間に近い考え⽅が出来る 8 /19
深層学習(Deep Learning) 層を深くすること 層を深くすることの重要性は、理論的にはあまり多くのことがわ かっていない。 しかし、研究や実験の結果から説明できることはいくつかある。 • 層を深くすることに⽐例して、画像認識の性能も向上する • パラメータを少なくできる
• 学習の効率が上がる 9 /19
再帰型ニューラルネット(RNN) 再帰型ニューラルネット(RNN : Recurent Neural Network) ⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」 の予測や分類に⽤いられるモデル RNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されている アルゴリズムの⼀つ
10 /19
誤字脱字の検知における課題 例) 「私は妄奏する。」 「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる → ルールベースで修正箇所を拾い上げる(機械学習は必要ない) 「税⾦を収める。」 「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する → ルールベースで修正箇所を拾えない
「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」 N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限 がある → ⽂章が⻑くなっていくと対応できなくなる 11 /19
誤字脱字の検知における課題 過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを 利⽤して、誤字脱字の検知問題に取り組む 問題:「ある単語の後に続く、次に来る単語を予測する」 12 /19
通常のニューラルネットによるアプローチ インプットに“野球”を与えた時 に、アウトプットが"が"になる ように重みを調整する。 その際、その前にインプットさ れた"私"や"は"の影響は考慮され ない。 13 ⼊⼒層 中間層
出⼒層 “野球” “が” 「私 は 野球 が 好き です」 /19
通常のニューラルネットによるアプローチ 直前が「私は」ではなく「サッカーは嫌いだが」になったら、 "野球"→"は"になる可能性もある。 ×(サッカーは嫌いだが)野球 → が(好きです。) ◦(サッカーは嫌いだが)野球 → は(好きです。) →
通常のフィードフォワード型ニューラルネットでは直前に来 る単語を考慮することができず、「"野球"の後に"が"が来る」と いうことしか学習されない 14 /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 15 ⼊⼒層 " 中間層 ℎ" 出⼒層 " ℎ"%& 重み ℎ" = (" + ℎ"%& ) 中間層 の出⼒ 活性化関数 (tanh,shigmoidなど) 前時刻 の出⼒ /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 16 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は” ℎ" = (" + ℎ"%& ) ⽬標 “が” /19
RNNによるアプローチ 17 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は”
⽬標 “が” インプットされた状態全 てを隠れ層に結合し、イ ンプットの系列情報をフ ル活⽤する 私 + は + 野球 → が 理論上、過去の全ての状 態を加味した学習が可能 /19
再帰型ニューラルネット(RNN)まとめ RNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる ⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測 できるようになる 「私 は 鶏⾁」 →「が(好きです)」「は(好きです)」「も(好きです)」というような候補が考え られる 再帰型でないニューラルネットワークの場合
Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らない RNNの場合 Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる → 誤字脱字の検知に有効 18 /19
まとめ • 深層学習(Deep Learning)とその特徴 • 再帰型ニューラルネット(RNN) • 誤字脱字の検知における課題 • ニューラルネットによる誤字脱字検知のアプローチ
• RNNによる誤字脱字検知のアプローチ 参考⽂献: • 「深層学習」岡⾕貴之 講談社 • 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン • 「深層学習(ディープラーニング)を素⼈向けに解説」 (http://stonewashersjournal.com/2015/03/07/deeplearning2/2/) • 「Deep Learningで始める⽂書解析⼊⾨」 (http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html) 19 /19