Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
深層学習と再帰型ニューラルネット
Search
youichiro
February 15, 2017
Technology
550
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
深層学習と再帰型ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第4回)
youichiro
February 15, 2017
Transcript
20 slides
ਂֶशͱ࠶ؼܕχϡʔϥϧωοτ 平成29年2⽉16⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
発表内容 1. 深層学習(Deep Learning)とその特徴 2. 再帰型ニューラルネット(RNN) 3. 誤字脱字の検知における課題 4. ニューラルネットによる誤字脱字検知のアプローチ
5. RNNによる誤字脱字検知のアプローチ 1 /19
深層学習(Deep Learning) Deep Learningとは・・・ ニューラルネットワークを多層構造に繋げた機械学習の⼿法 近年、「Deep Learning」という⾔葉が研究の場やITに強い企業 のみならず、⼀般の企業やテレビなどでも広く使われるように なってきた。 ⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀
つに役割を与え、理解するべき内容を出来る限りシンプルにして から理解させようという試み 2 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 3 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⽿、⼝がある」→動物 4 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「4⾜歩⾏で⽿が尖っている」 →狼?ライオン?三⽑猫?柴⽝? 5 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 ⾊や模様 → 柴⽝? 6 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⼀番近いのは柴⽝だろう」 「柴⽝」 7 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「柴⽝」 各層ごとに特徴を抽出し、答えを絞っていく ⼈間に近い考え⽅が出来る 8 /19
深層学習(Deep Learning) 層を深くすること 層を深くすることの重要性は、理論的にはあまり多くのことがわ かっていない。 しかし、研究や実験の結果から説明できることはいくつかある。 • 層を深くすることに⽐例して、画像認識の性能も向上する • パラメータを少なくできる
• 学習の効率が上がる 9 /19
再帰型ニューラルネット(RNN) 再帰型ニューラルネット(RNN : Recurent Neural Network) ⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」 の予測や分類に⽤いられるモデル RNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されている アルゴリズムの⼀つ
10 /19
誤字脱字の検知における課題 例) 「私は妄奏する。」 「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる → ルールベースで修正箇所を拾い上げる(機械学習は必要ない) 「税⾦を収める。」 「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する → ルールベースで修正箇所を拾えない
「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」 N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限 がある → ⽂章が⻑くなっていくと対応できなくなる 11 /19
誤字脱字の検知における課題 過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを 利⽤して、誤字脱字の検知問題に取り組む 問題:「ある単語の後に続く、次に来る単語を予測する」 12 /19
通常のニューラルネットによるアプローチ インプットに“野球”を与えた時 に、アウトプットが"が"になる ように重みを調整する。 その際、その前にインプットさ れた"私"や"は"の影響は考慮され ない。 13 ⼊⼒層 中間層
出⼒層 “野球” “が” 「私 は 野球 が 好き です」 /19
通常のニューラルネットによるアプローチ 直前が「私は」ではなく「サッカーは嫌いだが」になったら、 "野球"→"は"になる可能性もある。 ×(サッカーは嫌いだが)野球 → が(好きです。) ◦(サッカーは嫌いだが)野球 → は(好きです。) →
通常のフィードフォワード型ニューラルネットでは直前に来 る単語を考慮することができず、「"野球"の後に"が"が来る」と いうことしか学習されない 14 /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 15 ⼊⼒層 " 中間層 ℎ" 出⼒層 " ℎ"%& 重み ℎ" = (" + ℎ"%& ) 中間層 の出⼒ 活性化関数 (tanh,shigmoidなど) 前時刻 の出⼒ /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 16 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は” ℎ" = (" + ℎ"%& ) ⽬標 “が” /19
RNNによるアプローチ 17 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は”
⽬標 “が” インプットされた状態全 てを隠れ層に結合し、イ ンプットの系列情報をフ ル活⽤する 私 + は + 野球 → が 理論上、過去の全ての状 態を加味した学習が可能 /19
再帰型ニューラルネット(RNN)まとめ RNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる ⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測 できるようになる 「私 は 鶏⾁」 →「が(好きです)」「は(好きです)」「も(好きです)」というような候補が考え られる 再帰型でないニューラルネットワークの場合
Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らない RNNの場合 Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる → 誤字脱字の検知に有効 18 /19
まとめ • 深層学習(Deep Learning)とその特徴 • 再帰型ニューラルネット(RNN) • 誤字脱字の検知における課題 • ニューラルネットによる誤字脱字検知のアプローチ
• RNNによる誤字脱字検知のアプローチ 参考⽂献: • 「深層学習」岡⾕貴之 講談社 • 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン • 「深層学習(ディープラーニング)を素⼈向けに解説」 (http://stonewashersjournal.com/2015/03/07/deeplearning2/2/) • 「Deep Learningで始める⽂書解析⼊⾨」 (http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html) 19 /19
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.7k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
170
Multi-Agent Dual Learning
youichiro
1
210
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
170
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
180
勉強勉強会
youichiro
0
120
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
230
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
220
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
250
Other Decks in Technology
See All in Technology
Claude Codeで新規事業を伸ばせるか? Zennの試行錯誤の記録
wadayusuke
2
230
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
2
720
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
1
400
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
1
180
Agent Harnessはどう作る?事例から学ぶAI Agentの設計思想
sergicalsix
0
340
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
250
CloudTrail を推したい
kazzpapa3
0
120
DevOps Agentにあらゆるセキュリティインシデントのトリアージを任せた件
jirtosterone
1
170
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
210
会社説明資料_最新版
demaecan
0
32k
属人化したISMS運用をGitHubとAIで仕組み化した1年間の記録
sioncojp
4
2.7k
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
160
Featured
See All Featured
Odyssey Design
rkendrick25
PRO
3
950
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k
How to build a perfect <img>
jonoalderson
1
6.2k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Designing Experiences People Love
moore
143
24k
How to Think Like a Performance Engineer
csswizardry
28
2.9k
Statistics for Hackers
jakevdp
799
230k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Ten Tips & Tricks for a 🌱 transition
stuffmc
1
280
svc-hook: hooking system calls on ARM64 by binary rewriting
retrage
2
680