Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習と再帰型ニューラルネット
Search
youichiro
February 15, 2017
Technology
0
520
深層学習と再帰型ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第4回)
youichiro
February 15, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.6k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
100
Multi-Agent Dual Learning
youichiro
1
180
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
120
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
140
勉強勉強会
youichiro
0
88
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
190
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
170
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
200
Other Decks in Technology
See All in Technology
Introduction to Sansan Meishi Maker Development Engineer
sansan33
PRO
0
310
今この時代に技術とどう向き合うべきか
gree_tech
PRO
2
2.1k
Data Hubグループ 紹介資料
sansan33
PRO
0
2.2k
ViteとTypeScriptのProject Referencesで 大規模モノレポのUIカタログのリリースサイクルを高速化する
shuta13
2
140
Railsの話をしよう
yahonda
0
170
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
9k
もう外には出ない。より快適なフルリモート環境を目指して
mottyzzz
13
9.1k
AWS UG Grantでグローバル20名に選出されてre:Inventに行く話と、マルチクラウドセキュリティの教科書を執筆した話 / The Story of Being Selected for the AWS UG Grant to Attending re:Invent, and Writing a Multi-Cloud Security Textbook
yuj1osm
1
130
あなたの知らない Linuxカーネル脆弱性の世界
recruitengineers
PRO
3
140
Zephyr(RTOS)にEdge AIを組み込んでみた話
iotengineer22
1
280
SCONE - 動画配信の帯域を最適化する新プロトコル
kazuho
1
320
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
370
Featured
See All Featured
Docker and Python
trallard
46
3.6k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
Building Applications with DynamoDB
mza
96
6.7k
Code Review Best Practice
trishagee
72
19k
Navigating Team Friction
lara
190
15k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Facilitating Awesome Meetings
lara
57
6.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
54k
Transcript
ਂֶशͱ࠶ؼܕχϡʔϥϧωοτ 平成29年2⽉16⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
発表内容 1. 深層学習(Deep Learning)とその特徴 2. 再帰型ニューラルネット(RNN) 3. 誤字脱字の検知における課題 4. ニューラルネットによる誤字脱字検知のアプローチ
5. RNNによる誤字脱字検知のアプローチ 1 /19
深層学習(Deep Learning) Deep Learningとは・・・ ニューラルネットワークを多層構造に繋げた機械学習の⼿法 近年、「Deep Learning」という⾔葉が研究の場やITに強い企業 のみならず、⼀般の企業やテレビなどでも広く使われるように なってきた。 ⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀
つに役割を与え、理解するべき内容を出来る限りシンプルにして から理解させようという試み 2 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 3 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⽿、⼝がある」→動物 4 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「4⾜歩⾏で⽿が尖っている」 →狼?ライオン?三⽑猫?柴⽝? 5 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 ⾊や模様 → 柴⽝? 6 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⼀番近いのは柴⽝だろう」 「柴⽝」 7 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「柴⽝」 各層ごとに特徴を抽出し、答えを絞っていく ⼈間に近い考え⽅が出来る 8 /19
深層学習(Deep Learning) 層を深くすること 層を深くすることの重要性は、理論的にはあまり多くのことがわ かっていない。 しかし、研究や実験の結果から説明できることはいくつかある。 • 層を深くすることに⽐例して、画像認識の性能も向上する • パラメータを少なくできる
• 学習の効率が上がる 9 /19
再帰型ニューラルネット(RNN) 再帰型ニューラルネット(RNN : Recurent Neural Network) ⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」 の予測や分類に⽤いられるモデル RNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されている アルゴリズムの⼀つ
10 /19
誤字脱字の検知における課題 例) 「私は妄奏する。」 「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる → ルールベースで修正箇所を拾い上げる(機械学習は必要ない) 「税⾦を収める。」 「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する → ルールベースで修正箇所を拾えない
「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」 N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限 がある → ⽂章が⻑くなっていくと対応できなくなる 11 /19
誤字脱字の検知における課題 過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを 利⽤して、誤字脱字の検知問題に取り組む 問題:「ある単語の後に続く、次に来る単語を予測する」 12 /19
通常のニューラルネットによるアプローチ インプットに“野球”を与えた時 に、アウトプットが"が"になる ように重みを調整する。 その際、その前にインプットさ れた"私"や"は"の影響は考慮され ない。 13 ⼊⼒層 中間層
出⼒層 “野球” “が” 「私 は 野球 が 好き です」 /19
通常のニューラルネットによるアプローチ 直前が「私は」ではなく「サッカーは嫌いだが」になったら、 "野球"→"は"になる可能性もある。 ×(サッカーは嫌いだが)野球 → が(好きです。) ◦(サッカーは嫌いだが)野球 → は(好きです。) →
通常のフィードフォワード型ニューラルネットでは直前に来 る単語を考慮することができず、「"野球"の後に"が"が来る」と いうことしか学習されない 14 /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 15 ⼊⼒層 " 中間層 ℎ" 出⼒層 " ℎ"%& 重み ℎ" = (" + ℎ"%& ) 中間層 の出⼒ 活性化関数 (tanh,shigmoidなど) 前時刻 の出⼒ /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 16 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は” ℎ" = (" + ℎ"%& ) ⽬標 “が” /19
RNNによるアプローチ 17 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は”
⽬標 “が” インプットされた状態全 てを隠れ層に結合し、イ ンプットの系列情報をフ ル活⽤する 私 + は + 野球 → が 理論上、過去の全ての状 態を加味した学習が可能 /19
再帰型ニューラルネット(RNN)まとめ RNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる ⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測 できるようになる 「私 は 鶏⾁」 →「が(好きです)」「は(好きです)」「も(好きです)」というような候補が考え られる 再帰型でないニューラルネットワークの場合
Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らない RNNの場合 Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる → 誤字脱字の検知に有効 18 /19
まとめ • 深層学習(Deep Learning)とその特徴 • 再帰型ニューラルネット(RNN) • 誤字脱字の検知における課題 • ニューラルネットによる誤字脱字検知のアプローチ
• RNNによる誤字脱字検知のアプローチ 参考⽂献: • 「深層学習」岡⾕貴之 講談社 • 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン • 「深層学習(ディープラーニング)を素⼈向けに解説」 (http://stonewashersjournal.com/2015/03/07/deeplearning2/2/) • 「Deep Learningで始める⽂書解析⼊⾨」 (http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html) 19 /19