Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習と再帰型ニューラルネット
Search
youichiro
February 15, 2017
Technology
0
480
深層学習と再帰型ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第4回)
youichiro
February 15, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.3k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
61
Multi-Agent Dual Learning
youichiro
1
120
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
91
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
110
勉強勉強会
youichiro
0
63
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
150
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
110
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
150
Other Decks in Technology
See All in Technology
「手動オペレーションに定評がある」と言われた私が心がけていること / phpcon_odawara2024
blue_goheimochi
2
320
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
340
なぜ NOT A HOTEL が Web3 に取り組むのか - NOT A HOTEL TECH TALK
ynunokawa
0
160
Tableau事例紹介 / Tableau Case Study of Eureka
kazuya_araki_tokyo
1
170
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
sakaitakeshi
1
300
Algyan イベント振り返り
linyixian
0
190
アクセシビリティを考慮したUI/CSSフレームワーク・ライブラリ選定
yajihum
0
160
〜小さく始めて大きく育てる〜データ分析基盤の開発から活用まで
kniino
0
2k
コンテナセキュリティの基本と脅威への対策
kyohmizu
3
700
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
220
Databricks:『生成AI World Cup』のご案内
databricksjapan
2
150
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
2
670
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
13
1.5k
Building Applications with DynamoDB
mza
88
5.6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
19
1.9k
YesSQL, Process and Tooling at Scale
rocio
163
13k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
119
38k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
12
1.5k
Optimizing for Happiness
mojombo
370
69k
Why Our Code Smells
bkeepers
PRO
331
56k
Teambox: Starting and Learning
jrom
128
8.4k
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
Transcript
ਂֶशͱ࠶ؼܕχϡʔϥϧωοτ 平成29年2⽉16⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
発表内容 1. 深層学習(Deep Learning)とその特徴 2. 再帰型ニューラルネット(RNN) 3. 誤字脱字の検知における課題 4. ニューラルネットによる誤字脱字検知のアプローチ
5. RNNによる誤字脱字検知のアプローチ 1 /19
深層学習(Deep Learning) Deep Learningとは・・・ ニューラルネットワークを多層構造に繋げた機械学習の⼿法 近年、「Deep Learning」という⾔葉が研究の場やITに強い企業 のみならず、⼀般の企業やテレビなどでも広く使われるように なってきた。 ⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀
つに役割を与え、理解するべき内容を出来る限りシンプルにして から理解させようという試み 2 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 3 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⽿、⼝がある」→動物 4 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「4⾜歩⾏で⽿が尖っている」 →狼?ライオン?三⽑猫?柴⽝? 5 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 ⾊や模様 → 柴⽝? 6 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⼀番近いのは柴⽝だろう」 「柴⽝」 7 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「柴⽝」 各層ごとに特徴を抽出し、答えを絞っていく ⼈間に近い考え⽅が出来る 8 /19
深層学習(Deep Learning) 層を深くすること 層を深くすることの重要性は、理論的にはあまり多くのことがわ かっていない。 しかし、研究や実験の結果から説明できることはいくつかある。 • 層を深くすることに⽐例して、画像認識の性能も向上する • パラメータを少なくできる
• 学習の効率が上がる 9 /19
再帰型ニューラルネット(RNN) 再帰型ニューラルネット(RNN : Recurent Neural Network) ⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」 の予測や分類に⽤いられるモデル RNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されている アルゴリズムの⼀つ
10 /19
誤字脱字の検知における課題 例) 「私は妄奏する。」 「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる → ルールベースで修正箇所を拾い上げる(機械学習は必要ない) 「税⾦を収める。」 「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する → ルールベースで修正箇所を拾えない
「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」 N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限 がある → ⽂章が⻑くなっていくと対応できなくなる 11 /19
誤字脱字の検知における課題 過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを 利⽤して、誤字脱字の検知問題に取り組む 問題:「ある単語の後に続く、次に来る単語を予測する」 12 /19
通常のニューラルネットによるアプローチ インプットに“野球”を与えた時 に、アウトプットが"が"になる ように重みを調整する。 その際、その前にインプットさ れた"私"や"は"の影響は考慮され ない。 13 ⼊⼒層 中間層
出⼒層 “野球” “が” 「私 は 野球 が 好き です」 /19
通常のニューラルネットによるアプローチ 直前が「私は」ではなく「サッカーは嫌いだが」になったら、 "野球"→"は"になる可能性もある。 ×(サッカーは嫌いだが)野球 → が(好きです。) ◦(サッカーは嫌いだが)野球 → は(好きです。) →
通常のフィードフォワード型ニューラルネットでは直前に来 る単語を考慮することができず、「"野球"の後に"が"が来る」と いうことしか学習されない 14 /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 15 ⼊⼒層 " 中間層 ℎ" 出⼒層 " ℎ"%& 重み ℎ" = (" + ℎ"%& ) 中間層 の出⼒ 活性化関数 (tanh,shigmoidなど) 前時刻 の出⼒ /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 16 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は” ℎ" = (" + ℎ"%& ) ⽬標 “が” /19
RNNによるアプローチ 17 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は”
⽬標 “が” インプットされた状態全 てを隠れ層に結合し、イ ンプットの系列情報をフ ル活⽤する 私 + は + 野球 → が 理論上、過去の全ての状 態を加味した学習が可能 /19
再帰型ニューラルネット(RNN)まとめ RNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる ⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測 できるようになる 「私 は 鶏⾁」 →「が(好きです)」「は(好きです)」「も(好きです)」というような候補が考え られる 再帰型でないニューラルネットワークの場合
Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らない RNNの場合 Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる → 誤字脱字の検知に有効 18 /19
まとめ • 深層学習(Deep Learning)とその特徴 • 再帰型ニューラルネット(RNN) • 誤字脱字の検知における課題 • ニューラルネットによる誤字脱字検知のアプローチ
• RNNによる誤字脱字検知のアプローチ 参考⽂献: • 「深層学習」岡⾕貴之 講談社 • 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン • 「深層学習(ディープラーニング)を素⼈向けに解説」 (http://stonewashersjournal.com/2015/03/07/deeplearning2/2/) • 「Deep Learningで始める⽂書解析⼊⾨」 (http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html) 19 /19