Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習と再帰型ニューラルネット
Search
youichiro
February 15, 2017
Technology
0
520
深層学習と再帰型ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第4回)
youichiro
February 15, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.6k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
100
Multi-Agent Dual Learning
youichiro
1
180
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
120
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
140
勉強勉強会
youichiro
0
88
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
190
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
170
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
200
Other Decks in Technology
See All in Technology
セキュアな認可付きリモートMCPサーバーをAWSマネージドサービスでつくろう! / Let's build an OAuth protected remote MCP server based on AWS managed services
kaminashi
3
350
カンファレンスに託児サポートがあるということ / Having Childcare Support at Conferences
nobu09
1
600
2025-10-09_プロジェクトマネージャーAIチャンス
taukami
0
150
Codexとも仲良く。CodeRabbit CLIの紹介
moongift
PRO
1
240
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
1
200
ニッポンの人に知ってもらいたいGISスポット
sakaik
0
150
なぜAWSを活かしきれないのか?技術と組織への処方箋
nrinetcom
PRO
5
950
AWS Top Engineer、浮いてませんか? / As an AWS Top Engineer, Are You Out of Place?
yuj1osm
2
220
Node.js 2025: What's new and what's next
ruyadorno
0
390
Adminaで実現するISMS/SOC2運用の効率化 〜 アカウント管理編 〜
shonansurvivors
4
450
RDS の負荷が高い場合に AWS で取りうる具体策 N 連発/a-series-of-specific-countermeasures-available-on-aws-when-rds-is-under-high-load
emiki
4
3.6k
HR Force における DWH の併用事例 ~ サービス基盤としての BigQuery / 分析基盤としての Snowflake ~@Cross Data Platforms Meetup #2「BigQueryと愉快な仲間たち」
ryo_suzuki
0
230
Featured
See All Featured
A Tale of Four Properties
chriscoyier
161
23k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Balancing Empowerment & Direction
lara
5
690
Automating Front-end Workflow
addyosmani
1371
200k
Gamification - CAS2011
davidbonilla
81
5.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
How STYLIGHT went responsive
nonsquared
100
5.8k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Keith and Marios Guide to Fast Websites
keithpitt
411
23k
Transcript
ਂֶशͱ࠶ؼܕχϡʔϥϧωοτ 平成29年2⽉16⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
発表内容 1. 深層学習(Deep Learning)とその特徴 2. 再帰型ニューラルネット(RNN) 3. 誤字脱字の検知における課題 4. ニューラルネットによる誤字脱字検知のアプローチ
5. RNNによる誤字脱字検知のアプローチ 1 /19
深層学習(Deep Learning) Deep Learningとは・・・ ニューラルネットワークを多層構造に繋げた機械学習の⼿法 近年、「Deep Learning」という⾔葉が研究の場やITに強い企業 のみならず、⼀般の企業やテレビなどでも広く使われるように なってきた。 ⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀
つに役割を与え、理解するべき内容を出来る限りシンプルにして から理解させようという試み 2 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 3 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⽿、⼝がある」→動物 4 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「4⾜歩⾏で⽿が尖っている」 →狼?ライオン?三⽑猫?柴⽝? 5 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 ⾊や模様 → 柴⽝? 6 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「⼀番近いのは柴⽝だろう」 「柴⽝」 7 /19
⼊⼒層 出⼒層 中間層 中間層 中間層 「柴⽝」 各層ごとに特徴を抽出し、答えを絞っていく ⼈間に近い考え⽅が出来る 8 /19
深層学習(Deep Learning) 層を深くすること 層を深くすることの重要性は、理論的にはあまり多くのことがわ かっていない。 しかし、研究や実験の結果から説明できることはいくつかある。 • 層を深くすることに⽐例して、画像認識の性能も向上する • パラメータを少なくできる
• 学習の効率が上がる 9 /19
再帰型ニューラルネット(RNN) 再帰型ニューラルネット(RNN : Recurent Neural Network) ⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」 の予測や分類に⽤いられるモデル RNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されている アルゴリズムの⼀つ
10 /19
誤字脱字の検知における課題 例) 「私は妄奏する。」 「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる → ルールベースで修正箇所を拾い上げる(機械学習は必要ない) 「税⾦を収める。」 「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する → ルールベースで修正箇所を拾えない
「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」 N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限 がある → ⽂章が⻑くなっていくと対応できなくなる 11 /19
誤字脱字の検知における課題 過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを 利⽤して、誤字脱字の検知問題に取り組む 問題:「ある単語の後に続く、次に来る単語を予測する」 12 /19
通常のニューラルネットによるアプローチ インプットに“野球”を与えた時 に、アウトプットが"が"になる ように重みを調整する。 その際、その前にインプットさ れた"私"や"は"の影響は考慮され ない。 13 ⼊⼒層 中間層
出⼒層 “野球” “が” 「私 は 野球 が 好き です」 /19
通常のニューラルネットによるアプローチ 直前が「私は」ではなく「サッカーは嫌いだが」になったら、 "野球"→"は"になる可能性もある。 ×(サッカーは嫌いだが)野球 → が(好きです。) ◦(サッカーは嫌いだが)野球 → は(好きです。) →
通常のフィードフォワード型ニューラルネットでは直前に来 る単語を考慮することができず、「"野球"の後に"が"が来る」と いうことしか学習されない 14 /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 15 ⼊⼒層 " 中間層 ℎ" 出⼒層 " ℎ"%& 重み ℎ" = (" + ℎ"%& ) 中間層 の出⼒ 活性化関数 (tanh,shigmoidなど) 前時刻 の出⼒ /19
RNNによるアプローチ t=1 “私” t=2 “は” t=3 “野球” t=4 “が” t=5
“好き” t=6 “です” t=7 “。” 16 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は” ℎ" = (" + ℎ"%& ) ⽬標 “が” /19
RNNによるアプローチ 17 ⼊⼒層 “野球” 中間層 ℎ" 出⼒層 " “私” “は”
⽬標 “が” インプットされた状態全 てを隠れ層に結合し、イ ンプットの系列情報をフ ル活⽤する 私 + は + 野球 → が 理論上、過去の全ての状 態を加味した学習が可能 /19
再帰型ニューラルネット(RNN)まとめ RNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる ⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測 できるようになる 「私 は 鶏⾁」 →「が(好きです)」「は(好きです)」「も(好きです)」というような候補が考え られる 再帰型でないニューラルネットワークの場合
Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らない RNNの場合 Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる → 誤字脱字の検知に有効 18 /19
まとめ • 深層学習(Deep Learning)とその特徴 • 再帰型ニューラルネット(RNN) • 誤字脱字の検知における課題 • ニューラルネットによる誤字脱字検知のアプローチ
• RNNによる誤字脱字検知のアプローチ 参考⽂献: • 「深層学習」岡⾕貴之 講談社 • 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン • 「深層学習(ディープラーニング)を素⼈向けに解説」 (http://stonewashersjournal.com/2015/03/07/deeplearning2/2/) • 「Deep Learningで始める⽂書解析⼊⾨」 (http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html) 19 /19