長岡技術科学大学 自然言語処理研究室 B3ゼミ勉強会(第4回)
ਂֶशͱ࠶ؼܕχϡʔϥϧωοτ平成29年2⽉16⽇⻑岡技術科学⼤学⾃然⾔語処理研究室 ⼩川耀⼀朗
View Slide
発表内容1. 深層学習(Deep Learning)とその特徴2. 再帰型ニューラルネット(RNN)3. 誤字脱字の検知における課題4. ニューラルネットによる誤字脱字検知のアプローチ5. RNNによる誤字脱字検知のアプローチ1 /19
深層学習(Deep Learning)Deep Learningとは・・・ニューラルネットワークを多層構造に繋げた機械学習の⼿法近年、「Deep Learning」という⾔葉が研究の場やITに強い企業のみならず、⼀般の企業やテレビなどでも広く使われるようになってきた。⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀つに役割を与え、理解するべき内容を出来る限りシンプルにしてから理解させようという試み2 /19
⼊⼒層 出⼒層中間層 中間層中間層3 /19
⼊⼒層 出⼒層中間層 中間層中間層「⽿、⼝がある」→動物4 /19
⼊⼒層 出⼒層中間層 中間層中間層「4⾜歩⾏で⽿が尖っている」→狼?ライオン?三⽑猫?柴⽝?5 /19
⼊⼒層 出⼒層中間層 中間層中間層⾊や模様 → 柴⽝?6 /19
⼊⼒層 出⼒層中間層 中間層中間層「⼀番近いのは柴⽝だろう」「柴⽝」7 /19
⼊⼒層 出⼒層中間層 中間層中間層「柴⽝」各層ごとに特徴を抽出し、答えを絞っていく⼈間に近い考え⽅が出来る8 /19
深層学習(Deep Learning)層を深くすること層を深くすることの重要性は、理論的にはあまり多くのことがわかっていない。しかし、研究や実験の結果から説明できることはいくつかある。• 層を深くすることに⽐例して、画像認識の性能も向上する• パラメータを少なくできる• 学習の効率が上がる9 /19
再帰型ニューラルネット(RNN)再帰型ニューラルネット(RNN : Recurent Neural Network)⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」の予測や分類に⽤いられるモデルRNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されているアルゴリズムの⼀つ10 /19
誤字脱字の検知における課題例)「私は妄奏する。」「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる→ ルールベースで修正箇所を拾い上げる(機械学習は必要ない)「税⾦を収める。」「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する→ ルールベースで修正箇所を拾えない「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限がある→ ⽂章が⻑くなっていくと対応できなくなる11 /19
誤字脱字の検知における課題過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを利⽤して、誤字脱字の検知問題に取り組む問題:「ある単語の後に続く、次に来る単語を予測する」12 /19
通常のニューラルネットによるアプローチインプットに“野球”を与えた時に、アウトプットが"が"になるように重みを調整する。その際、その前にインプットされた"私"や"は"の影響は考慮されない。13⼊⼒層 中間層 出⼒層“野球” “が”「私 は 野球 が 好き です」/19
通常のニューラルネットによるアプローチ直前が「私は」ではなく「サッカーは嫌いだが」になったら、"野球"→"は"になる可能性もある。×(サッカーは嫌いだが)野球 → が(好きです。)○(サッカーは嫌いだが)野球 → は(好きです。)→ 通常のフィードフォワード型ニューラルネットでは直前に来る単語を考慮することができず、「"野球"の後に"が"が来る」ということしか学習されない14 /19
RNNによるアプローチt=1 “私”t=2 “は”t=3 “野球”t=4 “が”t=5 “好き”t=6 “です”t=7 “。”15⼊⼒層"中間層ℎ"出⼒層"ℎ"%&重み ℎ"= ("+ ℎ"%&)中間層の出⼒活性化関数(tanh,shigmoidなど)前時刻の出⼒/19
RNNによるアプローチt=1 “私”t=2 “は”t=3 “野球”t=4 “が”t=5 “好き”t=6 “です”t=7 “。”16⼊⼒層“野球”中間層ℎ"出⼒層"“私”“は” ℎ"= ("+ ℎ"%&)⽬標“が”/19
RNNによるアプローチ17⼊⼒層“野球”中間層ℎ"出⼒層"“私”“は” ⽬標“が”インプットされた状態全てを隠れ層に結合し、インプットの系列情報をフル活⽤する私 + は + 野球 → が理論上、過去の全ての状態を加味した学習が可能/19
再帰型ニューラルネット(RNN)まとめRNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測できるようになる「私 は 鶏⾁」→「が(好きです)」「は(好きです)」「も(好きです)」というような候補が考えられる再帰型でないニューラルネットワークの場合Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らないRNNの場合Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる→ 誤字脱字の検知に有効18 /19
まとめ• 深層学習(Deep Learning)とその特徴• 再帰型ニューラルネット(RNN)• 誤字脱字の検知における課題• ニューラルネットによる誤字脱字検知のアプローチ• RNNによる誤字脱字検知のアプローチ参考⽂献:• 「深層学習」岡⾕貴之 講談社• 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン• 「深層学習(ディープラーニング)を素⼈向けに解説」(http://stonewashersjournal.com/2015/03/07/deeplearning2/2/)• 「Deep Learningで始める⽂書解析⼊⾨」(http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html)19 /19