深層学習と再帰型ニューラルネット

長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会（第4回）

Transcript

1. ਂ૚ֶशͱ࠶ؼܕχϡʔϥϧωοτ
   平成29年2⽉16⽇
   ⻑岡技術科学⼤学
   ⾃然⾔語処理研究室 ⼩川耀⼀朗
   

   View Slide

2. 発表内容
   1. 深層学習（Deep Learning）とその特徴
   2. 再帰型ニューラルネット（RNN）
   3. 誤字脱字の検知における課題
   4. ニューラルネットによる誤字脱字検知のアプローチ
   5. RNNによる誤字脱字検知のアプローチ
   1 /19
   

   View Slide

3. 深層学習（Deep Learning）
   Deep Learningとは・・・
   ニューラルネットワークを多層構造に繋げた機械学習の⼿法
   近年、「Deep Learning」という⾔葉が研究の場やITに強い企業
   のみならず、⼀般の企業やテレビなどでも広く使われるように
   なってきた。
   ⼩さなまとまりとして構成したニューラルネットワークの⼀つ⼀
   つに役割を与え、理解するべき内容を出来る限りシンプルにして
   から理解させようという試み
   2 /19
   

   View Slide

4. ⼊⼒層 出⼒層
   中間層 中間層
   中間層
   3 /19
   

   View Slide

5. ⼊⼒層 出⼒層
   中間層 中間層
   中間層
   「⽿、⼝がある」→動物
   4 /19
   

   View Slide

6. ⼊⼒層 出⼒層
   中間層 中間層
   中間層
   「4⾜歩⾏で⽿が尖っている」
   →狼？ライオン？三⽑猫？柴⽝？
   5 /19
   

   View Slide

7. ⼊⼒層 出⼒層
   中間層 中間層
   中間層
   ⾊や模様 → 柴⽝？
   6 /19
   

   View Slide

8. ⼊⼒層 出⼒層
   中間層 中間層
   中間層
   「⼀番近いのは柴⽝だろう」
   「柴⽝」
   7 /19
   

   View Slide

9. ⼊⼒層 出⼒層
   中間層 中間層
   中間層
   「柴⽝」
   各層ごとに特徴を抽出し、答えを絞っていく
   ⼈間に近い考え⽅が出来る
   8 /19
   

   View Slide

10. 深層学習（Deep Learning）
    層を深くすること
    層を深くすることの重要性は、理論的にはあまり多くのことがわ
    かっていない。
    しかし、研究や実験の結果から説明できることはいくつかある。
    • 層を深くすることに⽐例して、画像認識の性能も向上する
    • パラメータを少なくできる
    • 学習の効率が上がる
    9 /19
    

    View Slide

11. 再帰型ニューラルネット（RNN）
    再帰型ニューラルネット（RNN : Recurent Neural Network）
    ⾳声や映像、⾔語といった「時系列の流れに意味を持つデータ」
    の予測や分類に⽤いられるモデル
    RNNは⾃然⾔語処理の分野で⾼い成果をあげ、注⽬されている
    アルゴリズムの⼀つ
    10 /19
    

    View Slide

12. 誤字脱字の検知における課題
    例）
    「私は妄奏する。」
    「妄奏」という辞書に存在しないワードがある場合、辞書と⽐べて検知ができる
    → ルールベースで修正箇所を拾い上げる（機械学習は必要ない）
    「税⾦を収める。」
    「収める」はこの⽂脈では「納める」が正解だが、「収める」も辞書に存在する
    → ルールベースで修正箇所を拾えない
    「税⾦は⽼後の⽣活を考えると若いうちから収めておいた⽅が良いです。」
    N-gramによる⾔語モデルを利⽤して検知することも可能だが、対象⽂字列の⻑さに制限
    がある
    → ⽂章が⻑くなっていくと対応できなくなる
    11 /19
    

    View Slide

13. 誤字脱字の検知における課題
    過去の⼊⼒を記憶しておけるため時系列の処理ができるRNNを
    利⽤して、誤字脱字の検知問題に取り組む
    問題：「ある単語の後に続く、次に来る単語を予測する」
    12 /19
    

    View Slide

14. 通常のニューラルネットによるアプローチ
    インプットに“野球”を与えた時
    に、アウトプットが"が"になる
    ように重みを調整する。
    その際、その前にインプットさ
    れた"私"や"は"の影響は考慮され
    ない。
    13
    ⼊⼒層 中間層 出⼒層
    “野球” “が”
    「私 は 野球 が 好き です」
    /19
    

    View Slide

15. 通常のニューラルネットによるアプローチ
    直前が「私は」ではなく「サッカーは嫌いだが」になったら、
    "野球"→"は"になる可能性もある。
    ×（サッカーは嫌いだが）野球 → が（好きです。）
    ○（サッカーは嫌いだが）野球 → は（好きです。）
    → 通常のフィードフォワード型ニューラルネットでは直前に来
    る単語を考慮することができず、「"野球"の後に"が"が来る」と
    いうことしか学習されない
    14 /19
    

    View Slide

16. RNNによるアプローチ
    t=1 “私”
    t=2 “は”
    t=3 “野球”
    t=4 “が”
    t=5 “好き”
    t=6 “です”
    t=7 “。”
    15
    ⼊⼒層
    "
    中間層
    ℎ"
    出⼒層
    "
    ℎ"%&
    重み
    
    ℎ"
    = ("
    + ℎ"%&
    )
    中間層
    の出⼒
    活性化関数
    (tanh,shigmoidなど)
    前時刻
    の出⼒
    /19
    

    View Slide

17. RNNによるアプローチ
    t=1 “私”
    t=2 “は”
    t=3 “野球”
    t=4 “が”
    t=5 “好き”
    t=6 “です”
    t=7 “。”
    16
    ⼊⼒層
    “野球”
    中間層
    ℎ"
    出⼒層
    "
    “私”
    “は”
    
    ℎ"
    = ("
    + ℎ"%&
    )
    ⽬標
    “が”
    /19
    

    View Slide

18. RNNによるアプローチ
    17
    ⼊⼒層
    “野球”
    中間層
    ℎ"
    出⼒層
    "
    “私”
    “は”
    
    ⽬標
    “が”
    インプットされた状態全
    てを隠れ層に結合し、イ
    ンプットの系列情報をフ
    ル活⽤する
    私 + は + 野球 → が
    理論上、過去の全ての状
    態を加味した学習が可能
    /19
    

    View Slide

19. 再帰型ニューラルネット（RNN）まとめ
    RNNは過去の⼊⼒を記憶しておけるため時系列の処理ができる
    ⽂章を単語に分けた場合に、時系列に順々に表れた複数の単語から次にくる単語を推測
    できるようになる
    「私 は 鶏⾁」
    →「が（好きです）」「は（好きです）」「も（好きです）」というような候補が考え
    られる
    再帰型でないニューラルネットワークの場合
    Ø直前の単語「鶏⾁」に続く単語の推測しかできず、「私は」は考慮に⼊らない
    RNNの場合
    Ø「私は」まで再帰して解釈するため、「が」がもっとも適切だという判断ができる
    → 誤字脱字の検知に有効
    18 /19
    

    View Slide

20. まとめ
    • 深層学習（Deep Learning）とその特徴
    • 再帰型ニューラルネット（RNN）
    • 誤字脱字の検知における課題
    • ニューラルネットによる誤字脱字検知のアプローチ
    • RNNによる誤字脱字検知のアプローチ
    参考⽂献：
    • 「深層学習」岡⾕貴之 講談社
    • 「ゼロから作るDeep Learning」斎藤 康毅 オライリー・ジャパン
    • 「深層学習（ディープラーニング）を素⼈向けに解説」
    (http://stonewashersjournal.com/2015/03/07/deeplearning2/2/)
    • 「Deep Learningで始める⽂書解析⼊⾨」
    (http://www.atmarkit.co.jp/ait/articles/1608/26/news011.html)
    19 /19
    

    View Slide