Upgrade to Pro — share decks privately, control downloads, hide ads and more …

対数線形モデル、ニューラルネット、RNN

Avatar for Ayumu Ayumu
February 07, 2019

 対数線形モデル、ニューラルネット、RNN

長岡技術科学大学
自然言語処理研究室 守谷歩

Avatar for Ayumu

Ayumu

February 07, 2019
Tweet

More Decks by Ayumu

Other Decks in Technology

Transcript

  1. 単語の数を見た単純な確率計算 ⚫学習データ: 1.私 は 読書 が 好き だ </s> 2.私

    の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫ は < s > 私 = <>私は (<>私) = 1 2 = 0.5 それっぽい ⚫ 20世紀 < > 私の本は = <>私の本は20世紀 (私の本は) = 0 1 = 0
  2. N-gramモデル ⚫2-gramモデルなら直前の1単語を使って学習 ⚫学習データ: 1.私 は 読書 が 好き だ </s>

    2.私 の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫Nを増やしていけば増やすだけ精度が上がる! ⚫精度が上がるが計算量がすごい増える
  3. 対数線形モデル ⚫履歴のデータを参考にスコア計算、その後スコアの指数を取って正規化する ⚫スコアs −+1 −1 = + σ=1 −1 ,−

    (b:バイアス,d:学習データ ⚫正規化したモデル ( |−+1 −1 ) = |−+1 −1 σ |−+1 −1 ⚫尤度の勾配 = |−+1 −1 ( :単語,w:パラメータ) ⚫重みの更新 ≪ + ∗ (a:学習率= 1 + ,w:パラメータ,n:サンプル数)