Smoothing: Add-1

Transcript

1. B3勉強会第11回 Smoothing: Add-one (Laplace) Smoothing 長岡技術科学大学 自然言語処理研究室 B3 LY NAM PHONG
2. 参考文献  SPEECH AND LANGUAGE PROCESSING – Daniel Jurafsky & James H. Martin Pearson International Edition, 2nd Edition, pp. 131 – 135  Natural Language Processing online course by Dan Jurafsky, Christopher Manning, Stanford University https://class.coursera.org/nlp/lecture/17 https://class.coursera.org/nlp/lecture/18
3. N-gramモデルの問題点  まばらなデータのため： 例えば、ベトナム語の中で、単語が5千語彙が あって、3-gramの句は50003 = 1250億であるが、 この中で意味がある句は150万句。 そのため、トレーニングコーパスにない句が多く て、ない句の確率値が０になった。 → Smoothing方法が必要。
4. Smoothing: Add-one  アイディアは全てのコーパスの単語がもう１回数 える。 2-gramの式 −1 = (−1 , ) (−1 ) 2-gramのadd-1の式 −1 −1 = −1 , + 1 −1 +
5. Smoothing: Add-one Table 1: The Bigram counts for 8 of words in Berkeley Restaurant Project corpus (BeRP corpus)
6. Smoothing: Add-one Table 2: The smoothed bigram counts for 8 of words in BeRP corpus
7. Smoothing: Add-one Table 3: The smoothed bigram probability for 8 of words in BeRP corpus
8. Table 4: The smoothed bigram recalculate for 8 of words in BeRP corpus
9. まとめ  Add-1方法は1番簡単なsmoothing方法である。  N-gramモデルにAdd-1方法に応用すると、最初のモ デルが大きく変わってしまう。 →N-gramにとって、この方法は良くない、ある方法が もっと良い。 しかし、ベースラインとして良い。