文献紹介 5月23日

Transcript

1. 文献紹介(2017/05/23) 長岡技術科学大学 M1 桾澤 優希 Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space
2. 文献 ▪ 論文 ▪ Arvind Neelakantan*, Jeevan Shankar*, Alexandre Passos, Andrew McCallum Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1059-1069 ▪ キーワード ▪ Skip-gram, 語義曖昧性解消 2
3. 概要 ▪ 教師なしによる語義曖昧性解消 ▪ Skip-gram (Le and Mikolov (2013)) のモデルの 拡張 ▪ 短い計算時間で精度の高い意味ベクトルを取得可能 3
4. 導入 ▪ 通常のSkip-gram (W2V) ▪ 同じ書き方で違う意味の単語をそのまま学習してしまう → その単語に近い意味の全く違う単語が引っ張り合ってしまう ▪ 例) plant (設備) と plant (植物) が意味的に引っ張り合い、 pollen (花粉) と refinery (精製所) が近くなってしまう。 ▪ 意味的なコンテキストを考えることで語義ごとの ベクトルを計算するモデルに変更する 4
5. 導入 ▪ Skip-gram ▪ 入力単語 から 入力単語の周辺の単語 を予測するモデル 5
6. 導入 ▪ Skip-gram ▪ 入力単語 から 入力単語の周辺の単語 を予測するモデル 6
7. 理論 ▪ Multi Sense Skip-Gram ▪ Skip-gramで生成したコンテキストベクトルから 平均コンテキストを計算 ▪ 最も似た意味を持つコンテキストのクラスタを抽出 ▪ クラスタ内のベクトルから周辺コンテキストを計算 7
8. 理論 ▪ Multi Sense Skip-Gram 8
9. 理論 ▪ Multi Sense Skip-Gram 9
10. 理論 ▪ Non-Parametric MSSG ▪ 意味の数を事前に決めないで自動で決める ▪ 平均コンテキストと新しいコンテキストの類似度がしきい値以下 の場合に新しい意味コンテキストを追加する 10
11. 実験 11 ▪ April 2010 snapshot of the Wikipedia corpus ▪ Wikipediaのコーパスを学習 ▪ 200万記事, 約10億トークン
12. 結果 12
13. 実験 13 ▪ Stanford’s Contextual Word Similarities (SCWS) ▪ 2003 word pairs and their sentential contexts. ▪ 1328 noun-noun pairs, 399 verb-verb pairs, 140 verb-noun, 97 adjective-adjective, 30 noun-adjective, 9 verb-adjective, and 241 same word pairs.
14. 実験 14