文献紹介 10月23日

Transcript

1. จݙ঺հ  ⻑岡技術科学⼤学 M1 桾澤 優希 Semi-supervised Word Sense Disambiguation with Neural Models
2. จݙ ▪ 論文 ▪ Dayu Yuan, Julian Richardson, Ryan Doherty, Colin Evans, Eric Altendorf ▪ Semi-supervised Word Sense Disambiguation with Neural Models ▪ Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, ▪ pp.1374–1385 ▪ キーワード ▪ WSD, Semi-Supervised, LSTM 2
3. ֓ཁ ▪ 語義曖昧性解消はずっと以前から問題になってい るが、未だにMFS(Most Frequent Sense)のベースラ インを大きく上回ることができていない ▪ WordEmbedding, LSTM, Semi-Supervisedを用いるこ とでより高い精度を得る手法を提案 ▪ SOTAを記録 3
4. ಋೖ ▪ WSDの手法 ▪ 教師あり学習 Supervised-method ▪ 教師なし学習 Unsupervised-method ▪ 知識ベース Knowledge-based-method ▪ WSDの種類 ▪ Lexical sample (文中の1つの単語のみを曖昧性解消) ▪ All words (文中すべての単語に対して曖昧性解消) ▪ All-words WSDタスクにおいてはSOTAな手法でも MFS(Most Frequent Sense)が強い 4
5. ಋೖ ▪ NNLM (Word2Vec) ▪ Word2Vecのベクトルを素性とすることで WSDの精度が上がる ▪ Iacobacci et al. (2016) ▪ 一方文章構造の情報が落ちてしまう ▪ WordEmbeddingとLSTMを組み合わせることで より高い精度が期待できる 5
6. ཧ࿦ 6 ▪ Wn : 単語 $ : シンボル ▪ 語義曖昧性解消したい単語を$に置き換え どんな単語が来るかLSTM予測させる
7. ཧ࿦ 7
8. ཧ࿦ 8 ▪ 通常のSupervisedの場合はLSTMのベクトルを用 い各コンテキストのベクトルと予測語のベクトル の類似度を計算し、一番近い語義を付与する
9. ཧ࿦ 9 ▪ Semi-supervisedの場合はラベルが付与されていな いベクトルを用いる (Label propagation) ▪ 重みが小さくなるように繰り返し更新 ▪ シードラベルと計算されたラベルの類似度 ▪ 接続された頂点のラベル分布間の不一致 ▪ 事前分布と異なる分布にペナルティを課す正規化項
10. ࣮ݧ 10 ▪ SemEval Tasks
11. ࣮ݧ 11 ▪ NOAD Eval ▪ 今まで広く使われてきたSemCorやOMSTIといったデータ セットではなく違うデータを仕様 ▪ New Oxford American Dictionary の語義に対し Semantic English Language Database の文章がついたもの ▪ Fair ComparisonのためにSemCore, MASCに対して手動で ▪ NOADの語義をアノテート
13. ·ͱΊ ▪ Word2Vec, LSTM, Label propagationを用いて高精 度に語義曖昧性解消を行う手法を提案 ▪ 各タスクでSOTAな精度を記録 13