文献紹介: Generalizing Word Embeddings using Bag of Subwords

2018/09/26の文献紹介で発表

Transcript

1. Generalizing Word Embeddings using Bag of Subwords 文献紹介 ( 2018 / 09 / 26 ) 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
2. Literature Jinman Zhao and Sidharth Mudgal and Yingyu Liang. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. https://arxiv.org/abs/1809.04259 2
3. Abstract • 文脈情報を用いずに語彙を超えて事前学習済みの Word Embeddingを汎化 • 単語をBag-of-Substringsと見做して subwordレベルの単語ベクトル生成モデルを提案 • 英単語類似度タスクでSOTAを達成 3
4. Word Embeddings in OOV ➔ 従来のWord Embeddingsは高頻度な単語にのみ 単語ベクトルを生成し、低頻度語をOOVとする ➔ 低頻度語には単語ベクトルを生成できない ➔ 下流のタスクで特徴が補足できず困難 4
5. Word Vectors for OOV words • 単語は語幹, 接辞, 修飾語など形態素に分割できる • 人間は例えば“preEMNLP”の意味を推察できる ➔ 形態素からベクトルを推測できる可能性を示唆 ➔ OOV wordsでも単語以下の単位で解析すれば 単語ベクトルを推測できる可能性がある 5
6. Related Works • fastText char n-gramを用いてOOVの単語のベクトルを生成 学習には大規模なコーパスが必要 (今回はenwiki) • Mimick Char-level Bi-LSTMでChar Embeddingから Word Embeddingを推測 6
7. Proposed Model • 単語をBag-of-Substringsとみなす • 単語ベクトルは全部分文字列のベクトルの平均 • それを事前学習されたベクトルと一致させる学習 ➔ 文脈予測を介さずにsubwordsを学習させる fastTextと似ているようで異なる 7
8. Substring Σ is the finite set of characters in the language. 8
9. “<s>” = ‘<’ + s + ‘>’ Substring 9 are hyperparameters.
10. Substring (example) 10 { <in, <inf, inf, infi, nfi, nfix, fix, fix>, ix> }
11. Bag-of-Substring 11
12. Target vectors Training 12
13. Experiment (Word Similarity) • 単語ベクトルの類似度と、ラベル付けされた 単語類似度の相関によって評価 • 類似度は単語ベクトル間のコサイン類似度で計算 • 相関はスピアマンの順位相関係数ρで計算 13
14. Datasets (Word Similarity) • Polyglot, Googleは学習済み単語ベクトル • Stanford RareWord(RW)とWordSim353(WS)で評価 RWは低頻度語が多く、WSは一般的な語が多い 14
15. Results (Word Similarity) • BoSはEditDist, MIMICKよりも相関が強い • Googleのベクトルを用いたときにfastTextと同等 15
16. BoS vs. fastText • BoSの方が少ないデータ、訓練で実現 • Intel Core i7-6700 (3.4GHz) において、 BoSはシングルスレッドのPythonで352秒 fastTextはマルチスレッドのC++で数時間 16
17. Expt. (syntax, semantics) • POS tags, Morphosyntactic Attributesを予測するタ スクでベクトルを評価 → 構文的、意味的特徴の補足を確認 • データセットはUniversal Dependencies (UD) • Bi-LSTMで予測 17
18. Result (syntax, semantics) • すべての言語で 安定して有意な 結果 • 膠着語で特に 差が大きい 18
19. Conclusion • 事前学習済みのWord Embeddingを拡張してOOV単 語のWord Embeddingを推定するモデルを提案 • 単語類似度タスクとPOSタグ付けタスクによって形態 論的知識の補足、より良いOOV単語の単語 ベクトルの生成を確認 19