文献紹介: Generalizing Word Embeddings using Bag of Subwords

Transcript

1. Generalizing Word Embeddings using Bag of Subwords 文献紹介 ( 2018

   / 09 / 26 ) 長岡技術科学大学 自然言語処理研究室 稲岡 夢人

2. Literature Jinman Zhao and Sidharth Mudgal and Yingyu Liang. Proceedings

   of the 2018 Conference on Empirical Methods in Natural Language Processing. https://arxiv.org/abs/1809.04259 2

3. Abstract • 文脈情報を用いずに語彙を超えて事前学習済みの Word Embeddingを汎化 • 単語をBag-of-Substringsと見做して subwordレベルの単語ベクトル生成モデルを提案 • 英単語類似度タスクでSOTAを達成

   3

4. Word Embeddings in OOV ➔ 従来のWord Embeddingsは高頻度な単語にのみ 単語ベクトルを生成し、低頻度語をOOVとする ➔ 低頻度語には単語ベクトルを生成できない

   ➔ 下流のタスクで特徴が補足できず困難 4

5. Word Vectors for OOV words • 単語は語幹, 接辞, 修飾語など形態素に分割できる •

   人間は例えば“preEMNLP”の意味を推察できる ➔ 形態素からベクトルを推測できる可能性を示唆 ➔ OOV wordsでも単語以下の単位で解析すれば 単語ベクトルを推測できる可能性がある 5

6. Related Works • fastText char n-gramを用いてOOVの単語のベクトルを生成 学習には大規模なコーパスが必要 (今回はenwiki) • Mimick

   Char-level Bi-LSTMでChar Embeddingから Word Embeddingを推測 6

7. Proposed Model • 単語をBag-of-Substringsとみなす • 単語ベクトルは全部分文字列のベクトルの平均 • それを事前学習されたベクトルと一致させる学習 ➔ 文脈予測を介さずにsubwordsを学習させる

   fastTextと似ているようで異なる 7

8. Substring Σ is the finite set of characters in the

   language. 8

9. “<s>” = ‘<’ + s + ‘>’ Substring 9 are

   hyperparameters.

10. Substring (example) 10 { <in, <inf, inf, infi, nfi, nfix,

    fix, fix>, ix> }

11. Bag-of-Substring 11

12. Target vectors Training 12

13. Experiment (Word Similarity) • 単語ベクトルの類似度と、ラベル付けされた 単語類似度の相関によって評価 • 類似度は単語ベクトル間のコサイン類似度で計算 • 相関はスピアマンの順位相関係数ρで計算

    13

14. Datasets (Word Similarity) • Polyglot, Googleは学習済み単語ベクトル • Stanford RareWord(RW)とWordSim353(WS)で評価 RWは低頻度語が多く、WSは一般的な語が多い

    14

15. Results (Word Similarity) • BoSはEditDist, MIMICKよりも相関が強い • Googleのベクトルを用いたときにfastTextと同等 15

16. BoS vs. fastText • BoSの方が少ないデータ、訓練で実現 • Intel Core i7-6700 (3.4GHz)

    において、 BoSはシングルスレッドのPythonで352秒 fastTextはマルチスレッドのC++で数時間 16

17. Expt. (syntax, semantics) • POS tags, Morphosyntactic Attributesを予測するタ スクでベクトルを評価 →

    構文的、意味的特徴の補足を確認 • データセットはUniversal Dependencies (UD) • Bi-LSTMで予測 17

18. Result (syntax, semantics) • すべての言語で 安定して有意な 結果 • 膠着語で特に 差が大きい

    18

19. Conclusion • 事前学習済みのWord Embeddingを拡張してOOV単 語のWord Embeddingを推定するモデルを提案 • 単語類似度タスクとPOSタグ付けタスクによって形態 論的知識の補足、より良いOOV単語の単語 ベクトルの生成を確認

    19