Conditional Word Embedding and Hypothesis Testing via Bayes-by-Backprop

Transcript

1. Conditional Word Embedding and Hypothesis Testing via Bayes-by-Backprop Rujun Han,

   Michael Gill , Arthur Spirling, Kyunghyun Cho 文献紹介 2019/6/4 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4890–4895 Brussels, Belgium, October 31 - November 4, 2018.

2. Abstract ・従来の単語埋め込みモデルは，文書メタデータからの情報を 活用しておらず，また不確実性をモデル化していない ・条件付き単語埋め込み分布を推定するために文書共変量を 組み込んだモデルを使用 ・用語の意味の評価，ある単語が異なる共変量値の別の単語に 近いか遠いかの評価，推定差が有意かどうかの評価が可能 2

3. 1. Introduction ・単語の意味が文脈によって異なるかどうかは，近年のNLP， 言語学，社会科学の研究の主な焦点となっています ・例えば ”gay” は感情を表す単語から性的指向を表す単語へと 変わっていった ・従来の方法は，単語の分散を無視し，不確実性を考慮しておら ず，ノイズであるかどうか見分けるのかは困難

   3

4. 1. Introduction ・多層パーセプトロン（MLP）を使用して，文書の共変量の ベクトルを推定する ・Bayes-by-Backprop algorithm により埋め込みベクトルの 共分散行列をパラメータ化する ・Hotelling T2

   統計を利用し，単語間の意味の近さを検定を行う ことができる． 4

5. 2. ・近似ベイズニューラルネットワークでSGDにより変分ベイズ 法を行う ・MLPを用いて共分散行列をパラメータ化する ・条件付き単語ベクトルのおおよその事後不確定性を推定する際， Hotelling’s T2 により単語間仮説検定を行うことができる． 5

6. 5. Experiments 6 ・データセット 1935年から2012年までの英国議会のスピーチ記録 ・各単語について周囲の6単語をコンテキストとする． ・埋め込みサイズは100 ・初期学習率0.05でAdagradを使用

7. 5. Experiments 7 ・コサイン距離と共分散を考慮したベクトル間のKLDを比較 ・「通貨」，「イギリス」，「健康」，「貿易」，「労働」の 5つのシード単語を用意 ・130個の固有単語を取得

8. 5. Experiments 8 ・KLDチャートはシードワードを中心にしてクラスタ化 ・共分散行列を組み込むと、ローカルコンテキスト内でのワードの有用な分離が行われる

9. 6. Conclusion 9 ・2つのアイデアを組み合わせた不確実性を考慮した条件付き 単語埋め込みモデルを提案した． ・パラメータの不確実性を推定するための変分ベイズ学習 ・共変量を条件とした構造化埋め込み ・さまざまな形式の単語ベクトルの仮説検定に有効である