20241119_論文紹介_Discovering Universal Geometry in Embeddings with ICA

Transcript

1. Discovering Universal Geometry in Embeddings with ICA Hiroaki Yamagiwa, Momose Oyama, Hidetoshi Shimodaira, @EMNLP2023 1
2. 概要 ICAで軸を取り直した埋め込み の普遍性や解釈性・低次元性を分析 ⇒埋め込み表現のさらなる理解 • 言語間の普遍性を確認 • 埋め込み手法間の普遍性を確認 • モダリティ間の普遍性を確認 • ICA埋め込みの解釈性と低次元性を定量的に評価 2
3. PCAとICA • PCA･･･主成分分析　　　　　　 Z = XA (X∈Rn×d,A∈Rd×d) 　　⇒各軸は無相関 • ICA･･･独立成分分析　　　　　 S = ZR ica (Z∈Rn×d,R ica ∈Rd×d) 　　⇒各軸は独立 3 出典：https://slideplayer.com/slide/6381810/
4. 概要 ICA軸を取り直した埋め込み の普遍性や解釈性・低次元性を分析 ⇒埋め込み表現のさらなる理解 • 言語間の普遍性を確認 • 埋め込み手法間の普遍性を確認 • モダリティ間の普遍性を確認 • ICA埋め込みの解釈性と低次元性を定量的に評価 4
5. 言語間の実験 埋め込み：157-langs fastText (n=50000(type), d=300) 　　　　　⇒FastTextを使用してCommon CrawlとWikipediaを学習 対象言語：英語、スペイン語、ロシア語、アラビア語、 　　　　　ヒンディー語、中国語、日本語 実験目的：意味軸が言語間で同じことを確認する 実験内容：言語ごとにICAで軸を取り直し、結果を可視化・比較する 　　　　　⇒相互相関係数、平均相関係数によって英語と各言語を対応付け 　　　　　⇒その軸(次元)の英語の成分値の上位5単語を表示 5
6. 言語間の実験 6
7. 言語間の実験 各言語で英単語の訳語が記載されている ノルムが1になるように正規化 7
8. 言語間の実験 すべての言語で同じような傾向がみられる 8
9. 言語間の実験 • 最初の5軸について、成分値上位5単語 ◦ 人名 ◦ 船と海 ◦ 国名 ◦ 植物 ◦ 食事 9
10. 言語間の実験 • 最初の5軸について、成分値上位5単語 ◦ 人名 ◦ 船と海 ◦ 国名 ◦ 植物 ◦ 食事 10
11. 言語間の実験 • 最初の5軸について、成分値上位5単語 ◦ 人名 ◦ 船と海 ◦ 国名 ◦ 植物 ◦ 食事 11
12. 言語間の実験 • 最初の5軸について、成分値上位5単語 ◦ 人名 ◦ 船と海 ◦ 国名 ◦ 植物 ◦ 食事 12
13. 言語間の実験 • 最初の5軸について、成分値上位5単語 ◦ 人名 ◦ 船と海 ◦ 国名 ◦ 植物 ◦ 食事 13
14. 言語間の実験 • 最初の5軸について、成分値上位5単語 ◦ 人名 ◦ 船と海 ◦ 国名 ◦ 植物 ◦ 食事 • 軸ごとに意味が解釈できる (意味軸が独立している ) 14
15. 言語間の実験 独立した意味軸が言語を跨いで確認できる 15
16. 概要 ICAを適用した埋め込み の普遍性や解釈性・低次元性を分析 ⇒埋め込み表現のさらなる理解 • 言語間の普遍性を確認 • 埋め込み手法間の普遍性を確認 • モダリティ間の普遍性を確認 • ICA埋め込みの解釈性と低次元性を定量的に評価 16
17. 埋め込み手法間の実験 埋め込み： 157langs fastText(n=50000(type), d=300) 　　　　　BERT(n=100000(token), d=768) 　　　　　⇒One Billion Word BenchmarkをBERT-baseモデルで処理 対象言語：英語 実験目的：意味軸が埋め込み手法間で同じことを確認する 実験内容：埋め込みごとにICAを適用し、結果を可視化・比較する 17
18. 埋め込み手法間の実験 人名 アルゴリズム間でも意味軸が共有されている 18
19. 概要 ICAを適用した埋め込み の普遍性や解釈性・低次元性を分析 ⇒埋め込み表現のさらなる理解 • 言語間の普遍性を確認 • 埋め込み手法間の普遍性を確認 • モダリティ間の普遍性を確認 • ICA埋め込みの解釈性と低次元性を定量的に評価 19
20. モダリティ間の実験 データセット： Image Net(100枚×1000クラス) モデル：ViT-Base, ResMLP-12, Swin-S, ResNet-18, RegNetY-200MF 埋め込み：fastText 対象言語：英語 実験目的：意味軸がモダリティ間で同じことを確認する 実験内容：画像認識モデルの最終層の前の埋め込みにICAを適用し、 　　　　　fastTextの埋め込みと結果を比較する 20
21. モダリティ間の実験 モダリティ間でも(ある程度)意味軸が共有されている 21
22. 概要 ICAを適用した埋め込み の普遍性や解釈性・低次元性を分析 ⇒埋め込み表現のさらなる理解 • 言語間の普遍性を確認 • 埋め込み手法間の普遍性を確認 • モダリティ間の普遍性を確認 • ICA埋め込みの 解釈性と低次元性を定量的に評価 22
23. 定量評価の実験 ・ICA適用後のSGNS埋め込みに対して、以下を行う 1. word intrusion task ⇒埋め込みの解釈性を評価 2. analogy task ⇒埋め込みの低次元性を評価 3. word similarity task ⇒埋め込みの低次元性を評価 23 ICAの有効性を定量的に示す
24. word intrusion task • {Windows,microsoft,linux,unix,os,”hamster”} 　　⇒仲間はすれを見つける • topk間の距離とtopkと侵入単語の距離の比 ⇒この値が大きいほど解釈性が高い 24
25. word intrusion task • {Windows,microsoft,linux,unix,os,”hamster”} 　　⇒仲間はすれを見つける • topk間の距離とtopkと侵入単語の距離の比 ⇒この値が大きいほど解釈性が高い 他手法と比べてICAの解釈性が高い ※相対的な評価 25
26. analogy task • データセット： Google analogy datatset • V = W3+W2-W1とのコサイン類似度を算出 ⇒上位10単語の中にW4が含まれるか • 次元数を変化させて、その正解率の変化を見る 26
27. analogy task • データセット： Google analogy datatset • V = W3+W2-W1とのコサイン類似度を算出 ⇒上位10単語の中にW4が含まれるか • 次元数を変化させて、その正解率の変化を見る 非ゼロ成分が少ないとき、ICAのスコアが他と比べて高い ⇒他手法よりも少ない次元でアナロジータスクを解ける 27
28. word similarity task • 2つの単語について • 人間のつけた類似度と埋め込みのコサイン類 似度を比較 ⇒両者のスピアマン係数で比較 28
29. word similarity task • 2つの単語について • 人間のつけた類似度と埋め込みのコサイン類 似度を比較 ⇒両者のスピアマン係数で比較 非ゼロ成分が少ないとき、ICAのスピアマン係数が他と比べて高い ⇒他手法よりも少ない軸から人間の評価と近い類似度スコアが決定できる 29
30. まとめ • ICAで軸を取り直した埋め込み ◦ 可視化の実験 ⇒言語、埋め込み手法、モダリティ間で共通した意味軸が確認できる ◦ word intrusion task ⇒他の次元削減手法よりも解釈性が高い ◦ analogy task,similarity task ⇒他の次元削減手法よりも低次元で意味を表現できる 30