独立主成分分析による埋め込みにおける普遍的な幾何学の発見、論文紹介と追試

ゼミでの論文紹介スライドです

Transcript

1. Discovering Universal Geometry in Embeddings with ICA 独立主成分分析による埋め込みにおける普遍的な幾何学の発見 1
2. 概要 多くのモデルは単語、画像の意味をベクトルで表現している 埋め込み表現と呼ばれています しかし、人間は大量の数値の羅列を見ても意味を理解できない スパースで次元が少なければ理解しやすそう そこで、独立主成分分析（ ICA）を利用し、埋め込み空間を人間が解釈可能な軸の組み合 わせとして表現する 2
3. 先行研究との違い 制約条件をつけた再トレーニング、オートエンコーダの使用、などの手法で、人間が解 釈可能な埋め込みの表現を行うことができることがわかっている 本論文では、 ICAを利用することで、制約に依存せずに埋め込みを解釈可能な形にするこ とを目指す 3
4. わかったこと 言語、モダリティ、アルゴリズムが違っても埋め込みの持つ意味は一貫している 各単語を表すために必要な次元の数は埋め込みの実際の次元よりもかなり少ないと筆者 は考えている 4
5. 他言語との比較 ノルムを正規化後、英単語で各軸上位５つを選択し、日本語との比較をとる 軸０が人名、軸１が海、軸２が国、軸３が植物、軸４が飯に関する軸だとわかる 付録 Cの図 15(a) 各軸に対する単語の散布図（英語） 付録 Cの図 15(g) 各軸に対する単語の散布図（日本語） 5
6. 他言語との比較 図 2(a) ICAによる言語間の比較 6
7. 画像に対する埋め込みと単語の埋め込みの比較 図 8(a) ICAによる画像と単語の比較 7
8. 主成分分析ではダメなのか？（多言語） 図 2(b) PCAによる言語間の比較 8
9. 主成分分析ではダメなのか？（画像と単語） 図 8(b) PCAによる画像と単語の比較 9
10. ICA、 PCAを比較 ICAを使った方が歪度が大きい 図 5 特定の軸に沿った単語埋め込みの散布図 10
11. 定量評価での ICA、 PCA比較（解釈可能性：単語侵入課 題） 一つのテーマについて一致する単語群の中に無関係な単語を入れる {ウィンドウズ、リナックス、マック、未来大学 } この時の埋め込みの分散が大きいほど優秀 ZCA PCA Varimax ICA DistRatio 1.04 1.13 1.26 1.57 11
12. 定量評価での ICA、 PCA比較（低次元性 : 類推課題と単語 類似性課題） 変換された埋め込みから類推タスクと単語類似性タスクを実行する 重要度の最も低いコンポーネントを削減しても、意味情報をどれだけ保持しているか？ 類推タスクでは となるように４つの単語を用意 とのコサイン類似度の高い単語 10個のうちに が含まれているか の正答率をみる 類似度タスクでは、単語の埋め込み同士のコサイン類似度と、人間の評価した類似度と のスピアマン順位相関係数を見る 12
13. 結果 図 9 非ゼロ成分を削減したときの、いくつかの白色化単語埋め込みのパフォーマンス。 13
14. 定量評価での ICA、 PCA比較（普遍性 : 言語間の整合） 英単語の埋め込みとその他の言語の単語の埋め込みを用意する 最小二乗法やプロクラステス分析を利用し、英語の埋め込みから、その他の言語の埋め 込みに変換するよう学習させる PCA,ICAのような教師なし学習では、両方とも変換を行い、順列を用いて配置を最適化 する モデルから出力された英単語 とその他の言語の単語との相関をとり、最も相関の高い 単語の意味が、英単語と一致するかの正答率を計算する 14
15. 結果 もともと多言語で学習された MUSEに対してのスコアは相対的に高い また、ランダムな行列で英語の埋め込みを変換した場合でも ICAのスコアは一定 PCAは ICAに全敗 Dataset Method Original Rand. Dataset Method Original Rand. 157langs- fastText LS 84.72 55.28 MUSE- fastText LS 78.91 51.44 Proc 84.95 18.72 Proc 78.41 20.19 ICA 19.48 18.60 ICA 43.27 43.31 PCA 0.92 0.64 PCA 2.13 0.40 15
16. ここまでのまとめ 独立主成分分析を使用することで、異なる言語、訓練方法、モダリティから一貫した意 味構造を取り出すことができる 取り出された意味構造はスパースで人間にとって理解しやすい 複雑な処理を必要とせず簡単 ICA処理後に何かタスクを解くのは難しい？ 16
17. 追試 17
18. 独立主成分分析 変換後の行列 Sの列がそれぞれ独立になるように変換行列 Bを求める Sの列ベクトルは互いに独立であることから、無相関 PCAで無相関化した後に直行行列 Rを用いて列ベクトルを回転反転、できるだけ独 立にするのが一般的（ FastICA） を独立な信号をどの割合で混ぜ合わせるかの混合行列と考え、信号処理で利用され てきた 頭に複数の電極をつけて測定した信号からノイズを取り除き、脳波を取り出すこと もできる [1] Xの次元は離散時間 T、電極の数 N　 Sは離散時間 T、任意のコンポーネント数 N' 18
19. の導出 PCAの変換行列 A、 ICAの回転行列 Rともに直行行列 複数の変数を加算して混ぜ合わせるとガウス分布に近づく 中心極限定理 入力 Xは複数変数が加算された形だと考えられる 逆にガウス分布に従わなければ、元となった分布を取り出せていると言える 非ガウス性の尺度 (負のエントロピー )を最大化するように直行行列 Rを最適化すれば良い 19
20. 結果 国に関した軸が取れてそう 20
21. 結果 人名に関した軸が取れてそう 21
22. 結果 常に昇順に意味が表れているとは限らない 22
23. 映画のレビューのネガティブ、ポジティブ分類 時間がなかった（発表 10分前）ので、 LIモデルを利用し、リッジ回帰で ICAあり、なしでの映 画のレビューのネガティブ、ポジティブ分類を解きました。 300次元から ->30次元への圧縮 AUCスコアが ICAなしで 0.88 ICAありで 0.802 埋め込みだけではタスクに対する性能は低いけど、機械学習モデルを噛ませることで十分な 性能を達成できる 23
24. 最後に 今回の論文から画像、単語の埋め込み表現から解釈可能な意味軸の取り出しが可能なこ とがわかった 各単語を表すために必要な次元の数は埋め込みの実際の次元よりもかなり少ないという 考えは正しいそう 負の方向、正の方向、どちらに意味が現れるかは人間が判断しなければならない グラフに対する埋め込みに試してみてもいいかもしれない hypergraphに対する埋め込み手法もすでにあるらしい [2] 今回の内容が何かのお役に立てば幸いです ... 24
25. 参考文献 [1] 田中 聡久 , 《第 6回》脳波のための信号処理 PCA， ICA，そして EMD, 計測と制御 , 2011, 50 巻 , 6 号 , p. 418-423, 公開日 2021/12/01, Online ISSN 1883-8170, Print ISSN 0453-4662, https://doi.org/10.11499/sicejl.50.418, https://www.jstage.jst.go.jp/article/sicejl/50/6/50_418/_article/-char/ja [2] Xiangguo Sun, Hongzhi Yin, Bo Liu, Hongxu Chen, Jiuxin Cao, Yingxia Shao, and Nguyen Quoc Viet Hung. 2021. Heterogeneous Hypergraph Embedding for Graph Classification. In Proceedings of the 14th ACM International Conference on Web Search and Data Mining (WSDM '21). Association for Computing Machinery, New York, NY, USA, 725–733. https://doi.org/10.1145/3437963.3441835 [今回の論文 ] Yamagiwa, H., Oyama, M., & Shimodaira, H. (2023). Discovering Universal Geometry in Embeddings with ICA. arXiv preprint arXiv:2305.13175. 25