Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Discovering Universal Geometry in Embeddings wi...
Search
Momose Oyama
December 21, 2023
Research
2
1.1k
Discovering Universal Geometry in Embeddings with ICA
2023年12月20日 NLPコロキウム
Momose Oyama
December 21, 2023
Tweet
Share
More Decks by Momose Oyama
See All by Momose Oyama
独立成分分析を用いた埋め込み表現の視覚的な理解
momoseoyama
6
2.1k
Other Decks in Research
See All in Research
最適化と機械学習による問題解決
mickey_kubo
0
180
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
360
財務諸表監査のための逐次検定
masakat0
0
140
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
390
長期・短期メモリを活用したエージェントの個別最適化
isidaitc
0
190
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
17
10k
スキマバイトサービスにおける現場起点でのデザインアプローチ
yoshioshingyouji
0
250
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
7
1.8k
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
640
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
8.7k
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.8k
地域丸ごとデイサービス「Go トレ」の紹介
smartfukushilab1
0
110
Featured
See All Featured
Into the Great Unknown - MozCon
thekraken
40
2.1k
How to Think Like a Performance Engineer
csswizardry
27
2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
20
1.2k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Become a Pro
speakerdeck
PRO
29
5.5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
980
Code Review Best Practice
trishagee
72
19k
Transcript
Discovering Universal Geometry in Embeddings with ICA 2023.12.20 NLPコロキウム Hiroaki
Yamagiwa*, Momose Oyama*, Hidetoshi Shimodaira EMNLP2023
⼤⼭百々勢 (Oyama Momose) l 京都⼤学 下平研究室 修⼠2年 (D進の予定) l 埋め込み表現の研究
◦ Norm of Word Embedding Encodes Information Gain [Oyama, Yokoi, Shimodaira, EMNLP 2023] [Paper] ◦ Discovering Universal Geometry in Embeddings with ICA [Yamagiwa*, Oyama*, Shimodaira, EMNLP 2023] [Paper] l 国内のコミュニティ ◦ NLP, YANS ◦ IBIS, 統計連合⼤会 2
道具の紹介︓ Independent Component Analysis (ICA)
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換後の⾏列: (𝑛, 𝑑)
𝑑個の列が互いに独⽴ 変換⾏列: (𝑑, 𝑑) 4
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑)
𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分 5 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
ICAは独⽴な軸を⾒つける変換 𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分
単語埋め込み 𝑑個の次元に分散して表現された 𝑛単語分の意味情報 𝑑個の独⽴な意味情報に分離された 𝑛単語の表現 (これから⾒ていきます) 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑) 6 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
単語埋め込みをICAで分析
単語ベクトルをヒートマップで可視化 l Skip-gram with Negative Samplingで学習した 単語ベクトル l ヒートマップ ◦
⾏: 単語ベクトル ◦ 列: 次元 (5/300) l 各要素の⼤⼩は解釈できない ◦ 「分散」表現なので ⾃然なこと 8
PCAをしても解釈性に変化なし 9
ICA後は各次元が持つ意味を解釈できる l 16軸: ⾷べ物 (dishes, …) l 26軸: ⾞ (cars,
…) l 35軸: 映画 (film, …) l 34軸: イタリア (italian, …) l 56軸: ⽇本 (japanese, …) 10
独⽴成分は「尖って」いて解釈可能 l 2軸に沿った散布図 ◦ イタリア軸と⾞軸 ◦ ⽇本軸と映画軸 l 加法構成性 ◦
Ferrari ≈ italian + cars ◦ kurosawa ≈ japanese + film l 300次元よりも⼩さな部分 空間で単語の意味を表現 11
ICAの結果の普遍性
まず、英語の埋め込みを可視化 英語 13
ICA: 異なる⾔語の埋め込みで形と意味が共通 14
PCA: 共通の性質を⾒つけられない 15
ICA: モデルやドメインの違いを超えた普遍性 16
PCA: やはりうまくいかない 17
なぜPCAではなくICAが うまくいくのか
PCAが捉えきれない⾼次情報をICAは捉える 𝐒 = 𝐗𝐀𝐑 ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする
2. 直交変換: 各軸の⾮ガウス性を最⼤化する 19
PCAが捉えきれない⾮ガウス性をICAは捉える ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする 2. 直交変換: 各軸の⾮ガウス性を最⼤化する
lどれだけガウス分布 から逸脱しているか l例えば歪度や尖度 で測定できる 𝐒 = 𝐗𝐀𝐑 20
PCAが捉えきれない⾮ガウス性をICAは捉える ICA = PCA + 直交変換 l PCA: 「尖った形状」を⾒つけられない l
ICA: 「尖った形状」を⾒つけられる 𝐒 = 𝐗𝐀𝐑 21
まとめ
まとめ l ICAを使って 埋め込みを分析した l わかったこと 1. 埋め込みの独⽴成分は 「尖って」いて解釈可能 2.
⾔語・モデル・ドメインの 違いを超えて普遍的 l PCAだと上⼿くいかない 23