Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Discovering Universal Geometry in Embeddings with ICA
Search
Momose Oyama
December 21, 2023
Research
1
520
Discovering Universal Geometry in Embeddings with ICA
2023年12月20日 NLPコロキウム
Momose Oyama
December 21, 2023
Tweet
Share
More Decks by Momose Oyama
See All by Momose Oyama
独立成分分析を用いた埋め込み表現の視覚的な理解
momoseoyama
3
770
Other Decks in Research
See All in Research
DroidKaigi CfP分析
yukihiromori
0
110
出生抑制策と少子化
morimasao16
0
280
AIが非ヒト動物に与える有益・有害な影響の検討
takeshit_m
0
290
仮説検定とP値
shuntaros
6
7.3k
SSII2024 [OS3] 企業における基盤モデル開発の実際
ssii
PRO
0
490
RCEへの近道
kawakatz
1
620
SSII2024 [PD] 画像センシングの未来
ssii
PRO
0
290
SSII2024 [OS2] GPT-4Vで画像認識は終わるのか(オープニング)
ssii
PRO
0
640
LLM based AI Agents Overview -What, Why, How-
masatoto
1
120
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
100
AIを前提とした体験の実現に向けて/toward_ai_based_experiences
monochromegane
1
430
-SSII技術マップを通して見る過去・現在,そして未来-
hf149
1
490
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Teambox: Starting and Learning
jrom
130
8.6k
Faster Mobile Websites
deanohume
303
30k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
The Cult of Friendly URLs
andyhume
75
5.9k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
17
8.7k
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.9k
Creatively Recalculating Your Daily Design Routine
revolveconf
214
11k
Embracing the Ebb and Flow
colly
81
4.3k
Infographics Made Easy
chrislema
238
18k
Transcript
Discovering Universal Geometry in Embeddings with ICA 2023.12.20 NLPコロキウム Hiroaki
Yamagiwa*, Momose Oyama*, Hidetoshi Shimodaira EMNLP2023
⼤⼭百々勢 (Oyama Momose) l 京都⼤学 下平研究室 修⼠2年 (D進の予定) l 埋め込み表現の研究
◦ Norm of Word Embedding Encodes Information Gain [Oyama, Yokoi, Shimodaira, EMNLP 2023] [Paper] ◦ Discovering Universal Geometry in Embeddings with ICA [Yamagiwa*, Oyama*, Shimodaira, EMNLP 2023] [Paper] l 国内のコミュニティ ◦ NLP, YANS ◦ IBIS, 統計連合⼤会 2
道具の紹介︓ Independent Component Analysis (ICA)
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換後の⾏列: (𝑛, 𝑑)
𝑑個の列が互いに独⽴ 変換⾏列: (𝑑, 𝑑) 4
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑)
𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分 5 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
ICAは独⽴な軸を⾒つける変換 𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分
単語埋め込み 𝑑個の次元に分散して表現された 𝑛単語分の意味情報 𝑑個の独⽴な意味情報に分離された 𝑛単語の表現 (これから⾒ていきます) 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑) 6 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
単語埋め込みをICAで分析
単語ベクトルをヒートマップで可視化 l Skip-gram with Negative Samplingで学習した 単語ベクトル l ヒートマップ ◦
⾏: 単語ベクトル ◦ 列: 次元 (5/300) l 各要素の⼤⼩は解釈できない ◦ 「分散」表現なので ⾃然なこと 8
PCAをしても解釈性に変化なし 9
ICA後は各次元が持つ意味を解釈できる l 16軸: ⾷べ物 (dishes, …) l 26軸: ⾞ (cars,
…) l 35軸: 映画 (film, …) l 34軸: イタリア (italian, …) l 56軸: ⽇本 (japanese, …) 10
独⽴成分は「尖って」いて解釈可能 l 2軸に沿った散布図 ◦ イタリア軸と⾞軸 ◦ ⽇本軸と映画軸 l 加法構成性 ◦
Ferrari ≈ italian + cars ◦ kurosawa ≈ japanese + film l 300次元よりも⼩さな部分 空間で単語の意味を表現 11
ICAの結果の普遍性
まず、英語の埋め込みを可視化 英語 13
ICA: 異なる⾔語の埋め込みで形と意味が共通 14
PCA: 共通の性質を⾒つけられない 15
ICA: モデルやドメインの違いを超えた普遍性 16
PCA: やはりうまくいかない 17
なぜPCAではなくICAが うまくいくのか
PCAが捉えきれない⾼次情報をICAは捉える 𝐒 = 𝐗𝐀𝐑 ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする
2. 直交変換: 各軸の⾮ガウス性を最⼤化する 19
PCAが捉えきれない⾮ガウス性をICAは捉える ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする 2. 直交変換: 各軸の⾮ガウス性を最⼤化する
lどれだけガウス分布 から逸脱しているか l例えば歪度や尖度 で測定できる 𝐒 = 𝐗𝐀𝐑 20
PCAが捉えきれない⾮ガウス性をICAは捉える ICA = PCA + 直交変換 l PCA: 「尖った形状」を⾒つけられない l
ICA: 「尖った形状」を⾒つけられる 𝐒 = 𝐗𝐀𝐑 21
まとめ
まとめ l ICAを使って 埋め込みを分析した l わかったこと 1. 埋め込みの独⽴成分は 「尖って」いて解釈可能 2.
⾔語・モデル・ドメインの 違いを超えて普遍的 l PCAだと上⼿くいかない 23