Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
文献紹介:WhitenedCSE: Whitening-based Contrastive L...
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Taichi Aida
October 27, 2023
Research
430
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
https://aclanthology.org/2023.acl-long.677/
Taichi Aida
October 27, 2023
Transcript
18 slides
論文紹介 WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings Wenjie Zhuo,
Yifan Sun, Xiaohan Wang, Linchao Zhu, Yi Yang ACL2023
概要 - 対照学習を採用した SimCSE は文埋め込み学習の代表的な 手法であり、下記の操作で文埋め込みの学習を行うが、負例 間には操作が行われない - 正例と近づける(alignment) -
負例から離す(uniform) - 埋め込み空間上の全てのデータを uniform にする白色化を 導入(WhitenedCSE) - タスクの性能を向上 - alignment, uniform を改善 2
単語埋め込みの分布 - 理想:単語埋め込みは一様に分布(uniform)🤩 - 現実:単語埋め込みは歪んでいる😫 [Mu+18] - 頻度が揃っていないから? - 後処理で歪みをとると性能向上
- all-but-the-top [Mu+18]、白色化、方向白色化 [横井ら21] など 3
文埋め込みの分布 - 文埋め込みはどう…?→歪んでる😫 [Yan+21] - 単語埋め込みと同様に、後処理で歪みをとると性能向上 - 色々な後処理を試し、性能向上 [Sajjad+22] -
ガウス潜在空間上に変換する [Li+20] 4
対照学習の効果 - SimCSE [Gao+21] で採用されている対照学習 (b) は、 正例に近づけて alignment (似たものを近く配置)し、
負例から離す際に(部分的に) uniform な空間を得る - 負例間では行われないのが重要 - 一方、白色化 (c) は空間全てのベクトルを uniform にする - 対照学習 (b) は部分的な白色化 (c)? - (b) は (a) と (c) の中間のようだが… 5
提案:WhitenedCSE - SimCSE と白色化を組み合わせることで、対照学習の「負例 同士に適用できない」問題を解決できないか? 6 Uniform (一様に分布しているか) Alignment (似たものが近くにあるか)
SimCSE △ (負例を離す時のみ) ✅ 白色化 ✅ ❌ SimCSE+白色化 (提案) ✅? ✅?
提案:WhitenedCSE 7
提案:WhitenedCSE - 得られたベクトルを白色化する - Group Whitening - 次元を k 分割して白色化→統合
- Shuffled Group Whitening(提案) - シャッフルしてから Group Whitening - 複数回行うとデータ拡張にもなる 8
提案:WhitenedCSE - 白色化した文ベクトルを使い、対照学習 - 従来の Contrastive Loss は正例が1つ - 今回は正例が複数なので
Multi-Positive Contrastive Loss を提案 9
実験 - 実際、性能はどうなのか? - 2種類のタスクで実験 - 類似度タスク:文ベクトルから文類似度を予測 - 転移タスク:文ベクトルでロジスティック回帰の分類器を学習 10
実験:類似度タスク - 実際、性能はどうなのか?→結構良かった - ほとんどのタスクで先行研究の性能を上回る 11
実験:転移タスク - 実際、性能はどうなのか?→多少(?)良かった - 様々な転移タスクでの平均性能を上回る 12
分析:Ablation - 普通の白色化ではどうか?→ダメらしい - PCA→ZCAでもかなり違う - (Shuffled)Group-Whitening が良い 13
分析:Ablation - 正例を増やすだけではどうか?→ダメらしい - ここでも Shuffled Group-Whitening が良い 14
分析:Uniform, Alignment - 冒頭でこんな表を出したが…本当に改善してる? - Uniform, Alignmentを測る損失 [Wang+20] で評価 15
分析:Uniform, Alignment - 冒頭でこんな表を出したが…本当に改善してる! 16
まとめ - 対照学習を採用した SimCSE は文埋め込み学習の代表的な 手法であり、下記の操作で文埋め込みの学習を行うが、負例 間には操作が行われない - 正例と近づける(alignment) -
負例から離す(uniform) - 埋め込み空間上の全てのデータを uniform にする白色化を 導入(WhitenedCSE) - タスクの性能を向上 - alignment, uniform を改善 - 白色化である必要性? - 通常の白色化 << グループにわけて白色化(Group Whitening) - 白色化以外の後処理手法を試すこともできるはず - ガウス潜在空間上に変換する手法 [Li+20] など 17
参考文献 [Mu+18] Jiaqi Mu, Pramod Viswanath. “All-but-the-Top: Simple and Effective
Postprocessing for Word Representations”, ICLR2018 [横井ら21] 横井祥, 下平英寿. “単語埋め込みの確率的等方化 ”, NLP2021 [Yan+21] Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu, Weiran Xu. “ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer”, ACL-IJCNLP2021 [Sajjad+22] Hassan Sajjad, Firoj Alam, Fahim Dalvi, Nadir Durrani. “Effect of Post-processing on Contextualized Word Representations”, COLING2022 [Li+20] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, Lei Li. “On the Sentence Embeddings from Pre-trained Language Models”, EMNLP2020 [Gao+21] Tianyu Gao, Xingcheng Yao, Danqi Chen. “SimCSE: Simple Contrastive Learning of Sentence Embeddings”, EMNLP2021 [Wang+20] Tongzhou Wang, Phillip Isola. “Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere”, ICML2020 18
More Decks by Taichi Aida
See All by Taichi Aida
意味を表すベクトル表現を用いたテキスト分析
a1da4
0
180
スウェーデン滞在報告
a1da4
0
56
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
1
350
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
450
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
380
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
500
新入生向けチュートリアル:文献のサーベイv2
a1da4
19
14k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
280
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
180
Other Decks in Research
See All in Research
[webinaire du Ciirpo] Agnelages plein air : des éleveurs partagent leurs pratiques
institutdelelevage
PRO
0
340
The Conductor Pattern -Multi-Granularity Feedback for Creative Agents-
shibuiwilliam
2
120
オンライン凸最適化の基礎とゲーム理論への応用 (IBIS 2026 チュートリアル)
taira_tsuchiya
2
1.4k
La génomique au service de la fromageabilité du lait grâce aux spectres MIR
institutdelelevage
PRO
0
230
超効率化への挑戦:1bit LLMの現状と展望
yumaichikawa
0
1k
全国町字単位空き家率推定データver1.0データ仕様
microbaseinc
0
340
Physical AIでモデリングはどう変わるか/How Physical AI Will Change Modeling
stktu
0
350
AI創薬の壁
kanojikajino
1
1.3k
ICAITD 2026 Oral Presentation
rikkabotan7
0
150
L’albédo:levier d’atténuation du changement climatique dans les systèmes fourragers
institutdelelevage
PRO
0
170
進化?迷走?CasualConc ファミリーアプリの現在地 @ 英語コーパス学会 2026
casualconc
0
160
マニアックセッション 〜次世代のメールプロトコルの斜め読み(2026年版)
hirachan
0
510
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
2k
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
560
Designing for humans not robots
tammielis
254
26k
Large-scale JavaScript Application Architecture
addyosmani
516
110k
Fantastic passwords and where to find them - at NoRuKo
philnash
53
4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
660
So, you think you're a good person
axbom
PRO
2
2.3k
Why You Should Never Use an ORM
jnunemaker
PRO
61
10k
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
2
2.2k
From π to Pie charts
rasagy
1
450