論文紹介 WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings Wenjie Zhuo, Yifan Sun, Xiaohan Wang, Linchao Zhu, Yi Yang ACL2023

概要 - 対照学習を採用した SimCSE は文埋め込み学習の代表的な 手法であり、下記の操作で文埋め込みの学習を行うが、負例 間には操作が行われない - 正例と近づける（alignment） - 負例から離す（uniform） - 埋め込み空間上の全てのデータを uniform にする白色化を 導入（WhitenedCSE） - タスクの性能を向上 - alignment, uniform を改善 2

単語埋め込みの分布 - 理想：単語埋め込みは一様に分布（uniform）🤩 - 現実：単語埋め込みは歪んでいる😫 [Mu+18] - 頻度が揃っていないから？ - 後処理で歪みをとると性能向上 - all-but-the-top [Mu+18]、白色化、方向白色化 [横井ら21] など 3

文埋め込みの分布 - 文埋め込みはどう…？→歪んでる😫 [Yan+21] - 単語埋め込みと同様に、後処理で歪みをとると性能向上 - 色々な後処理を試し、性能向上 [Sajjad+22] - ガウス潜在空間上に変換する [Li+20] 4

対照学習の効果 - SimCSE [Gao+21] で採用されている対照学習 (b) は、 正例に近づけて alignment （似たものを近く配置）し、 負例から離す際に（部分的に） uniform な空間を得る - 負例間では行われないのが重要 - 一方、白色化 (c) は空間全てのベクトルを uniform にする - 対照学習 (b) は部分的な白色化 (c)？ - (b) は (a) と (c) の中間のようだが… 5

提案：WhitenedCSE - SimCSE と白色化を組み合わせることで、対照学習の「負例 同士に適用できない」問題を解決できないか？ 6 Uniform （一様に分布しているか） Alignment （似たものが近くにあるか） SimCSE △ （負例を離す時のみ） ✅ 白色化 ✅ ❌ SimCSE+白色化 （提案） ✅？ ✅？

提案：WhitenedCSE 7

提案：WhitenedCSE - 得られたベクトルを白色化する - Group Whitening - 次元を k 分割して白色化→統合 - Shuffled Group Whitening（提案） - シャッフルしてから Group Whitening - 複数回行うとデータ拡張にもなる 8

提案：WhitenedCSE - 白色化した文ベクトルを使い、対照学習 - 従来の Contrastive Loss は正例が1つ - 今回は正例が複数なので Multi-Positive Contrastive Loss を提案 9

実験 - 実際、性能はどうなのか？ - 2種類のタスクで実験 - 類似度タスク：文ベクトルから文類似度を予測 - 転移タスク：文ベクトルでロジスティック回帰の分類器を学習 10

実験：類似度タスク - 実際、性能はどうなのか？→結構良かった - ほとんどのタスクで先行研究の性能を上回る 11

実験：転移タスク - 実際、性能はどうなのか？→多少（？）良かった - 様々な転移タスクでの平均性能を上回る 12

分析：Ablation - 普通の白色化ではどうか？→ダメらしい - PCA→ZCAでもかなり違う - （Shuffled）Group-Whitening が良い 13

分析：Ablation - 正例を増やすだけではどうか？→ダメらしい - ここでも Shuffled Group-Whitening が良い 14

分析：Uniform, Alignment - 冒頭でこんな表を出したが…本当に改善してる？ - Uniform, Alignmentを測る損失 [Wang+20] で評価 15

分析：Uniform, Alignment - 冒頭でこんな表を出したが…本当に改善してる！ 16

まとめ - 対照学習を採用した SimCSE は文埋め込み学習の代表的な 手法であり、下記の操作で文埋め込みの学習を行うが、負例 間には操作が行われない - 正例と近づける（alignment） - 負例から離す（uniform） - 埋め込み空間上の全てのデータを uniform にする白色化を 導入（WhitenedCSE） - タスクの性能を向上 - alignment, uniform を改善 - 白色化である必要性？ - 通常の白色化 << グループにわけて白色化（Group Whitening） - 白色化以外の後処理手法を試すこともできるはず - ガウス潜在空間上に変換する手法 [Li+20] など 17

参考文献 [Mu+18] Jiaqi Mu, Pramod Viswanath. “All-but-the-Top: Simple and Effective Postprocessing for Word Representations”, ICLR2018 [横井ら21] 横井祥, 下平英寿. “単語埋め込みの確率的等方化 ”, NLP2021 [Yan+21] Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu, Weiran Xu. “ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer”, ACL-IJCNLP2021 [Sajjad+22] Hassan Sajjad, Firoj Alam, Fahim Dalvi, Nadir Durrani. “Effect of Post-processing on Contextualized Word Representations”, COLING2022 [Li+20] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, Lei Li. “On the Sentence Embeddings from Pre-trained Language Models”, EMNLP2020 [Gao+21] Tianyu Gao, Xingcheng Yao, Danqi Chen. “SimCSE: Simple Contrastive Learning of Sentence Embeddings”, EMNLP2021 [Wang+20] Tongzhou Wang, Phillip Isola. “Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere”, ICML2020 18