[論文解説] Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning

対照学習に特化した合成データを構成する3段階フレームワークMultiCSRを提案した論文

1. Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning Huiming Wang, Zhaodonghui Li, Liying Cheng, De Wen Soh, Lidong Bing NAACL 2024 URL:https://aclanthology.org/2024.naacl-long.436/ 発表者：M1 梶川 怜恩
2. 文埋め込み • LLMによる生成文で文埋め込み対照学習する話 • 品質の良い学習データにする3段階のプロセス（MultiCSR）を提案 • 文生成、文ペアの構築、バッチ内学習 評価実験の結果 • 既存の対照学習フレームワークよりも性能が高い 1 概要
3. 文埋め込み • 対照学習ベースの手法が主流になりつつある • 実装がシンプルかつ効果的 • 文ペアの品質に大きく左右される [1] • 大量かつ高品質な文ペアを取得するコスト高 LLMの登場 • NLPタスクで優れた性能を発揮している → 文表現学習にLLMを活用しようとする動きが 2 背景：文埋め込みとLLMの登場 [1] Generate, Discriminate and Contrast: A Semi-Supervised Sentence Representation Learning Framework（EMNLP’22）
4. LLMs as generators [2] • NLIの前提文に対して仮説文（含意、矛盾）を生成 → NLI（合成）データで対照学習する LLMs as annotators [3] • 文ペアに対して意味的類似度スコアを注釈 → そのスコアを模倣するように学習する 3 背景：文表現にLLMを活用する先行研究がある GPT 前提文 含意文 矛盾文 0.28 Similarity score GPT 文1, 2 [2] Improving Contrastive Learning of Sentence Embeddings from AI Feedback（ACL’23） [3] Contrastive Learning of Sentence Embeddings from Scratch （EMNLP’23）
5. 入力文の内容やLLMの性能に依存する → 生成を自動的に改良できるフレームワークが必要となる 4 背景：LLMの生成文の品質に対する懸念 入力文を 理解できていない 入力文の情報が 不足している
6. 以下、３段階のフレームワークを提案 Stage1「文の生成」 品質の良い生成文を出力しよう Stage2「文ペアの構築」 品質の良い文ペアのみ抽出しよう Stage3「合成データで対照学習」 バッチ内負例から偽負例を無くそう 5 提案手法：LLMの生成を改良するフレームワーク
7. 提案手法 6
8. 7 概要図
9. • Input: 命令𝐼、入力文𝑥 • Output: 入力文に対する仮説文（含意、矛盾） 出力文𝑦の確率𝑝𝜃 は以下の通り ロジット𝑙𝑡 は以下の通り 8 Stage1: 文の生成 softmaxをロジット𝐼𝑡 に適用して得られた 次のトークン𝑦𝑡 の正規化確率
10. 品質の良い生成文を出力する手法 元の命令𝑰 とノイズ命令෠ 𝑰とのロジットを比較 [4] → どの部分が本来の意図とずれたかを検出できる → より洗練された生成を実現 9 Stage1: 文の生成（対比生成） ノイズの命令መ 𝐼として 矛盾文を生成する命令を採用 最終的なロジット(= 𝑙𝑡 − 𝜔 ∗ መ 𝑙𝑡 ) の確率分布からサンプリング [4] INSTRUCTIVE DECODING: INSTRUCTION-TUNED LARGE LANGUAGE MODELS ARE SELF-REFINER FROM NOISY INSTRUCTIONS（ICLR’24）
11. 文ペアの関係は不確実のままである • 対照学習では、空間内の文ペア間の距離がモデルを訓練するのに適しているか • 要は正例と負例に相応しいかどうか 文ペアを自己選別（Self-Curation） • 3つ組に対して、意味的類似度をLLMで注釈する • 閾値を設けてフィルタリング 10 Stage2: 文ペアの構築（with Self-Curation）
12. 文ペアの関係が成立した状態 • LLMで作成したデータを用いて、対照学習を行う バッチ内負例の問題 • 偽負例が含まれる可能性がある • 負例は意味的に遠いものでなければならない 11 Stage3: 合成データで対照学習
13. 偽負例をマスクする バッチ内負例（𝑥, 𝑥𝑘）に対して以下の式 → 損失に対してマスキングする 12 Stage3: 合成データで対照学習（偽陰性をマスク） 事前訓練済みモデルの 埋め込み同士のcos sim
14. Step1 • 前提文から含意文と矛盾文を生成 by LLM • Contrast Decodingにより洗練した文を生成 Step2 • 文ペアを構築 • 文ペアの意味的類似度を注釈 by LLM • → 閾値を設けて、フィルタリング Step3 • 合成データで対照学習 • 偽陰性をマスクする 13 提案手法まとめ
15. 評価実験 14
16. 評価データセット • SentEval（STSタスクと転移タスク） • BEIR（ゼロショット情報検索タスク）← 省略します 学習データ • NLIデータの前提文＋LLM（仮説文（含意と矛盾）） LLM • Flan-T5-XL（3B）, ChatGPT (gpt-3.5-turbo) 比較手法 • 教師なし対照学習モデル（SimCSEなど） • 同じく合成データを使用したSynCSE [5] 15 実験設定 対照学習フレームワークとして SimCSEを採用
17. 既存手法と比べて、最先端の性能を実現 16 実験結果：STSタスク 合成データを使用した 既存手法よりも効果的 Unsup-XXXよりも性能が高い
18. 既存手法と比べて、所々負けている… 17 実験結果：転移タスク SynCSEの結果を載せてない？ RankCSEに負けている → SimCSEに勝てればヨシ？
19. 分析 18
20. Stageごとの影響を調査 19 分析：アブレーション分析 w/o Stage1,2が特に性能低下 → 文の品質、文ペアの構築が重要である
21. • ラベルなしの文としてNLIの前提文を使用していた • NLIデータは高品質（語彙の重複が少ない） • ノイズの多い文に対しても有効性があるのか？ • Wikipediaから10^6文を無作為抽出 STS 検証セットで評価 • SimCSEでは、NLI < Wikipedia • 質より量 • MultiCSRでは、 NLI > Wikipedia • Wikipediaの方が長いかつ生成するのに言語理解能力が必要 → Wikipediaの文では、含意、矛盾文を生成するのが難しい 20 分析：異なるデータで学習したとき
22. 文埋め込み • LLMによる生成文で文埋め込み対照学習する話 • 品質の良い学習データにする3段階のプロセス（MultiCSR）を提案 • 文生成、文ペアの構築、バッチ内学習 Limitation • Stage1より、ロジットの獲得 → Closed なLLMだとロジットを取得できない • Stage2より、自己選別 • ハードな選別（ルールベース）でフィルタリング • ソフトな（？）選別を提案したい 21 まとめ