[論文解説] One Embedder, Any Task: Instruction-Finetuned Text Embeddings

単体の埋め込みモデルから複数の埋め込みを生成するINSTRUCTORの紹介

Transcript

1. One Embedder, Any Task: Instruction-Finetuned Text Embeddings Hongjin Su, Weijia Shi, Jungo Kasai, Yizhong Wang, Yushi Hu, Mari Ostendorf, Wen-tan Yih, Noah A. Smith, Luke Zettlemoyer, Tao Yu ACL 2023 URL:https://aclanthology.org/2023.findings-acl.71 発表者：B4 梶川 怜恩
2. INSTRUCTORを紹介 • タスクの命令＋入力テキストの埋め込みを学習する手法の提案 • 追加の訓練なしで、異なるタスクやドメインに合わせたテキスト埋め込みを生成できる 以下のことが判明した 1. 学習時に見られなかったタスクに対してSOTAを達成 2. 命令の変更に頑健 1 概要
3. 既存のテキスト埋め込み • 新しいタスクやドメインで評価すると性能が低下する[1][2] • 例）SimCSEだと…類似性タスク〇 検索タスク△ 対処 • タスクやドメインのデータセットでさらに追加学習すること → さらなる注釈データを必要とするため困難 2 導入：テキスト埋め込み [1]Muennighoff et al.:Massive Text Embedding Benchmark (EACL’23) [2]Thakur et al.;BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models（NeurlPS’21）
4. • 命令の追加学習（Instruction tuning）[3] • タスク全般を解決できるようにする訓練形式 3 導入：Instruction tuning [3]Wei et al.:Finetuned Language Models Are Zero-Shot Learners(ICLR’22)
5. • 命令の追加学習（Instruction tuning）[3] • タスク全般を解決できるようにする訓練形式 4 導入：Instruction tuning [3]Wei et al.:Finetuned Language Models Are Zero-Shot Learners(ICLR’22) 埋め込みでは まだ研究されていない
6. • Instruction tuningを埋め込み学習に応用 • タスクとドメインを意識した埋め込みを生成するモデルを提案 • 追加学習なしで多くの下流タスクに使用できるタスクに特化した埋め込みを実現 5 導入：Instruction tuning × テキスト埋め込み テキスト埋め込み
7. INSTRUCTOR 6
8. • テキスト入力とその命令からエンコード • 同じテキストでも、命令から異なる下流タスクに適応した埋め込みを生成 7 INSTRUCTOR
9. デュアルエンコーダを使用 • 入力テキストと命令が与えられたとき、符号化して連結する 8 導入：INSTRUCTORアーキテクチャ Dual encoder 入力テキスト 𝑥 タスク命令 𝐼𝑥 Mean Pooling タスク固有の埋め込み 𝑬𝐼 (𝑥, 𝐼𝑥 )
10. 学習 • 2つの入力例が与えられたときに出力候補で区別するよう対照学習 → 同じクラス（似た出力文）を正例とする → 正例間の余弦類似度を最大化，負例を最小化する 𝑥, 𝑦: 入力, 𝐼𝑥 , 𝐼𝑦 : 命令 𝑠 𝑥, 𝑦 = cos(𝐸𝐼 𝑥, 𝐼𝑥 , 𝐸𝐼 𝑦, 𝐼𝑦 ) ℒ = 𝑒𝑠(𝑥,𝑦+)/𝛾 Σ𝑦∈ℬ 𝑒𝑠(𝑥,𝑦)/𝛾 9 INSTRUCTOR 同じクラスを正例 （似た出力文を正例）
11. 実験 10
12. 学習データセット • MEDI：人手で作成した命令を含む330のデータセット • super-NIデータセット：多様な命令を含む300のデータセット • KILT, MedMCQA, Sentence Transformer埋め込みデータセット デュアルエンコーダ • GTR model[4] • T5から初期化されたデュアルエンコーダ • base, large, XLを使用 11 実験設定：INSTRUCTOR [4] Ni et al.:Large Dual Encoders Are Generalizable Retrievers （EMNLP’22）
13. ３つのベンチマークで評価した 1. MTEB：7つのタスクにわたる56のデータセットから構成 2. Billboard：テキスト生成タスクの自動評価（人手評価との相関係数を評価） 3. Prompt：プロンプト選択タスク（データ集合からプロンプトを選択する） 1. 学習データ・評価データをエンコード 2. 余弦類似度に基づいて評価データに最も類似するいくつかの例を取り出す 3. 取り出した例で文脈内学習した性能を評価（良い性能→良いプロンプト例を選択できた） 上記のデータセットをタスク別に分けて、命令を設定 12 実験設定：評価方法 66/70個は学習中に未見
14. • 全てのベンチマークにおいて最高性能（普遍的な埋め込みを生成） • 従来の最新モデルよりも、パラメータ数が一桁小さいINSTRUCTORの方が性能が良い 13 結果
15. • 全てのベンチマークにおいて最高性能（普遍的な埋め込みを生成） • 従来の最新モデルよりも、パラメータ数が一桁小さいINSTRUCTORの方が性能が良い 14 結果
16. 分析 15
17. • Instruction tuningモデルは，言い換えられた命令に対して頑健ではない[5][6] • 全ての評価セットに対して5つの言い換え命令を記述 • 最も良い命令と悪い命令の性能差をみる 16 分析：命令の頑健性 [5]Sanh et al.:Multitask Prompted Training Enables Zero-Shot Task Generalization（arXiv’22） [6]Zhou et al.: Prompt Consistency for Zero-Shot Task Generalization（arXiv’22）
18. • MEDIからsuper-NIデータセットを除去した場合、命令によって性能が大きく変動 → 多様な命令を学習することで、異なるフォーマットやスタイルを扱うのに役立つ 17 分析：命令の頑健性
19. • 命令の複雑さを４段階に分けて評価 • データセットのタグのみでも最先端のモデルを凌駕する 18 分析：命令の複雑性
20. • 訓練されていない未知のドメインに対する評価 • 未知のドメインに対する汎化性能がある（Instruction tuningの恩恵） 19 分析：未知のドメインに対する評価
21. • T-SNEを使用した命令の有無による分類の2つの例を視覚化 • 命令を含めて埋め込むことで、ラベルを考慮した埋め込みができている 20 分析：定性分析 赤：同じラベルのペア 緑：異なるラベルのペア
22. まとめ 21
23. INSTRUCTORを紹介 • タスクの命令＋入力テキストの埋め込みを学習する手法の提案 • 追加の訓練なしで、異なるタスクやドメインに合わせたテキスト埋め込みを生成できる 以下のことが判明した 1. 学習時に見られなかったタスクに対してSOTAを達成 2. 命令の変更に頑健 22 まとめ
24. • ３つのベンチマークの各タスクごとの命令文 23 付録