Share
Embed
[Journal club] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
Semantic Machine Intelligence Lab., Keio Univ. PRO
February 05, 2025
Transcript
21 slides
-
LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders Parishad
BehnamGhader1, Vaibhav Adlakha12, Marius Mosbach1, Dzmitry Bahdanau2, Nicolas Chapados2, Siva Reddy123 1: McGill University, Mila 2: ServiceNow Research 3: Facebook CIFAR AI Chair Keio Univ. M2 Otsuki P. BehnamGhader, V. Adlakha, M. Mosbach, D. Bahdanau, N. Chapados, and S. Reddy, “LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders,” in COLM, 2024. COLM 2024 -
3 stepsでLLMを埋め込みモデルに変換する教師なし学習手法LLM2Vecを提案 単語レベルのタスクで既存encoder onlyモデルを大きく上回る MTEBにおいて, 教師なしSoTA / 教師あり対照学習を組み合わせると 公開データセットで学習されたモデル中トップの性能 (@2024/05/24)
2 SUMMARY – Decoder-only LLMを強力な埋め込みモデルに変換 1 2 3 -
テキスト埋め込みにおいて主流だったモデル: encoder型やencoder-decoder型の事前学習モデル LLMをテキスト埋め込みに用いることができれば幾つかの利点がある LLMの学習におけるLanguage modeling: 全トークンを予測 à 15%のトークンだけを予測するMLMよりサンプル効率が良い 選好データからの学習などによりinstruction followingの性能が高い
課題: LLMは将来のtokenを見ないように学習されている 4 背景 – LLMをテキスト埋め込みに利用する試み -
5 関連研究 – LLMをテキスト埋め込みに利用する試み 最後のtokenに対応する最終層の隠れ状態を文埋め込みとするアプローチ: [Neelakantan+, 22], [Ma+, SIGIR24], [Wang+,
ACL24] 同時期の研究 概要 [Muennighoff, ICLR24 workshop] 単方向注意によるLanguage modeling と双方向注意による対照学習を組み合 わせてマルチタスクfine-tuning Echo [Springer+, 24 (ICLR25 submission)] 入力を2回繰り返して入力することで将 来のtokenをみない問題に対応 -
1. 双方向注意の有効化 2. Masked Next Token Prediction (MNTP) 3. 対照学習
(SimCSE) 6 LLM2Vec – Decoder-only LLMを埋め込みモデルに変換 1 2 3 -
やりたいことはMasked Language Modelingだが, 以下の微修正を施す n+1番目のtokenがマスクされた時, n番目のtokenに対応する出力で n+1番目のtokenを予測 8 LLM2Vec –
2. Masked Next Token Prediction (MNTP) Language Modelingで学習された モデルの挙動とのギャップを吸収 -
ここではSimCSEで 文単位の埋め込みを学習 単語埋め込み列に対する poolingで文全体の埋め込みを得る 1. EOSをpooling 2. 平均値pooling 3. 重み付き平均値pooling
[Muennighoff, 22] 9 LLM2Vec – 3. 対照学習 (SimCSE) 後方のtokenを重視する重み付け -
対象decoder-only LLM: Sheared-LLaMA-1.3B, Llama-2-7B-chat, Mistral-7B-Instruct-v0.2, Meta-Llama-3-8B-Instruct 学習データ 上記LLMの事前学習に含まれているであろう 英語のWikipediaのデータを使用 MNTPにWikitext-103
(100M+ tokens) SimCSEにはWikipediaの部分集合1M文 (本家SimCSEと同じ) 学習設定 (7-8Bモデル) MNTP: batch size 32, 1000 steps,100min, A100 (80G) x1 SimCSE: batch size 128, 1000 steps,3h, A100 (80G) x1 10 実験設定 -
埋め込みモデルを固定し, 線形分類器のみ学習 CoNLL-2003 benchmarkで評価 encoder型モデルのSoTA, DeBERTa-v3-largeと比較 単語レベルのタスクなので SimCSEをつけると悪化している ケースが見られる 11
定量的結果 – 単語レベルのタスクで既存encoder onlyモデルを上回る -
MTEB: 7つのタスクカテゴリに分類される 56データセットで構成されるベンチマーク Baselines: SimCSEで学習されたBERT Echo [Springer+, 24 (ICLR25 submission)]
MNTP, SimCSE共に性能を大きく改善 Baselineの性能を大きく上回る 12 定量的結果 – Massive Text Embeddings Benchmark (MTEB)の教師なしSoTA 抜粋 -
[Springer+, 24 (ICLR25 submission)]による E5 datasetの公開データの一部を 使用して対照学習 A100 (80G) x8,
batch size 512, 1000steps LLM2Vecしたモデルはサンプル効率が良く 早い段階で性能が上がる (紫) 14 定量的結果 – 教師あり対照学習と組み合わせて MTEBの公開データ使用モデル内でSoTA 抜粋 -
同一の入力を与えた際に 単方向注意と双方向注意それぞれでの隠れ状態を比較 (類似度計算) LLaMAは特に深い層での両者の隠れ状態の類似度が低い Mistralはほぼ全ての層で両者の隠れ状態の類似度が高い 17 追加実験 – MistralはそもそもMNTPをする前から双方向注意の挙動が良い 事前学習段階でprefix
language modelingなど なんらかの形の双方向注意を見ているのではと推測 -
3 stepsでLLMを埋め込みモデルに変換する教師なし学習手法LLM2Vecを提案 単語レベルのタスクで既存encoder onlyモデルを大きく上回る MTEBにおいて, 教師なしSoTA / 教師あり対照学習を組み合わせると 公開データセットで学習されたモデル中トップの性能 (@2024/05/24)
18 SUMMARY – Decoder-only LLMを強力な埋め込みモデルに変換 1 2 3