DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models Yung-Sung Chuang1, Yujia Xie2, Hongyin Luo1, Yoon Kim1, James Glass1, Pengcheng He2 1: MIT, 2: Microsoft 慶應義塾大学 杉浦孔明研究室 小槻誠太郎 Y.-S. Chuang, Y. Xie, H. Luo, Y. Kim, J. Glass, and P. He, “DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models,” in ICLR, 2024 ICLR’24 Poster

LLMはしばしば事前学習で得た事実とは乖離した内容を生成してしまう (Hallucination) 外部知識による条件付けや追加学習を必要としない 単純なdecode時の工夫によってhallucinationの発生を低減する手法を提案 最終層の出力と分布が最も遠い中間層の間でcontrastive decoding (CD) Early-exitを弱モデルとして, 単一モデル内でCDをするイメージ TruthfulQAやFACTORなどの 複数のタスクでLLaMAモデル のfactualityを軒並み向上 2 SUMMARY – DoLa

Hallucination: (ここでは) 事前学習で得た事実とは乖離した内容を生成すること Hallucinationが起こる理由は完全には理解されていない 実験的には, 限られたデータにおいてLanguage Modellingで学習した モデルは学習コーパスから抽出された実世界の事実を認識, 生成するの ではなく, 言語知識を用いて表面的なパターンを認識 (cf.: https://dl.acm.org/doi/pdf/10.1145/3571730) 3 背景・前提 – LLMの文脈におけるhallucination

Transformerなどの高い推論コストに対処する研究の一つ 中間層の段階で十分に推論ができていると判定した時点で その時点での特徴量から直接出力を行う E.g.: Confident Adaptive Language Modeling [Schuster+, NeurIPS22] 4 背景・前提 – transformerにおけるearly-exit

5 関連研究 – Contrastive Decoding及び後続研究 Language Modelingで学習したLMの出力を後から改善する研究が複数 概要 Contrastive Decoding [Li+, ACL’23] 弱モデルを用意し, 弱モデルの出力で強モデル が出力する尤度にペナルティを与えることで 強モデルのfluency及びcoherenceを改善 Context-Aware Decoding [Shi+, ’23] コンテキスト付きのクエリに対する尤度に対し, コンテキスト抜きのクエリに対する尤度で ペナルティを与える. 通常よりコンテキストに注目. 要約性能を向上 Autocontrastive Decoding [Gera+, ACL’23] 本研究と同様, 中間層と最終的な出力を対比 GPT2程度のサイズのモデルの出力の多様性を向 上

6 動機・着想 – transformerベースの言語モデル (LM) の性質 (LMで確認された事実ではないが) 埋め込みモデル (BERT) において, 品詞タグのような低レベルの情報が浅い層で, より詳細な意味を持つ情報は深い層でencodeされる ([Tenney+, ACL’19]) 事実に関する情報を保持する “knowledge neuron” の多くは 最終層に分布 ([Dai+, ACL’22]) LMにおいても FFNの一部を操作することでLMの事実に関連する知識を書き換えられる ([Meng+, NeurIPS’22])

7 動機・着想 – transformerベースの言語モデル (LM) の性質 (LMで確認された事実ではないが) 埋め込みモデル (BERT) において, 品詞タグのような低レベルの情報が浅い層で, より詳細な意味を持つ情報は深い層でencodeされる ([Tenney+, ACL’19]) 事実に関する情報を保持する “knowledge neuron” の多くは 最終層に分布 ([Dai+, ACL’22]) LMにおいても FFNの一部を操作することでLMの事実に関連する知識を書き換えられる ([Meng+, NeurIPS’22]) 考察: 浅い層からのearly-exitと最終層の出力を対比させることで 事実に関する知識に基づいた出力を強調できるのでは Contrastive Decoding + Early-exit

32層のLLaMA-7Bにおいて最終層の出力の分布と各中間層からの early-exitの分布の間のJensen-Shannon Divergence (JSD)を可視化 特に年号などの数値や固有名詞について最終層とのJSDが大きくなる傾向 8 事前実験 – 事実に関する推論は層を重ねるに従い改善

新規性 最終層の尤度に中間層の尤度でペナルティをかけることで factualityを改善するDoLa 対象とする中間層の動的な選択 9 提案 – Decoding by Contrasting Layers (DoLa)

10 DoLa – 最終層の出力およびEarly-exitの出力の定義 トークン列 が与えられた時に次のトークン を予測 線形層: トークン集合: 中間層の層番号の集合: := {1, ..., N} j番目の層が出力する特徴量: 最終層 → 中間層 → 中間層 → 中間層 →

11 DoLa – 最終層の尤度に中間層の尤度でペナルティをかけて出力 最終層の尤度と中間層の尤度の差分を取る形で予測 は の略 最終層での尤度が低い トークンに対し 負の無限大を割り当てる

12 DoLa – 最終層の尤度に中間層の尤度でペナルティをかけて出力 最終層の尤度と中間層の尤度の差分を取る形で予測 は の略 尺度dが最大になるM番目の中間層を選択 (d: 次のページで後述するが, JSDで定義)

尺度dとして Jensen-Shannon Divergence (JSD) を採用 dが最大になるM番目の中間層を選択し, 最終的な予測に利用 13 定量的結果 – 対象とする中間層の動的な選択 最終層と中間層の出力分布の差を評価

MC: モデルが出力する回答候補それぞれの尤度を元に選択問題として 解く条件で正しく選択を行ったかを評価する尺度 14 定量的結果 – 複数のベンチマークで既存decoding手法を上回る

FACTORの評価尺度: 4つの回答候補のうち正しい回答候補の尤度が高く なるよう予測した割合 (%) 15 定量的結果 – 複数のベンチマークで既存decoding手法を上回る

GPT3を人間による評価でfine-tuningしたGPT3-judgeによる判定で 正しい回答 (%Truth), 情報の多い回答 (%Info) の割合などで評価 16 定量的結果 – 複数のベンチマークで既存decoding手法を上回る %Reject: “I have no comment” と出力した割合 %T*I: %Truth x %Info

CoTが必要なタスク (GSM8Kのsubset10%, StrategyQA) においても 既存手法を上回る (尺度はaccuracy) 17 定量的結果 – 複数のベンチマークで既存decoding手法を上回る

LLMはしばしば事前学習で得た事実とは乖離した内容を生成してしまう (Hallucination) 外部知識による条件付けや追加学習を必要としない 単純なdecode時の工夫によってhallucinationの発生を低減する手法を提案 最終層の出力と分布が最も遠い中間層の間でcontrastive decoding (CD) Early-exitを弱モデルとして, 単一モデル内でCDをするイメージ TruthfulQAやFACTORなどの 複数のタスクでLLaMAモデル のfactualityを軒並み向上 18 SUMMARY – DoLa

Strength 提案された手法が非常にシンプルであり, 幅広く応用が考えられる 一貫して定量的に良い結果が得られている Weakness 詳細な意味を持つ情報は深い層にあるという仮説の 理論的裏付け, 検証が十分とは言えない 19 おきもち

Appendix

Paper: https://openreview.net/pdf?id=Th6NyL07na OpenReview: https://openreview.net/forum?id=Th6NyL07na Impl.: https://github.com/voidism/DoLa 21 Links