ACL読み会2026@名大：DecoCal: Decoding with Calibration in Diffusion Large Language Models

Transcript

1. ※図表は論文より引用 @ACL 2026 読み手：樫森信平（豊田工業大学 知識データ工学研究室）
2. 概要 離散拡散言語モデルのデコーディングにおいて， 過去の履歴に基づき生成/修正トークンを選択 • 目的： • 予測の時間的な不確実性を考慮したデコーディング手法の確立 • 提案： • 予測の履歴を用いた予測分布の校正による生成・修正 • 選定理由： • 単一ステップの予測に依存しない推論の有用性を紹介したい
3. 背景｜離散拡散言語モデルとは • 全位置をMASKした状態から，段階的にトークンを確定し生成 1. 各ステップで，モデルが全位置のトークンを並列に予測 2. デコーディング手法がモデルの予測に基づきトークンの確定 位置・順序を決定 MASK MASK MASK MASK MASK MASK The MASK MASK on the MASK The cat sat on the mat
4. 背景｜離散拡散言語モデルとは • 全位置をMASKした状態から，段階的にトークンを確定し生成 1. 各ステップで，モデルが全位置のトークンを並列に予測 2. デコーディング手法がモデルの予測に基づきトークンの確定 位置・順序を決定 1. MASK MASK MASK MASK MASK MASK The MASK MASK on the MASK The cat sat on the mat 予測対象
5. 背景｜離散拡散言語モデルとは • 全位置をMASKした状態から，段階的にトークンを確定し生成 1. 各ステップで，モデルが全位置のトークンを並列に予測 2. デコーディング手法がモデルの予測に基づきトークンの確定 位置・順序を決定 1. 2. MASK MASK MASK MASK MASK MASK The MASK MASK on the MASK The cat sat on the mat 予測対象 デコード対象
6. 背景｜ステップ間で揺らぐ予測確率 • 生成の早い段階でも，正しいトークン候補が現れる しかし... • 予測は各ステップにより変動 • あるステップでのモデルの予測は過信を含む場合がある ⇒早期に確定可能な位置とそうでない位置の区別が必要
7. 背景｜位置づけ • 既存手法 • MDLM：各ステップで確率的にデコード位置を選択 • LLaDA：予測確率の高い位置を選択 • Dream：エントロピーを用いてデコード位置を選択 • ReMDM：確定済みのトークンを確率的に修正 • RCR：過去の予測確率の最大値を用いて修正 • Tolerator：全文生成後にトークンを確率的に修正 • 課題 • 予測の時間的な揺らぎを十分に考慮していない
8. 提案手法｜概要 (𝑖) 履歴を集約した確率分布𝑞𝑡 で確定/修正を判断
9. 提案手法｜①キャリブレーション • 過去の予測を集約する履歴𝑞を作成・更新 →ステップ間の揺らぎを考慮 • 履歴𝑞 と現在の予測𝑝 を混合 • ハイパーパラメータ１：γ (𝑖) ⇒各位置の履歴である確率分布𝑞𝑡 を獲得
10. 提案手法｜②トークンの確定 • 履歴𝑞 と現在の予測𝑝を用いて確定可能なトークン を決定 →予測の揺らぎが少ない位置の特定 • 二つの条件を設定 ハイパーパラメータ２：A ⇒履歴を用いた安定なトークン確定
11. 提案手法｜③確定トークンの修正 • 時間経過による予測変化を検知し修正 →確定すべきでなかった位置の特定 • 条件に合致した確定トークンを最大K回修正 • 修正位置にはCool-down Cを設定 • Cool-down中のトークンは確定されない • ハイパーパラメータ３，４：K,C ⇒予測変化に対応した修正
12. 提案手法｜フォールバック • 確定基準を満たすトークンが無いステップが存在 • トークン候補の予測確率が最大の位置を確定
13. 実験設定 モデル LLaDA-1.5，Dream タスク TriviaQA，GSM8K，MATH，HumanEval，MBPP． 比較手法 Vanilla: (maskgit / entropy)，ReMDM，RCR，Tolerator 指標 Accuracy ，平均デコーディングステップ数 ハイパーパラメー タ A = 0.9，γ = 2.0，K = 1，C = 2 / 8，L = 64 / 256，ブロックサイズ B = L，温度T=0
14. 結果① Dreamでは全タスク，LLaDA-1.5 では3/5タスクでSOTA LLaDA-1.5では平均生成ステップ数を削減
15. 結果② • 各パラメータと性能の向上に一定の相関 • 閾値Aが0.6でもベースモデルを上回る 補足
16. 結果③ • 過信に基づく誤った確定を抑制 ⇒履歴を用いたトークン確定が有効 ※比較対象はキャリブレーションを除いたモデル
17. まとめ • 課題：離散拡散言語モデルは予測の時間的な揺らぎを十分 に考慮できていない • 手法：過去の履歴を集約し，現在のトークン確定/修正を 判別 • 結果：QA，数学，コーディングタスクでSOTAを達成 • 結論：過去の予測の活用が離散拡散言語モデルに有効
18. 所感 • デコーディングの制御のみで過去の予測の活用を実現でき ている点が魅力的 • 履歴と現在の予測の混合比や確定・再マスクの条件は経験 的に定められており，判断規則には改善の余地
19. 補足｜生成ステップ数の変化
20. 補足｜生成長の変更による性能変化
21. 補足｜ステップごとのトークン確定/修正位置
22. 補足｜フォールバック発生箇所とその回数
23. 補足｜アブレーション • キャリブレーションと修正の寄与が大きい