ACL読み会2026@名大：Unlocking the Potential of Diffusion Language Models through Template Infilling

Transcript

1. ACL読み会2026@名大 読み手：豊田工業大学 知識データ工学研究室 B4 大畑綾音
2. 概要 • 概要 • 拡散言語モデルの特徴を活かす推論時手法として， 系列全体に配置されたテンプレートを埋める手法（Template Infilling） を提案 • 特徴 • 学習不要で，既存モデルにそのまま適用可能 • 拡散言語モデルの任意順生成・双方向の文脈把握を活用 2026/09/25 2
3. 背景 | 拡散言語モデル • 自己回帰モデル：左から右へ逐次的に生成 I I I I am am am a a student • 拡散言語モデル：固定長のノイズ系列からノイズを反復除去し， 全体を段階的に生成 • 任意位置・同時生成 • 双方向の文脈把握 2026/09/25 I I am am am a student student 3
4. 課題 • 拡散言語モデルは任意順生成が可能 → 膨大な自由度・複雑さ • 系列長 𝐿 のとき，𝐿! 通りの生成経路 → サンプリングが不安定 • 反復・出力の崩壊 • 論理の脱線 2026/09/25 4
5. 既存研究 • 自由度の抑制 • Block Diffusion [1]：系列をブロックに分割し半自己回帰的に生成 ブロック長 𝐵 (< 𝐿)として 𝐵! の経路 → 安定 並列性も抑制 • Prefix Promptingによる誘導 • Chain of Thought [2]：計画的な推論を誘導するプロンプトを文頭に配置 拡散言語モデルとの相性の悪さ [1] Arriola et al. 2025 “Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models”, ICLR 2025. [2] Wei et al. 2022 “Chain-of-thought prompting elicits reasoning in large language models”, NeurIPS 2022. 2026/09/25 5
6. 目的 • 本論文の主張： 拡散言語モデルの自由度は抑制すべきではなく，活用すべき • 目的：拡散言語モデルの特徴を活かした条件付け • 自由度を抑制せず安定化 • 双方向の参照を利用した論理展開の誘導 2026/09/25 6
7. 提案手法 | Template Infilling (TI) • 双方向参照を活用したテンプレートによる条件付け • 生成系列に予め構造的アンカー（固定テキスト）を配置 • アンカー間のマスク区間を埋めるように生成 2026/09/25 7
8. 提案手法 | テンプレートの具体例 • 数学的推論（GSM8K）における例 2026/09/25 8
9. 提案手法 | Dynamic Segment Allocation (DSA) • 固定長区間では区間長の不足・余剰 → 動的な区間拡張 • マスク区間内の最低確信度を監視 • 最低確信度が閾値未満なら拡張 2026/09/25 9
10. 実験設定 • モデル • LLaDA-8B，Dream-7B • それぞれ Base / Instruct の2バージョン • ベンチマーク • GSM8K, MATH500（数学的推論）：正解率 • HumanEval（コード生成）：pass@1 • Trip Planning（複数制約下での計画）：CSR（制約充足率） • 比較対象 • Vanilla（無条件） • Prefix Prompting 2026/09/25 10
11. 実験設定 • 生成条件 • 生成長：128（prefix promptingのプロンプト，TIのアンカーを含む） • テンプレート：タスクごとに単一・静的 • DSA: • 各ステップで8トークンを追加 • 最大10回の拡張 ※ DSAありのTIでは最大 80トークン増 2026/09/25 11
12. 実験結果 • TIにより，多くのベンチマークで性能向上 • 改善幅はモデル依存：Dream-Baseで大幅に改善 • 知見：prefix promptingでは vanillaとほぼ同等か低下 2026/09/25 12
13. 分析 | アブレーション • 各要素の貢献度（Dream-7B Base, GSM8K） • Minimal：構造のみのアンカー・固定長 • Detailed：意味的な指示を追加・固定長 → 構造を示すだけ（Minimal）や固定長でも効果あり 2026/09/25 13
14. 分析 | 生成長・サンプリング加速に対する堅牢性 • 生成長・ステップ数を変えても，TIでは劣化が小さい • DSAでの拡張分があるので公平性は不明 2026/09/25 14
15. 分析 | Dream-Baseにおける生成順の構造化 • TIにより，アンカー付近を優先する構造的な生成順に • Vanilla：全体を無秩序な順で生成 • Dream-Instructでは自己回帰的生成順 • 指示チューニングがprefix前提のためか 2026/09/25 15
16. まとめ • 背景 • 拡散言語モデルは任意順生成のため自由度が高い • 既存手法では自由度を抑制 自由度は活かすべき • 手法 • TI：構造的アンカーにより双方向に条件付けて生成 • DSA：信頼度に基づき，アンカーで区切られた区間を動的に拡張 • 結果 • 無条件生成・prefix promptingに対し，多くのベンチマークで改善 • 構造を示すと性能向上 2026/09/25 16
17. 所感 • 自己回帰的なアプローチではなく，拡散言語モデルの特徴に 適合している点が興味深い • テンプレートの汎用性に疑問 • 静的テンプレート（アンカーの個数・内容） • 長文生成等，他のタスクへの対応 2026/09/25 17
18. 補足 | アンカー位置に対する堅牢性 • アンカー位置の感度分析（Dream-7B Base, GSM8K） • Early/Late：中間アンカー位置を移動 • Compressed：最終アンカー位置を前方へ移動 → アンカー位置をずらしても性能を維持＝位置への過剰適合ではない 2026/09/25 18
19. 補足 | DSAのアルゴリズム 区間 𝑀𝑖 について 最小確信度 𝑝𝑖 < 閾値𝜏 かつ 拡張回数 𝑘𝑖 < 上限 𝐾max 区間 𝑀𝑖 に 𝛿 トークン増やす 2026/09/25 19