最先端NLP 2026 論文紹介: Wait, Wait, Wait... Why Do Reasoning Models Loop? / SNLP Paper Review: Wait, Wait, Wait... Why Do Reasoning Models Loop?

第18回最先端NLP勉強会での発表資料です

Transcript

1. SNLP 2026 論文紹介：Wait, Wait, Wait... Why Do Reasoning Models Loop? 著者：Charilaos Pipis, Shivam Garg, Vasilis Kontonis, Vaishnavi Shrivastava, Akshay Krishnamurthy, Dimitris Papailiopoulos 読む人：徳永拓之（株式会社 PredNext） 注：特段の出典表記がない図は、紹介論文から引用しています。
2. LLM におけるループとは？ • LLM が同じ文字列を繰り返し生成し続けること • 実用上の大きな問題の一つである 2/20
3. この論文は何を主張するのか 著者らの主張 1. 学習のエラーがループの主な原因である 2. 実験により学習エラーがループを引き起こす 2 つのメカニズムを特定した 観測・実験が直接示すこと • 調査した実モデルでは、低温度・小規模モデル・難問でループが増える傾向がある • 人工的な実験で、実モデルと似たようなループを引き起こすことができる 論文が示していないこと 実モデルのループの主要因が、人工的な実験で示した 2 つのメカニズムであること 3/20
4. 実験 1: 実モデルにおける ループの観察
5. 実験の設定 以下のモデルを AIME 2024/2025 で評価した。 • DeepSeek-R1-Distill-Qwen 1.5B / 7B / 32B • OpenThinker3 1.5B / 7B • QwQ-32B • Phi-4-reasoning • DeepSeek-R1-Distill-Llama-8B ループは「同一の 30-gram が 20 回以上出現した場合」と定義した。 5/20
6. 低温度ほどループしやすい • 調査した推論モデルはすべて、低温度では一定割合でループした • 温度を上げるとループ率は減少した Figure 1（OpenThinker3 family） 6/20
7. 小規模モデルほどループしやすい 同一 family 内では小さいモデルほどループ率が高い傾向が見られた。 Figure 6（AIME 2024/2025、temperature 0） 7/20
8. 難問ほどループしやすい Phi-4 を除くモデルでは、難問ほど、温度 0 でのループ率が高い。 Figure 11（AIME の難問 5 問と易問 5 問を比較） Phi-4 はわからない問題に無理に回答しないように RL されている？ （スライド作成者の私見） 8/20
9. エラー実例 1：簡単な事実を言い直し続ける 例：OpenThinker3-1.5B はある AIME の問題を解く途中で、“Therefore, the word is the two letters in order, so the word is the same as the pair sorted.” を繰り返すルー プに入る。 ループ直前までの文字列を prefill とし、そこから decode を行うと、 1. OpenThinker3-1.5B はループした 2. QwQ-32B はループせず、構造的な洞察へ進んだ 著者らは OpenThinker3-1.5B は「難しい前進」より「簡単な言い直し」を選んだと解釈する。 ただし、裏付けはない。（スライド作成者の私見） 9/20
10. エラー実例 2：同じ計算ミスを繰り返す 例：OpenThinker3-1.5B は問題を回答する途中で、11 の倍数判定で誤った式を立て、そ の後の計算中で矛盾に気づく。その後、最初から考え直すものの、同じ誤りを再現してルー プしてしまう。 第 1 の実例と異なり、モデルは前進を避けているわけではない。前進するたびに同じよう に間違えてしまうせいでループしている。 10/20
11. ループする理由についての著者らの仮説 • 著者らは、訓練分布と学習された分布のずれを errors in learning と呼び、これをルー プの主要因とする仮説を立てた • そして、メカニズムを分離して調べるための人工的な実験を行った（次ページ以降） • ただし、訓練分布の明確な定義は論文中では与えられていない • そのため、errors in learning の明確な定義もない 11/20
12. 人工的実験によるループメカニズムの再現 以降では Star graph の経路探索という人工的な実験についてである Star graph 𝐺(𝑛, ℓ) は次の構造を持つ。 goal • start、goal ノード 正しいspoke • root ノード • root から分岐する複数の spoke があり、その先 のどれかに goal がある • 𝑛：root から分岐する spoke の本数 • ℓ：各 spoke 上のノード数 root reset start 𝐺(5, 5) の模式図（緑：goal へ続く spoke、赤破線：reset） 12/20
13. 実験の詳細な設定 • 問題文で graph の構造が与えられる • 辺の長さを 1 としてダイクストラ法で解ける • 学習時：graph 構造と、start から goal までの経路をたどるテキストを与えられる • 推論時：graph 構造だけ与えられ、Transformer が経路を予測する 学習データは以下のルールで作成されている • 確率 0.7 で goal 方向へ 1 ステップ進む • 確率 0.3 で start 方向へ reset する 13/20
14. 実験結果：難しい G(5,5)では低温度でループする 青：G(5, 5), 黄：G(5, 3) 違うのは spoke の長さ（難易度）だけ 著者らの解釈 60 50 ≈56 正しい spoke を選ぶことが難しいほど、モデル 40 は reset を選ぶ。 30 20 ≈5 10 0 G(5,5) 難しい →「難しい選択肢より、戻ることを選ぶ」ように見 える。 G(5,3) 簡単 平均ループ回数＝生成中の root → start 遷移回数 Pipis et al., Figure 3 を基に再描画（数値はグラフからの概算） 14/20
15. G(5, 5)でループする仕組み モデルが正しい spoke を識別できず、5 本の移動先の正解確率を同程度に評価するとす る。 • 各 spoke: 05.7 = 0.14 • reset: 0.3 全 spoke の確率の合計は 0.7 だが、greedy decoding が比較するのは個々の次トークン である。0.3 > 0.14 なので reset が top-1 になり、次の往復が起きる。 🤔 start → root → start → root → … こう書くと当たり前のことを言ってるだけにも見える 15/20
16. ループは一度始まると自己強化される LLM による実例 2 では、前進行動中に同じ間違いを繰り返すループが存在した。 Star graph 実験では、連続した root 訪問間で次の傾向が見られた。 • 最も確率の高い child が同じ: 98.7% • OpenThinker3 では、同じ文章を繰り返すにつれ top-1 確率が 1 に近づく つまり、一度ある経路を選択すると、似たような状況で、同じ経路を選択しやすくなる これは Transformer の仕組みから自明なことなのか？ 一種の In Context Learning と 言って良い？ 16/20
17. Star graph 実験が示したこと Star graph 実験配下のような問題設定であった • 前進行動の確率が複数候補へ分散する • 学習容易な cyclic action が訓練分布に十分な確率で存在する • cyclic action が個々の前進候補より高確率になる • 同じ決定地点へ戻るため、greedy decoding が選択を繰り返す この条件下でループすること自体は、確率の大小関係からほぼ自明である。論文の実験的 貢献は、訓練した Transformer でもこの状況が実現することを示した点にある。 ただし、reset ではなく、どこかのノードに進んでから戻った場合に同じ候補が選ばれるの は、自明なことではない 17/20
18. 論文の主張をどう評価するか
19. まとめ 著者らの主張 実モデルのループには、訓練分布を不完全に学習したことが重要な役割を果たしている。 LLM での実験が示したこと 小さいモデル、低温度、難しい問題、がループを誘発する傾向があることを示した。 人工実験が示したこと 特定の種類の学習誤差がループを生む 2 つのメカニズムが存在する。 示されていないこと 実モデルのループの主要因が、実際にこれらのメカニズムであること。 19/20
20. 感想 1. 実モデルのループ率に関する観察結果は有用である • 小さいモデル、低温度、難しい問題、がループを誘発する傾向がある 2. star graph 実験はもう少し工夫が欲しかった気がする • タスクが小さすぎて実モデルについて何かを示せている感触がしない • 経験的には最近の LLM は「次は同じ間違いをするな」と指摘すると避けようとする (CoT の中身を読むとそういう thinking をしてることがよくある)ように思う • 人工実験から実モデルの主要因へ一般化するには証拠が不足している 20/20