SNLP2026 - Crossing the Reward Bridge: Expanding Reinforcement Learning with Verifiable Rewards Across Diverse Domains

Transcript

1. Crossing the Reward Bridge: Expanding Reinforcement Learning with Verifiable Rewards Across Diverse Domains Yi Su, Dian Yu, Linfeng Song, Juntao Li, Haitao Mi, Zhaopeng Tu, Min Zhang, Dong Yu ACL 2026 発表者: 鈴木 海渡 株式会社 Preferred Networks 最先端NLP 2026
2. どんな論文？ • 一言で言うと、「LLMベースの報酬モデルを用いた RLVR」 • RLVR = Reinforcement Learning with Verifiable Rewards (検証可能な報酬による強化学習) ◦ 数学・コーディングなどの正解 / 不正解がプログラム的に決定可能な問題について、 正解 / 不正解 を報酬に強化学習を行う • これを自由記述問題一般に拡張するために、以下のことを行った ◦ 参照解がある状況下で、LLMによってLLMの出力を十分に良い精度で (=高い人間との一致度 で) 評価できることを確認 ◦ 大きいLLMから蒸留する形で小さいLLMベースの報酬モデルを学習し、それを用いてRLVRがで きることを確認 ◦ 正解 / 不正解の2値ではなく、トークンの確率分布を用いたソフト報酬が効果的なことを確認 2
3. モチベーションと問題設定 • モチベーション ◦ RLVRは、数学やコードなどの機械的に検証可能な報酬が設計できるものが中心 ▪ • → LLMベースの報酬モデルを使って、自由記述形式に拡張できないか？ 問題設定 ◦ 幅広い分野の自由記述形式のQAを想定 ◦ 人手で作られた参照解は存在する ものとする 3
4. 手法概要 手法を一言で言うと、「LLMベースの報酬モデルを大きい LLMからの蒸留で学習し、それ を用いて RLVR。この際、出力のトークン確率をソフト報酬に活用」 この手法の有効性の確認のために、以下の順序で検証を実施 1. LLMによる正誤判定 2. LLMベースの報酬モデルの学習 3. ソフト報酬の検証 4
5. LLMによる正誤判定 • • まず強力なLLMをそのまま用いて、参照解がある状況下でLLMの回答を採点できるのかを確認 実験設定 ◦ データ: ExamQAデータセット [2] を自由記述形式に変換したもの ▪ 幅広い分野の大学レベルの試験問題 ◦ モデル: Qwen2.5-72B-Instruct [3] • 結果 ◦ Qwen2.5-72B-Instructの正誤判定は、 GPT-4oと非常に高い一致度を示す ▪ Cohen’s κ > 0.87 ◦ 人間による正誤判定とも高い一致度 ▪ κ = 0.857 ◦ Qwen-2.5-72Bの推論をm回行い多数決 するのも試したが、改善幅は小さく、以降 はm=1を採用 (右図) 5
6. LLMベースの報酬モデルの学習 • 大きいLLMがそのままで報酬モデルとして使えることは分かったが、RLVRのために毎回計算する にはコストが大きい ◦ • → 小さいLLMベースの報酬モデルを学習し、それによって RLVRできないか？ Qwen2.5-7B-Instruct [3] を 報酬モデルとして追加の学習を実施 ◦ Qwen2.5-72B-Instructを教師モデルとして、そこから蒸留する ◦ 一旦教師モデルを用いてRLVRを実施し、(入力、学習対象LLMの出力、参照解) を収集。 これに教師モデルによって [正解 | 不正解] のラベルを付与し、これを教師信号として学習 • これによって得られた報酬モデルをRM-7Bと呼び、これを使ってRLVRを実施 6
7. ソフト報酬 • LLMやそれを追加学習した報酬モデルを用いて[正解 | 不正解] を出力できるようにはなった ◦ • → 2値ではなく、連続値でよりリッチな報酬信号を提供できないか？ 正解 = 1、不正解 = 0 として、それらのトークンを出力する確率を正規化したうえで計算し、その値 を報酬として用いる ◦ p(1) = 1.0 / p(0) = 0.0 → 報酬 1.0 ◦ p(1) = 0.7 / p(0) = 0.3 → 報酬 0.7 argmaxは同じでも、モデルが高い確率を1に割り当てる ほうが報酬が高い！ 7
8. RLVRの実施 • • • ここまでで、LLMによる正誤判定 → 報酬モデルへの蒸留 → ソフト報酬までを構成 ◦ → これらの報酬を用いて実際に policyをRLVRし、有効性を検証 実験設定 ◦ Policy: Qwen2.5-7B ◦ データ: ExamQAを自由記述形式のQAに変換したもの ◦ 報酬 ▪ Rule-based binary (ベースライン) ▪ Qwen2.5-72B-Instruct: binary / soft ▪ RM-7B: binary / soft ◦ RLアルゴリズム: REINFORCE [4] / RLOO [5] / GRPO [6] 異なるRLアルゴリズムでも同じ傾向が出るかを確認し、報酬設計そのものの効果を検証 8
9. 結果 [1/3] RLVRを実施した結果は右表のように なった。以下のことが読み取れる。 1. RM-7Bは教師元の 72Bと同等 レベルでうまくいっており、一貫 してルールベースを凌駕 する 2. 一貫してバイナリ報酬よりもソフ ト報酬のほうが良い 3. 1. 2. の知見はRLVRの強化学習 に用いたアルゴリズムに依らな い 9
10. 結果 [2/3] • ExamQAでRLVRしたpolicyを、追加学習なしでOODの数学・一般推論ベンチマークで評価 ◦ • RM-7Bのsoft rewardで学習したpolicyは、rule-based rewardよりOODでも良い性能 72Bの報酬モデルを用いた場合とも同等レベル 10
11. 結果 [3/3] ExamQAで学習したRM-7Bは、異なるデータ分布にも汎化 • NaturalReasoning [7]：LLM生成の回答 • WebInstruct [8]：Webユーザ由来の回答 11
12. データ増加に伴う挙動 • 訓練データセットのサイズを増加 させると、ルールベース報酬は むしろ精度を落としてしまうが、 RM-7Bはきちんとデータサイズ に合わせて精度が向上する ◦ ルールベース実装はExact Matchなので、表現の違い などでノイズになっている ケースが多いと考えられる 12
13. ソフト報酬の分布 • MATH訓練データでのソフト報酬の分布は 右表のようになっている • ほとんどのケースが [0.0-0.1) や[0.9.-1.0] になっており、中間的な報酬を定義できてい るのは全体の9.8%程度だが、学習結果か ら示されるように、Practicalには学習に寄与 できている 気になったこと • 経験的にもトークンの出力確率はこのよう にかなり偏ってしまうので、経験とは符合す る。一方、縮退気味なのでそのまま報酬に しないで何か変換関数を通したほうが良い のでは？と感じた 13
14. まとめ • RLVRの適用範囲を、数学・コードのようなルールベースで正誤判定しやすい問題から、参照解のある 幅広い自由記述QAへ拡張 • 強力なLLMによる正誤判定を7Bの報酬モデル RM-7B に蒸留し、さらに正誤判定トークンの確率を soft rewardとして利用 • • ExamQAでは、RM-7B + soft rewardによるRLVRが以下の性質を示した ◦ rule-based rewardを大きく上回る ◦ 10倍以上大きい72Bモデルにも匹敵・凌駕 ◦ 異なるRLアルゴリズム・データ分布でも一貫して有効 参照解に基づくLLMの意味的な正誤判定でもRLVRをスケールできることを示した ◦ 一方で、参照解が存在することが前提なのは重要な制約 14
15. 感想 [1/2] • LLM as a JudgeによるRL自体は、今となっては大分よくある手法であるように感じられた • LLM開発をやっている身として気になったのは以下 ◦ 参照解の存在: 参照解の存在が前提になっているが、実際の問題においては参照解が用意 できないことがよくある。この場合どのくらい同じ枠組みが難しくなるのかを丁寧に比べたりして くれるとより興味深かった ◦ Reward Hackingの問題: 確実度が低い報酬関数を使うと、報酬関数をハックして、期待する 挙動ではないが報酬は稼げるモデルができることがある。小さいモデルをある分布の範囲内で 学習して使うと、どこかで分布外になってReward Hackingが起こりそう 15
16. 感想 [2/2] • せっかく報酬モデルを学習するなら、単に大きいモデルから蒸留するだけではなく、何らかの手段で 教師元よりよいモデルになる可能性がある枠組みになっているとより面白いと感じた ◦ 例1: reasoningありの教師からreasoningなしへの蒸留 ▪ reasoningがある方が賢いが、最後のトークンの確率単体では意味がなくなり、ソフト報酬 が使いづらくなると考えられるので、そこをつなぐイメージ ◦ 例2: ペアワイズ報酬にして、5つくらいの出力を教師モデルで全対比較してから、勝率1位と5 位で比較して勝者を出すような学習にする ▪ 1位と5位の直接比較の他に、2位とかを通じた間接比較もやったうえで教師が結論を出し ているので、単発の出力より精度が高いかもしれない 16
17. 参考文献 [1] Yi Su et al. 2026. Crossing the Reward Bridge: Expanding Reinforcement Learning with Verifiable Rewards Across Diverse Domains. Proceedings of ACL 2026 (Volume 1: Long Papers), pp. 3872–3892. [2] Dian Yu et al. 2021. Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question-Answering Data. Findings of EMNLP 2021, pp. 56–68. [3] Qwen Team. 2024. Qwen2.5: A Party of Foundation Models. Qwen Blog. [4] Ronald J. Williams. 1992. Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning. Machine Learning, 8:229–256. [5] Arash Ahmadian et al. 2024. Back to Basics: Revisiting REINFORCE-Style Optimization for Learning from Human Feedback in LLMs. ACL 2024, pp. 12248–12267. [6] Zhihong Shao et al. 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300. [7] Weizhe Yuan et al. 2025. NaturalReasoning: Reasoning in the Wild with 2.8M Challenging Questions. NeurIPS 2025, Datasets and Benchmarks Track. [8] Xiang Yue et al. 2024. MAmmoTH2: Scaling Instructions from the Web. NeurIPS 2024. 17