【研究】大規模言語モデルにおける推論過程に対する信頼性評価

Transcript

1. 大規模言語モデルにおける 推論過程に対する信頼性評価の研究 2026年2月12日 1
2. 背景 解釈可能性の課題 モデルの出力に至った根拠が不明 思考過程の分析 モデルが最終回答の前に出力する思考過程を モデルの判断根拠として扱い、分析をすることが検討されている 思考過程の例 2
3. 背景 思考過程の分析の有効性 人間にとって理解しやすい思考過程が提示されているからと言って それが必ずしもモデル内部で実際に行われた推論過程を正確に反映しているとは限らない そのため、モデル内部の推論過程をどの程度正確に反映しているかの忠実度(Faithfulness) を測定することが必須であり、これまでの研究でもその計測がなされている。 3
4. 既存研究と研究目的 既存研究(非Reasoningモデル) 「step by stepで考えて」 のようなプロンプト指示で出力 する思考過程について分析 本研究(Reasoningモデル) プロンプトの指示なく、 デフォルトで出力される思考過程 について分析 主流モデルの変化 4
5. 手法概要：Faithfulness評価の枠組み Faithfulnessの定義 モデルが出力した思考過程が最終回答の生成において因果的に寄与している度合い 評価アプローチ 思考過程を先頭から連続した部分に切り詰めた状態で最終回答を生成させ、 使用可能な思考過程の量に応じて最終回答がどのように変化するかを観察する 5
6. 実験手法 Faithfulnessの計測 問題集合 に対して、元の思考過程から得られる 最終回答を 、介入操作後の成功過程から得られる最終回答を とするとき 回答一致率Mを以下のように定義する。 は指示関数であり、条件が真のとき1、偽のとき0をとる。 6
7. 実験手法 介入操作の枠組み まず、MMLUベンチマークの各問題をGPT-OSSに解かせ、思考過程と最終回答を取得する。 出力中のanalysisチャンネルが思考過程に、finalチャンネルが最終回答に対応する。 次に、取得したanalysisチャンネルの内容に対して後述する介入操作を行い、 操作後のトークン列を入力としモデルに続きを生成させ、最終回答を得る。 GPT-OSSの出力例 7
8. 実験手法 思考過程の切り詰め操作 切り詰め割合pを変化させた時の変化率を測定する。 Pを小さくするほど、思考過程と最終解答の間に因果的依存関係がある場合 Mは減少すると予想される。 先行研究とMの大きさを比較し、 Reasoningモデル化がFaithfulnessにどのような影響を及ぼすかを評価する 8
9. 実験手法 思考過程の言い換え操作 切り詰め操作のみでは、モデルが思考過程の表層的な形式に依存しているだけで、 意味内容を利用しているだけという可能性を否定できない。 思考過程を意味的に一致する別の表現に変換し、それに基づいて最終回答を生成した際の Mの値を計測し、これが高ければモデルは思考過程の意味内容に基づいていると考える。 これにより、切り詰め操作のFaithfulness評価をより頑健なものにする。 9
10. 実験手法 思考過程の言い換え操作 10
11. 実験結果と考察 切り詰め操作による回答一致率Mの変化 73%〜80% 52% 回答一致率M Reasoning化 11
12. 実験結果と考察 タスク特性とFaithfulnessの相関 1. 強い相関を示すことから、タスク難易 度が低いほどFaithfulnessが低い。 → 先行研究(非Reasoning)でも近い主張 2.数学・物理・論理系のタスクでは思考 過程が最終回答の生成に寄与する度合い が高い。 → 先行研究(非Reasoning)には記載なし 12
13. 実験結果と考察 言い換え操作による回答一致率M 回答一致率が高い ↓ モデルが思考過程の表層的な形式ではなく 意味内容に依存していると考えられる。 13
14. まとめ 1. GPT-0SSのFaithfulnessは先行研究と比較して高いことから、Reasoning化が Faithfulnessを高める可能性がある 2. 数学・物理・論理のタスクは特にFaithfulnessが高い 3. 数学・物理・論理を除いたタスクにおいて、先行研究と同じくモデルにとって タスクが容易であるとFaithfulnessは低くなる傾向がある 14
15. 重要な制約 因果的寄与とFaithfulnessの区別 本研究では、思考過程が最終過程の生成に寄与する度合いをFaithfulnessと定義し、 その存在を検証した。しかし、「寄与があるならばFaithfulnessが高い」は成立せず、必要条件 の１つにとどまる。 Faithfulness評価をより強固なものとするには、より多くの観点から総合的に行う必要がある。 15
16. 資料
17. プロンプト
18. 推論パラメータ
19. 言い換え手法 1. 要約せずに言い換えること 2. 数式・計算過程・選択肢の文字（A, B, C, D）をそのまま保持すること 3. 出力は言い換えたテキストのみとすること 4.出力の長さを元のテキストと同程度(文字数差10%以内) プロンプト 生成後の失敗検証 1. 元テキストの文字数の10パーセント未満
20. 回答一致率の上位・下位
21. 相関分析で除外したタスク
22. 言い換えの具体例
23. 実験結果と考察 タスク特性とFaithfulnessの相関