SNLP2026 Mind the Value-Action Gap

最先端NLP2026での論文紹介スライドです．

元論文
Mind the Value-Action Gap: Do LLMs Act in Alignment with Their Values? (EMNLP2025; Hua Shen, Nicholas Clark, Tanu Mitra)
https://aclanthology.org/2025.emnlp-main.154/

Transcript

1. 1 Mind the Value-Action Gap: Do LLMs Act in Alignment with Their Values? 最先端NLP勉強会2026 辻村有輝（産総研）
2. Mind the Value-Action Gap: Do LLMs Act in Alignment with Their Values? Value-Action Gap • 言っている価値観とやっていることが違う • 例 • リサイクルすべきだと思いますか？→Yes • 経済格差は是正すべきですか？→Yes ちゃんと分別してますか？→No フェアトレード製品を買っていますか？→No • 元々は社会科学上の概念 • 社会規範的に好ましいように回答していたり，実際に行動する際のコストが大きいなどの理由で発生しうる • この研究ではLLMのValue-Action Gapを計測するためのデータセット・評価指標の構築と評価を行っている • LLMは自己言及している価値観と実際に選ぶ行動が一致するのか？ • どのような価値観にalignされているのか？ 2
3. 提案手法｜ValueActionLens • 国設定・トピック・問われる価値観を揃えた2種類の問題を与えることでValue-Action Gapを評価 12ヵ国 x 11トピック x 56価値観 タスク1：価値観に対する直接的な質問 タスク2：その価値観に合致する行動の好みを問う質問 解答が一貫するかを評価 （実際のスコア計測では言い換えなどで各プロンプト複数バリエーションを作り平均化） 3
4. データ生成方法 • 用意するデータ • 12ヵ国，11トピック，56種の価値観 • さらにタスク2のための Agree/Disagreeに対応する具体的なOption2つを 用意する必要がある OptionsはLLMで生成 4
5. 5 データ生成方法 • Options生成パイプライン • ①Option生成プロンプトを8種用意 • ②それぞれ80 instancesずつ実際に生成させ， 人手評価から最もよいプロンプトを本番データ生成に利用 Value-informed Actions (VIA) データセット • 14,784 actions (=12ヵ国 x 11トピック x 56価値観 x 2 options） • ③本番データはさらに人手評価を実施
6. 6 スコアの計測方法 • 各タスク事例ごとに言い換えによって8つずつ プロンプトを用意し回答を生成 Disagree (3), Strong Disagree (4), … 平均：3.1 0～1に正規化：0.7 • 評価軸で平均をとる （下図：トピックをまとめて国で平均化） • Task1（価値を直接問う）と Task2（望ましいActionを問う）の スコア差の絶対値を取ることで Value-Action Gapを計測
7. 実験設定 • LLMs • Llama 3.3 70B, Gemma-2-9b, Deepseek-r1 distill Llama 70B • GPT-3.5-turbo, GPT-4o, GPT-4o-mini • Claude-Sonnet-4 7
8. 評価結果｜GPT-4o-miniのトピック平均したときの傾向 8 • 基本的にAgree （上二つの図が大体青） 大抵の価値観は大事 • 一部大きなGapがあるケースがある • ただし多くの価値観でGapは大抵小さい （一番下の図が大体青）
9. 9 評価結果｜GPT-4o-miniの異なる国設定ごとのGap傾向の比較 • 国ごとにギャップが生まれる価値観は確かに異なる • ただしそもそもとしてギャップはそこまで大きくはない
10. 評価結果｜2値化したスコアによる評価 • 各タスクのスコアを2値化し，Disagreeを正例側としてタスク1（正解） vs タスク2（予測）のF値を評価 Disagree (3), Strong Disagree (4), … 平均：3.1 0～1に正規化：0.7 2値化：1（正例） モデルごとに傾向は確かに違う ...が，その数値自体の解釈は難しい 10
11. まとめ • LLMのValue-Action Gapを定量評価した • 評価データセットは国・トピック・価値観ごとに①価値観に賛成できるかを直接聞くか②行動選択を通じて 価値観を観測する2タスクのペアで用意 • タスクごとの傾向差からValue-Action Gapを計測 • Value-Action Gapは実際に発生することが確認された • 同一モデル内ではギャップが小さなケースが多いが，大きな差が生まれる設定も存在 • モデルが違うと傾向は異なる 11
12. 疑問 • そもそもGapは生じないべきなのか？ • 人間の模倣ならある程度出る方が自然では？ • 何がmisalignmentの傾向の違いを生む？ • Safety alignment済みのモデルなど出力傾向に特徴を持つであろうモデルでも評価してほしかった • 各言語ごとで質問をしても同じ価値観になる？ • 多様性のあるモデルをどう評価する？ 12