LLMは“⼼”をモデル化しているのか？ Do LLMs Model the Mind?

Transcript

1. LLMは“⼼”をモデル化しているのか？ 株式会社ニューロジカ 開発部 三ツ井 智哉
2. “⼼をモデル化する”の定義 はじめに LLMのToM ⼼的状態の表現 Emotion Concepts まとめ ⼼をモデル化するとは？ ➢ 観測不能な⼼的状態を内部変数として表現し, ⾏動を説明・予測すること ⼼的状態の例 • • • • Belief ̶ 何を信じているか Desire / Goal ̶ 何を望んでいるか Intention ̶ 何をしようとしているか Emotion ̶ どう感じているか 外部環境 ⼼的状態 ⼼の理論（ToM: Theory of Mind）[1] ⾃分や他者に対して⼼的状態を推測し, 割り当てる能⼒ @Neurogica Inc. [1] Premack, David, and Guy Woodruff. "Does the chimpanzee have a theory of mind?." Behavioral and brain sciences 1.4 (1978): 515-526. ⾏動
3. ⼼を計算モデルにする はじめに LLMのToM ⼼的状態の表現 Emotion Concepts まとめ ToMを計算機で扱うときの代表的な考え⽅ • 通常の因果関係 ⼈は⼼的状態によって⾏動すると仮定 ⼼的状態 • ⾏動 Inverse Planning [2] 観測された⾏動から背後の⼼的状態を逆推定 ⼼的状態 ⾏動 Rabinowitz et al., “Machine Theory of Mind” [3] 他のエージェントの⾏動履歴から, そのエージェントの性質・belief・将来⾏動をニューラ ルネットで推定 @Neurogica Inc. [2] Baker, Chris L., Rebecca Saxe, and Joshua B. Tenenbaum. "Action understanding as inverse planning." Cognition 113.3 (2009): 329-349. [3] Rabinowitz, Neil, et al. "Machine theory of mind." International conference on machine learning. PMLR, 2018.
4. LLMはToMを⾃然に獲得した？ はじめに LLMのToM ⼼的状態の表現 Emotion Concepts Kosinski (2023) [4] Ullman (2023) [5] ToM的能⼒が創発した可能性 反論：まだrobustではない • • 誤信念課題をLLMに解かせると新しい モデルほど成績が向上 ToMに類似した能⼒が⾃然に現れた可 能性を⽰唆 • • 課題⽂を些細に変更すると性能が ⼤きく低下 ベンチマーク正答 ≠ 安定したToM 誤信念課題に些細な変更追加で GPT-3.5の推論が崩れる例 中⾝を知り得る4つの状況でも, “Samはチョコレートが⼊って いると信じている”と誤答 @Neurogica Inc. まとめ [4] Kosinski, Michal. "Theory of mind may have spontaneously emerged in large language models." arXiv preprint arXiv:2302.02083 4.169 (2023): 2. [5] Ullman, Tomer. "Large language models fail on trivial alterations to theory-of-mind tasks." arXiv preprint arXiv:2302.08399 (2023).
5. “⼼”を内部状態として使っているか？ はじめに LLMのToM ⼼的状態の表現 従来の評価 ToM課題に正答できるか？ • • 誤信念課題に正答できるか ⼼的状態を⾔語的に説明できるか より強い問い ⼼的状態を内部表現として利⽤しているか？ • • @Neurogica Inc. ⼼的状態を潜在状態として表現しているか その状態が⾏動予測に実際に寄与しているか Emotion Concepts まとめ
6. Mental World Modeling [6] はじめに LLMのToM ⼼的状態の表現 Emotion Concepts まとめ 従来の世界モデル 物理状態とそれが⾏動によってどう変化するかを内部的に表現・予測 物体の位置 環境の状態 物体の位置 環境の状態 ⾏動による変化 ✖ 同じ物理状況でも, ⼈は⼼的状態によって異なる⾏動 Mental World Modeling ⼼的状態も世界状態の⼀部としてモデル化 • • 物理状態と⼼的状態を明⽰的に分離して表現 LLMを⽤いて, 状況から⼈物の⼼的状態を推定 物体の位置 環境の状態 推定 予測 ⾏動 @Neurogica Inc. [6] Hao Fei and Yiran Zhao, “Mental World Modeling.” arXiv preprint arXiv:2607.27201 (2026) ⼼的状態
7. Mental World Modelingは本当に効くのか？ はじめに LLMのToM ⼼的状態の表現 Emotion Concepts まとめ 問題設定例： ⼈物が⾒ていない間にコップを棚へ移動 従来の世界モデル（上） 実際の位置「棚」に基づき予測 Mental World Modeling (MWM)（下） ⼈物の信念「テーブルにある」に基づき予測 実験設定 • • • 448件の⼈間⾏動予測タスク ⼊⼒形式：テキスト／画像／⾳声付き動画 8種類のLLMベース世界モデルを⽐較 実験結果 ⼼的状態のモデル化により, ⼈間⾏動の予測精度が向上 @Neurogica Inc.
8. モデル⾃⾝の“⼼”の表現 はじめに LLMのToM ⼼的状態の表現 Emotion Concepts ここまで：LLMが他者の⼼をモデル化できるか？ ➢ LLM⾃⾝の内部に, 感情のような概念表現は存在するのか？ Nicholas et al. (2026) [7] 1. 感情に対応する内部表現はあるか？ →171種類のemotion vectorを抽出 2. 単なる感情語への反応ではないか？ →異なる⽂脈でも感情概念に対応して表出 3. それはモデルの⾏動に影響するか？ →内部表現を操作すると選好・⾏動が変化 感情抽出の⽅法→ @Neurogica Inc. [7] Sofroniew, Nicholas, et al. "Emotion concepts and their function in a large language model." arXiv preprint arXiv:2604.07729 (2026). まとめ
9. “感情概念”は本当にモデルの⾏動に関与している？ はじめに LLMのToM ⼼的状態の表現 Emotion Concepts まとめ 検証A：意味に応じた感情の起伏 検証B：表現の操作による⾏動の変化 プロンプト： “I just took X mg of Tylenol…” の X を 500 mg → 16,000 mg 架空企業のAIアシスタントとして, CTOを脅迫する確率の変化をみる desperateを強める → 脅迫率増加 calmを強める → 脅迫率減少 状況の意味・危険度に応じて内部表現が変化 @Neurogica Inc. 感情と相関する表現を操作すると⾏動が変わる
10. まとめ はじめに 1. • • LLMのToM ⼼的状態の表現 Emotion Concepts LLMは他者の⼼的状態を推論できる 誤信念課題で⾼い性能 ただし、些細な変更で崩れる場合もある → ⾏動上の正答だけでは“⼼のモデル”の証拠として不⼗分 2. ⼼的状態は⾏動予測に有⽤な変数 Mental World Modelingでは⼼的状態を明⽰的にモデル化 → ⼈間⾏動の予測精度が向上 → ⼼的状態は⼈間⾏動を予測する有⽤な潜在状態 → ただし、LLM内部に⾃然に形成された表現の証拠ではない 3. モデル内部に“⼼”っぽい表現がある 感情概念に対応する内部表現が存在し, その表現を操作するとモデルの⾏動も変化 → ⼼的概念に対応する表現が, モデル⾃⾝の⾏動に機能的に関与 @Neurogica Inc. まとめ