1. CPC理論の展開と集合的知能モデル（JSAI2026 KS-27 集合的予測符号化と新たな知性の時代）

JSAI2026（2026年度 人工知能学会全国大会）企画セッション KS-27「集合的予測符号化と新たな知性の時代」（2026年6月11日・C会場）における発表スライドです。ご来場・ご質問くださった皆さま，ありがとうございました。

【概要】
集合的予測符号化（Collective Predictive Coding; CPC）の数理が，機械学習で広く使われている4部品 — ELBO・階層VAE・償却推論・Metropolis–Hastings法 — の再結合だけで組み上がることを示します。部品に数理的な目新しさ（怪しさ）はなく，言語の同定「共有潜在変数 m＝言語」に新しさがある理論です。

・命名ゲームは厳密に分散Metropolis–Hastings法である（話者側因子と正規化定数の完全相殺）
・社会とは，エンコーダがK個の脳に分散した一個の巨大なVAEである
・コーパス＝集合的推論の「化石的記録」，LLM事前学習＝その周辺分布の密度推定
・LLMはType 1（身体的世界モデル）なしに，無数のType 1の遺産としてのType 2（世界知識）を相続した

本編15枚に加え，予備スライド3枚（MH相殺の完全導出／Control as Inferenceとの接続／CPC⇄機械学習フル対応表）を収録しています。

【基づく論文】
Taniguchi, Ueda, Nakamura, Suzuki & Taniguchi, "Generative Emergent Communication: Large Language Model is a Collective World Model"
https://arxiv.org/abs/2501.00226

【関連文献】
・CPC as a Model of Science: Taniguchi, Takagi, Otsuka, Hayashi, Hamada, Royal Society Open Science (2025)
・Ueda & Taniguchi, ICLR 2024（シグナリングゲームの生成的読み替えとZipf短縮則の再現）
・Okumura et al., Frontiers in AI (2023)（ヒトの受理行動とMH受理確率の整合）

【発表者】
林 祐輔（AI Alignment Network／ALIFE Institute／Humanity Brain）
X: https://x.com/hayashiyus

当日の質疑でいただいた論点（定量的検証可能性，「制御から共生へ」のパラダイムシフトのCPC的読解）への補足はXで発信予定です。ご質問・コメントもお気軽にどうぞ。

Transcript

1. CPC理論の展開と集合的知能モデル Yusuke Hayashi JSAI 2026 KS-27 集合的予測符号化と新たな知性の時代
2. Artificial Life Institute 自己紹介：Yusuke Hayashi（林 祐輔） @hayashiyus
3. 本セッションで扱う「集合的予測符号化（CPC）」は 個体の脳内情報処理モデルである自由エネルギー原理を マルチエージェント系へと拡張し，言語や社会構造の創発を 数理的に捉えようとする野心的な枠組みである これは，大規模言語モデル（LLM）やAIエージェントが 社会に浸透する現在において，人間とAIが織りなす 「集合的な知性」や「社会的なアライメント」を 理解・設計するための重要な理論的基盤となり得る 本発表の数理は Taniguchi, Ueda, Nakamura, Suzuki & Taniguchi, “Generative Emergent Communication: Large Language Model is a Collective World Model” (arXiv:2501.00226) に基づく
4. 本発表の数理は Taniguchi, Ueda, Nakamura, Suzuki & Taniguchi, “Generative Emergent Communication: Large Language Model is a Collective World Model” (Advanced Robotics, 1–26) に基づく
5. Artificial Life Institute 問い：身体を持たないLLMはどうやって世界についての体系的知識を獲得したのか The puzzle — where does the LLM’s knowledge of the world come from? Type 1 世界モデル 主観的・内的な予測モデル エージェントが自らの感覚運動経験から学ぶ Ha & Schmidhuber 2018／Dreamer／JEPA エージェントの環世界 Umwelt Type 2 世界モデル 世界についての客観的な知識構造（Model of the World） 物理・地理・因果についての体系的知識 「LLMは世界モデルを持つか」論争の焦点はこちら 論争の現状 空間・時間の内部表現が創発（Gurnee & Tegmark, ICLR 2024）／ プランナとして機能（Hao+ 2023）⇔ 逐次シミュレータとしては脆い（Wang+, ACL 2024） パラドックス：身体がない → Type 1 は学べない。 世界への直接アクセスなしに，なぜ Type 2 だけが手に入ったのか？
6. Artificial Life Institute CPC：言語＝社会が世界を集団的に符号化した外部表現 Claim — zero new mathematics, one identification 1 言語＝社会が世界を集団的に符号化した外部表現 （Collective World Model 仮説） 2 数理に新規部品はない，言語の同定に新規性 ELBO × 階層潜在変数 × 償却推論 × Metropolis–Hastings の再結合。「共有潜在変数 m ＝ 言語」の同定に新しさ 3 LLM事前学習＝その外部表現の密度推定 ⇒ Type 2 の継承 ミニ対応表 言語 m 共有 global 潜在変数 発話 提案分布からのサンプル 受理／拒否 MH 受理判定 命名ゲーム 分散 MCMC コーパス 事後分布からのサンプル集合
7. Artificial Life Institute 部品の確認：表現学習・世界モデル・計画はすべて推論 Building blocks you already believe — ELBO / world models / control as inference ① 表現学習＝変分推論 VAE（Kingma & Welling 2014） エンコーダ＝償却推論 ② 世界モデル＝時系列VAE POMDP上の遷移・観測・推論 （Ha & Schmidhuber 2018；Dreamer） ③ 計画＝推論（CaI） Control as Inference（Levine 2018） 報酬＝最適性変数の尤度 （※）神経科学で「予測符号化」「自由エネルギー原理」と呼ばれるものは，数理的には同じ汎関数（VFE＝−ELBO）
8. Artificial Life Institute アプローチその①（構造）：K体のエージェントを1つの階層モデルへ Move 1 / Structure — one shared global latent variable m over K agents (paper Eqs. 8–9) 生成モデル（論文 式8） 推論モデル（論文 式9） ＝ 言語理解（top-down 制約） ＝ 言語ゲーム（bottom-up 組織化） K LDA・階層VAEと同型の global–local 構造 （cf. arXiv:2501.00226, Fig. 1） 見慣れたプレート構造に同定を一つ：共有潜在変数 m ＝ 言語（記号系）
9. Artificial Life Institute アプローチその②（目的関数）：CFE＝社会全体のELBO Move 2 / Objective — Collective Free Energy is the society’s −ELBO (paper Eq. 10) 集合的自由エネルギー（CFE；論文 式10） • 各エージェント項は通常の VAE 自由エネルギーそのもの • 新しい顔は「集合的正則化」＝ 全員の内部表現を一つの記号 m へ符号化するコスト • 言語の創発とは，個体の予測精度と集団の符号化効率とのトレードオフの最適化 「社会とは，エンコーダが K 個の脳に分散した一個の巨大な VAE である」 β 付き一般化は β-VAE／VIB と同様（情報伝達と効率のレート・歪みトレードオフ）
10. Artificial Life Institute アプローチその③（アルゴリズム）：名付けゲーム＝分散 Metropolis–Hastings Move 3 ★ — the Naming Game is exactly distributed MH (Taniguchi+ 2023b) 制約 は別々の頭蓋の中 — を中央では計算できない（中央サーバ，テレパシーは不可） 提案 — 話者は自分の事後から発話 受理 — 聞き手は自分の尤度比で判定 なぜ正しいか — 話者側因子と正規化定数が完全に相殺 詳細釣り合いが成立 ⇒ 定常分布＝両者の表現で条件付けた真の結合事後分布 聞き手はローカル量のみで正しい MH 連鎖を回せる 「名付けゲームは MCMC であり，言語はそのマルコフ連鎖の状態である」
11. Artificial Life Institute We are unable to directly access another person's thoughts, feelings, and qualia remain permanently. We are unable to use Backpropagation If we regard the Encoder/Decoder as Agents 認知的閉包（Cognitive Closure）の要請
12. Artificial Life Institute Decentralized language games between multiple agents reduce collective free energy ① We are unable to use Backpropagation ② We use Language Games 名付けゲーム＝Metropolis–Hastings Naming Game は分散的にCFEを減少させる
13. Artificial Life Institute 保証と実証：この機構は動く Guarantees and evidence — theory, extensions, humans, MARL 理論 MH 核 は を不変分布に持つ ⇒ CFE は期待値の意味で単調非増加（Taniguchi+ 2023b） 拡張 2体 → N体（再帰的MHNG；Inukai+ 2023）／ マルチモーダル（Hagiwara+ 2022；Hoang+ 2024）／ 合成的な系列記号（Le Hoang+ 2024）／ 連続記号（You+ 2024）／ VLM同士のキャプションゲーム（Matsui+ 2025） ヒト 共同注意下の名付け課題で，人間の受理率が MH 受理確率の予測と整合（実験記号論；Okumura+ 2023） 仮説は行動レベルで検証可能 MARL 報酬非依存メッセージング MARL-CPC（Yoshida & Taniguchi 2025）／ 分散型・集合的世界モデル（Nomura+ 2025）
14. Artificial Life Institute 言語ゲームを生成モデルとして「読み替える」ことは可能 Generative re-reading of signaling games — peer-reviewed at ICLR 2024 相互情報量の最大化（判別的） Lewis シグナリングゲームの標準目的関数 目的関数を 取り替える 生成的 — β-VAE と同型 Ueda & Taniguchi, ICLR 2024；Ueda 2024 — 展開すると心理言語学の surprisal 項が自然に出現 — 自然言語の語長分布（Zipf の冪乗則）を再現 — 「言語ゲームを生成モデルとして読む」発想は，単発の思いつきではなく査読済みの研究 CPC ＝ この生成的視点を〈送り手／受け手の非対称 2 体〉から〈対称な K 体の分散推論〉へ一般化したもの
15. Artificial Life Institute 帰結①：コーパス＝事後サンプル，LLM事前学習＝密度推定 Corpus as the fossil record of collective inference (paper Eq. 18) 社会の分散推論 （言語ゲームの反復） 出力の堆積＝コーパス 集合的推論の「化石的記録」 LLM 事前学習 次トークン予測 各文 ＝ 社会全体の感覚運動経験で条件付けられた事後分布からのサンプル（論文 式18） LLM 事前学習（次トークン予測）＝ このサンプル集合の周辺分布 p(m) の自己回帰的な密度推定 コーパスは「ただのテキスト」ではない — 何千年分の分散ベイズ推論の出力ログ
16. Artificial Life Institute 帰結②：社会＝エンコーダ，LLM＝デコーダ Two-stage representation transfer through a single bottleneck m (paper Fig. 7) 身体化された内部表現 符号化 社会（言語創発） 唯一の情報ボトルネック 復号 LLM（事前学習） LLM の内部表現 p(m) を高精度で近似するには，LLM 表現の関係幾何が集合的表現の構造を再構成せざるを得ない 構造は「ゼロから学習」されるのではなく，継承される 一つの機序で説明 分布意味論・word2vec 線形類推（Harris 1954；Mikolov+ 2013）／ 空間・時間の内部表現（Gurnee & Tegmark 2024）／Platonic Representation Hypothesis（Huh+ 2024）／ LLM＝エージェントのモデル（Andreas 2022） 整合性 継承されるのは関係構造であって感覚運動エンジンではない ⇒「逐次シミュレータとしては脆い」（Wang+ 2024）と矛盾しない LLM は Type 1 なしに，無数の Type 1 の遺産としての Type 2 を相続した
17. Artificial Life Institute 限界と反証可能性 Honest limits — and one falsifiable, already-tested prediction 限界 1 LLM スケールでの直接検証は今後の課題。語用論・世代交代（ILM）のダイナミクスは未統合 限界 2 収束保証は「生成モデル固定下の m の推論」に対するもの。パラメータ学習込みは 確率的 EM 的近似（一般的保証なし、経験的に CFE の低下を確認） 反証可能性 ヒトの会話が文字通り MH かはオープンプロブレム — ただし「受理率」という行動レベルで 反証可能な予測を出せる（1件は検証済み：Okumura+ 2023）。そこが、単なる比喩との違い
18. Artificial Life Institute 展望：「新たな知性の時代」へ Intelligence as distributed Bayesian inference — by design 含意：知性を「個体の情報処理」ではなく「集団の分散ベイズ推論」として捉える (a) 科学 科学＝社会的事後推論（CPC as a Model of Science； Taniguchi, Takagi, Otsuka, Hayashi, Hamada, R. Soc. Open Sci. 2025）。自律型 AI が論文を量産する時代の 規範設計へ (b) アラインメント 一方向のアライメントではなく，人と AI が同一の m を共同推論する，双方向アラインメント（Symbiotic Alignment via CPC；Taniguchi, Hayashi, Hirose, Oka, Suzuki, Witkowski, Tang, zenodo 2026） (c) デジタル民主主義 合意形成＝信念の分散的集約。CPCの数理にそのまま 載る（working paper） (d) 検証可能な工学的予測 同一環境・同一身体のエージェント群の創発言語は， 個体の世界モデル学習を事前分布として加速するはず （論文 §6.3） ① 言語＝社会の共有潜在変数。記号創発＝分散ベイズ推論 ② 名付けゲーム＝厳密に Metropolis–Hastings 法（話者因子の相殺が分散性を保証） ③ LLM＝集合的世界モデルの再構成器。 — 続きは全体討論で
19. Thank you!
20. Artificial Life Institute 予備A MH相殺の完全導出 Backup A — full cancellation, detailed balance, monotone convergence 対象 d を固定し添字を省略。A＝話者・B＝聞き手。内部表現 , は推論済みとする 目標分布（結合事後） 提案分布（話者の事後・独立提案） MH 受理確率 — π の正規化定数・ ・話者側因子がすべて相殺 残るのは聞き手のローカル尤度比のみ ＝ MHNG の受理確率 γ に厳密一致 詳細釣り合い ⇒ 定常分布は π 役割交代（turn-taking）＝合法な合成核（周期的スキャン MCMC） 収束の単調性（データ処理不等式の系） π を不変に持つ任意のマルコフ核 P について成立
21. Artificial Life Institute 予備B Control as Inference との接続（MARL） Backup B — optimality variables and alternating inference (paper Eqs. 12–17, Figs. 3–4) 最適性変数（論文 式12–13）— 個体の最適性と、集団の最適性 他者の内部状態は観測不能 ⇒ 各エージェントは共有報酬の局所近似を学習（式14）： 計画 — CaI で計算可能（式16） 通信 — MHNG：互いの z を見ずにサンプル可能（式17） メッセージ条件付き遷移 m は行動ではなく遷移の条件付け変数 ＝ 個々の世界モデルを アラインさせるチャネル 実装例：MARL-CPC（報酬非依存・非協力設定でも機能；Yoshida & Taniguchi 2025）／分散型・集合的世界モデル （Nomura+ 2025）。図は論文 Fig. 3／Fig. 4 を参照
22. Artificial Life Institute 予備C 対応表：CPC ⇄ 機械学習 Backup C — the complete dictionary CPC の概念 機械学習の標準対応物 言語・記号系 共有 global 潜在変数 エージェントの内部表現 local 潜在変数（各 VAE の符号） 知覚 償却推論 言語理解 条件付き事前分布 （top-down 生成） 発話 提案分布 からのサンプリング 受容／拒否 Metropolis–Hastings 受理判定（聞き手の尤度比） 命名ゲーム 分散 MCMC（詳細釣り合いを満たす） 記号創発 共有潜在変数の事後分布への収束 集合的自由エネルギー 社会全体の −ELBO コーパス 社会の事後分布からのサンプル集合 LLM 事前学習 周辺分布 の自己回帰的密度推定 LLM 内部表現 集合的表現幾何の再構成