Collective Predictive Coding as Model of Science 高木志郎@第2回AIロボット駆動科学研究会 2024/10/28

Tadahiro Taniguchi @tanichu Jun Otsuka @junotk_jp Yusuke Hayashi @hayashiyus Hiro Taiyo Hamada @HiroTHamadaJP Shiro Takagi @takagi_shiro 2

Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 科学を集合的予測符号化を行う記号創発システムとして解釈する 3

Environment Environment Symbol Emergence 言語などの記号系は実世界から切り離されたものではなく、マルチ エージェント間の動的なコミュニケーションによって自己組織化さ れ実世界と接続する社会的な創発的実体である このような記号系を支えるシステム全体を記号創発システムと呼ぶ 谷口 (2018) 記号接地問題から記号創発問題への移行の必要性 ～ダイナミクスとしての記号と認知～ Physical Interaction Semiotic Communication Emergent Symbol System Organization Constraints Symbol System Grounding 4

人の脳が感覚情報を予測できるよう学習し行動決定しているという 考えを予測符号化という 他人の頭の中は覗かずに全エージェントの感覚情報を統合して社会 全体として予測符号化を行うことを集合的予測符号化と呼ぶ 一定の条件を満たした言語ゲーム (e.g. メトロポリスヘイスティン グ名付けゲーム = MHNG) をプレイすることで、私たちは集合的予 測符号化を実行できることが構成的に示されている Collective Predictive Coding 谷口 (2023) 集合的予測符号化仮説：記号創発ロボティクスと言語進化の新展開に向けて 5

人の記号系は集合的予測符号化により形成されているとする仮説 Collective Predictive Coding Hypothesis Taniguchi (2023) Collective predictive coding hypothesis: symbol emergence as decentralized Bayesian inference 6

Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 7

Collective Predictive Coding as Model of Science 科学を、集合的予測符号化をする記号創発システムとして捉える、 科学のモデル (CPC-MS) Collective Predictive Coding CPC-MS Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 8

Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 9

Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science CPC-MS on one page 10

CPC-MS as Free Energy Minimization CPC を変分自由エ ネルギー最小化とし て定式化すると集合 的正則化項が出現す る(個々の項の和で はないことに注意) 将来の観測に関する 期待値を考えるとこ の項は集合的な認識 的価値と解釈できる Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 11

Explaining the Scientific Activities with the CPC-MS

Social Objectivity 全体の事後分布が漸近的に「真の」分布に近づく際に科学者個人間 の同意は必須ではないし科学者個人の事後分布は不正確でも良い これは科学的知識の保有者は科学者ではなく科学共同体であること を含意し科学の客観性は社会的に立ち現れるという科学観に沿う 客観的知識の構成に相互批判 (MHNG) が重要だと CPC-MS も示唆 客観的知識の構成への多様性/異質性の重要性も自然に言及可能 データが偏るとベイズ推論の結果の事後分布が偏る サンプリング過程がエルゴード性を満たさないとまずい サンプルの自己相関が小さくなるべき... など 1,2 Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 1 Helen E Longino (1990) Science as social knowledge: Values and objectivity in scientific inquiry, 2 Philip Kitcher (1993) The Advancement of Science: Science Without Legend, Objectivity With-out Illusions 1 1 13

Scientific Progress 科学の進歩を分散ベイズ更新を通じ た事後分布の逐次的改善と解釈→科 学者はθを更新し科学的理解を改善 (ベイズ最適化としての科学的進歩) クーンの通常科学と異常科学をθの 空間の特異点の有無による、連続/不 連続なベイズ最適化の異なるモード として扱う(相転移としての科学革命) パラダイム間の相転移は事後分布の 改善→共役不可能性を認めつつ分布 移行の合理性を予測改善の点で解釈 Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 14

From Confirmatory to Generative Science 伝統的な実在論では科学の主目的は真の知識の発見であり、科学的 手法の確証的な側面を強調 e.g. 統計的検定 (Confirmatory Science) CPC-MS では科学とは新しい仮説や研究計画などを生成する営みで あり、科学的知識は集合的意見を反映して事後分布に表現される CPC-MS では科学を生成的な営みと見る (Generative Science) 科学的知識は研究の方向性を導く参照点：科学者が次の仮説や 計画を生成しモデルを反復的に改善するという側面を強調 科学的知識は未観測現象に対するより良い予測を生み出す (生 成モデル) ：科学の進歩の予測性能向上としての側面を強調 Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 15

Collective Curiosity 個人の好奇心は既存の知識 との繋がり概念ネットワー クを構成し概念ネットワー クは集団の好奇心に駆動さ れた集団的探索で発展する CPC-MS では w が概念ネッ トワークに対応しそれが個 人の好奇心に影響すると共 に集団的好奇心も駆動する HIro Taiyo Hamada (2024) Collective Predictive Coding Hypothesis for Collective Curiosity and Exploration Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 16

Implications for AI & Robot Driven Science

How Do AI Scientists Influence Science? AI 科学者の科学コミュニティへの参入は「多様性」をもたらす より「客観的」な科学的探究を促進 より膨大なサンプリングが可能 科学者間の共通基盤の喪失 非効率な言語ゲーム→収束性悪化 AI科学者による多様性は客観性を高める一方、人とAIという異質な 科学者同士のコミュニケーション問題 (科学のアライメント問題) を生むというトレードオフにつながる → AI 科学者の科学への参入を前提とした科学設計の議論が重要 Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 18

Towards Automated Science System 研究の自動化の試みの多くは科学の特定の過程の自動化や人工的な 「科学者」の実装を目指すが、科学は社会的な全体的な営み CPC-MS は科学コミュニティ全体の数学的/確率的モデルであり、科 学コミュニティ全体の自動化を目指し実装する一つの出発点を提供 Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 19

Conclusion CPC-MS は 集合的予測符号化による科学のモデル 科学知識の客観性や科学の進歩といった伝統的な科学的概念の 議論に対して分散ベイズの観点から新しい解釈を与える 確証的な科学観を超えて生成的な科学観を提示する AI 科学者を前提とした科学や全体として自動化された科学シス テムなど、新しい科学の設計の議論に対する視点を提供する 20

Taniguchi et al., (2024) Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science 谷口編 (2024) 記号創発システム論 来るべきAI共生社会の「意味」理解に向けて 21

Thank you!!