空間認知と意味理解へのアプローチ：記号創発と脳に学ぶロボット知能

招待講演，「空間認知と意味理解へのアプローチ：記号創発と脳に学ぶロボット知能」，R-GIRO「記号創発システム科学創成：実世界人工知能と次世代共生社会の学術融合研究拠点」2025年度 成果報告会，2026/02/19．

Transcript

1. 基調講演 2 「空間認知と意味理解へのアプローチ： 記号創発と脳に学ぶロボット知能」 立命館大学 情報理工学部 講師 谷口彰 1 R-GIRO「記号創発システム科学創成：実世界人工知能と次世代共生社会の 学術融合研究拠点」2025年度 成果報告会（2026/02/19）
2. 自己紹介 氏名： 谷口 彰 出身：愛媛県松山市 略歴 ◆ 2018年 3月 立命館大学大学院 情報理工学研究科 博士後期課程 修了 博士（工学） ◆ 2017年 4月 ～ 2019年 3月 日本学術振興会 特別研究員 (DC2, PD) ◆ 2019年 4月 ～ 2022年 3月 立命館大学 情報理工学部 特任助教 ◆ 2022年 4月 ～ 2026年 3月 立命館大学 情報理工学部 講師 ◆ 2026年 4月 ～ 九州工業大学大学院情報工学研究院 知能情報工学研究系 准教授 2 創発コミュニケーション 言語獲得モデル 記号創発ロボティクス サービスロボット 人工知能と脳科学の融合 脳参照アーキテクチャ駆動開発
3. 九工大（飯塚キャンパス）の場所 3 • 研究室 – 総合研究棟 1階 N106-2,3 • 所在地：福岡県飯塚市
4. 研究拠点Ⅲ：生産年齢人口減の克服 記号創発システム科学創成： 実世界人工知能と次世代共生社会の学術融合研究拠点 PL: サトウタツヤ（心理学部） 実世界人工知能 Real-world AI グループ1 記号創発・人工知能 次世代共生社会 Symbiotic Society グループ2 空間知能 ロボティクス グループ3 音響心理技術 グループ5 言語教育 グループ4 共生環境デザイン 記号創発システム科学 GL: 李周浩（情理） TL: 島田伸敬（情理） GL: 西浦敬信（情理） TL: 添田喜治（産総研） GL: 山中司（生命）※ TL: 井上明人（映像） ※英語教育 GL: 安田裕子（心理） TL: サトウタツヤ（心理） PL(GL): 谷口忠大（情理） TL: 萩原良信（情理） SubPL:谷口忠大(総研・京大) 2024年度より（来年度も継続） GL:島田伸敬 (情理) TL1-2：谷口彰（情理）
5. これまでの立命館大学 谷口（忠大）研究室での経緯 • 2011.7：研究室配属（B3） • 2013.2：卒論発表 ⇒2013.4：修士課程へ • 2015.2：修士公聴会 ⇒2015.4：博士課程へ • 2016.4-7：イギリスのプリマス大学へ研究留学 • 2017.4：日本学術振興会 特別研究員（DC2） • 2017：IROS採択（谷口研学生筆頭 初） • 2018.2：博論公聴会 – 博士論文「確率的生成モデルに基づくロボットによる場所概 念および語彙の獲得」 • 2018.4：学生から研究員（学振PD） • 2019.4：教員（特任助教）へ • 2022.4：講師へ – 2023～2025：大連理工大学に3週間講義（11月後半×2、 9月） • 2023末～2024.3：情理OIC移転・同時に谷口先生 の京大異動・萩原先生の異動 • 2024・2025：OICにて（旧）谷口研の学生指導 （数名）・研究室運営 5 2015年10月 - 2021年3月：CREST （記号創発ロボティクス）の研究に参加 AIPチャレンジ予算を複数回いただいた 前期R-GIRO （2017～2021年度） 今期R-GIRO 「記号創発システム科学創成」 （2022年度〜2026年度）
6. 研究内容 記号創発と脳に学ぶロボット知能：空間認知と意味理解へのアプローチ 8
7. 記号創発ロボティクス・記号創発システム論 • 実世界経験に基づく認知発達・ AIロボットの実現 • ロボットが環境や他者との相互 作用を通じて、概念や言語を自 律的に獲得・生成する過程を実 現するアプローチ • 記号システム（言語） – 社会的な相互作用からボトムアッ プに形成される • 個人の知識（内部表現） – 環境や他者との相互作用から形成 される 9 谷口 忠大（編），谷口 彰， 他（著）， "記号創発システム論ー来るべきAI共生社会の「意味」理解にむけて（ワードマップ）" （第Ⅱ部 第4章「確率的生成モデル」、第6章「マルチモーダル場所概念形成」 執筆），新曜社 ，2024年9月．
8. 実世界での認知モデルの意義 • 人の認知機能は、脳の全体的な働きと身体性による制約、 環境との相互作用によって実現される。 • 認知機能の実現のために (1)脳全体の機能と構造を参照した認知モデルの構築 (2)認知モデルを駆動するためにロボットへの実装 (3)実世界において検証 が重要である。 • ロボット自身が観測するマルチモーダルな感覚運動情報を自己組織化 し、様々な概念・スキルを学習する。 • 物理的および社会的環境を能動的かつ自律的に探索する身体が必要で あり、実世界で行動できるロボットを使用することが有効である。 ⇒記号創発ロボティクスにおける構成論的アプローチ 10 脳 環境 身体
9. 研究内容 • 主に3つのトピックに関する研究を行っています。 記号創発ロボティクス・ロボット学習：マルチモーダルなセマンティックマッ プ（場所概念）の形成とナビゲーションなどのサービスタスクへの活用 脳参照アーキテクチャ駆動開発：神経科学的知見に基づく確率的生成モデルの 設計と実証 認知発達システム・記号創発システム：言語獲得・創発コミュニケーション・ 集合的予測符号化の数理モデル化とエージェントシミュレーション 11 11 創発コミュニケーション 言語獲得モデル 記号創発ロボティクス サービスロボット 人工知能と脳科学の融合 脳参照アーキテクチャ駆動開発
10. なぜ確率的生成モデル？ • グラフィカルモデルによって構造を容易 に可視化できる • PGM同士を統合しやすい （Neuro-SERKETフレームワーク [Taniguchi 2020] ） ➢ 全脳PGM へ • 教師あり学習、教師なし学習、強化学習 をすべてPGMの上で議論できる • 神経科学分野などでも議論・理論構築さ れている – ベイズ脳仮説 [Doya 2007] – 自由エネルギー原理/予測符号化仮説 [Friston 2012] – 世界モデル（World model） [Taniguchi 2020] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki, Ryo Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii, and Takayuki Nagai, “Neuro-SERKET: Development of Integrative Cognitive System through the Composition of Deep Probabilistic Generative Models”, New Generation Computing, Jan. 2020. [Doya 2007] Doya, K., Ishii, S., Pouget, A., Rao, R.P.N., Bayesian Brain: Probabilistic Approaches to Neural Coding. MIT Press. 2007. ↑谷口忠大先生スライドより 12
11. 創発コミュニケーション 言語獲得モデル 記号創発ロボティクス サービスロボット 人工知能と脳科学の融合 脳参照アーキテクチャ駆動開発 ここは キッチンだよ Kitchen (x,y) Cup… 大脳皮質 大脳基底核 小脳 教師なし学習 強化学習 教師あり学習 マルチモーダルなセマンティックマップ （場所概念）の形成とサービスタスク活用 神経科学的知見に基づく確率的生成 モデル設計と実証 認知発達システム・集合的予測符号化の エージェントシミュレーション 13
12. これまでの取り組み：研究背景 • 人間の様々な生活環境で動作するロボットは，未知環境において 適応的に場所概念（場所のカテゴリ知識）や語彙を学習すること が求められる． – 対象の範囲が明確ではなく，環境や人によって異なる場所概念を事前に 人手で設計することは難しい． – ロボットが自らの経験を元に自律的に概念を形成する必要がある． 14 このあたり？ “きっちん” “だいどこ ろ” “おかって” 視覚情報 （場所の画像特徴） 音声言語（場所の名前） 位置分布（空間的な広がり） マルチモーダル情報に基づく場所概念
13. SpCoSLAM [Taniguchi 17] 15 [Taniguchi 17] Taniguchi, A., et al. : Online Spatial Concept and Lexical Acquisition with Simultaneous Localization and Mapping, IEEE/RSJ IROS, pp. 811-818 (2017) 地図 位置分布 (ガウス分布) 自己位置推定 1 − t x  x t  x t+1 t z t u t C t i  l    0 0 , m 0 0 , V 1 − t z 1 − t u 1 + t z 1 + t u  LM t y AM t S  l  t f  ∞ ∞ m l W k  k  SLAM 場所 画像 単語 音声認識・語彙獲得 マルチモーダル カテゴリゼーション “Third table” “Meeting space” ロボットが自らの経験を元に自律的に場所概念（場所のカテゴリ知識）や語彙を 学習する
14. Active SpCoSLAM Camera ×16 Learning result Tomochika Ishikawa, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, "Active Semantic Mapping for Household Robots: Rapid Indoor Adaptation and Reduced User Burden", IEEE International Conference on Systems, Man, and Cybernetics (SMC), Oct. 2023. SLAM Movement Repeat IG of SpCoAE [1] Caption Learn spatial concept Self-position Information gain (IG) Image feature A room with a couch, table, and a tv. 𝑥, 𝑦 = (1, 0) IG of SLAM [2] : Max Map ◼ 場所概念形成の確率的生成モデルにおいて， パーティクルフィルタよるオンライン学習と 情報利得(Information Gain; IG) 最大化に 基づく能動的な探索を組み合わせた能動的推論 ◼ ロボットが「意味的に未知」な場所に移動し、 場所概念を獲得 ◼ 少ない探索回数で効率的かつ高性能な学習 関連論文（主著）がAdvanced Robotics Best Paper Award 受賞 16
15. 能動的な質問生成による物体の所有者情報の獲得 17 Saki Hashimoto, Shoichi Hasegawa, Tomochika Ishikawa, Akira Taniguchi, Yoshinobu Hagiwara, Lotfi El Hafi, Tadahiro Taniguchi, "Toward Ownership Understanding of Objects: Active Question Generation with Large Language Model and Probabilistic Generative Model", Artificial Life and Robotics, 2026.
16. 片付けタスクにおける場所概念を活用したプランニング 国際ロボット競技会 WRS Partner Robot Challenge (Real Space)のTidy Up Hereタスクで好成績 Akira Taniguchi, Shota Isobe, Lotfi El Hafi, Yoshinobu Hagiwara, Tadahiro Taniguchi, "Autonomous Planning Based on Spatial Concepts to Tidy Up Home Environments with Service Robots." Advanced Robotics, Vol. 35, No. 8, pp.471–489, 2021. 2023.9.13, 日本ロボット学会，研究奨励賞 18
17. 長谷川 翔一， 村田 健人，石川 朋親，萩原 良信，谷口 彰，エル ハフィ ロトフィ，ガルシア グスタボ，谷口 忠大，"大規模言語モデルによる複数ロボットの知 識統合とタスク割当を用いた現場学習のコスト削減"，日本ロボット学会誌（レター），2024． スキルセット • Navigation • Object Detection • Pick • Place 実世界における 生活支援タスクの達成 制御 命令 成功 or 失敗 FlexBE 現場知識を用いたLLMによる行動計画 LLMによる行動計画 言語命令 Bring a cup to the kitchen. 1 1 1 1 1 1 0 , 0 0 , 0 物体 画像 “living”, … 言語 位置 (X, Y)=(*, *) 現場知識 • 物体名 • 場所名 • 物体の配置 逐次的な行動実行 場所概念モデルに基づく 現場知識の獲得と記述 19
18. 基盤モデルと場所概念モデルを活用した， タスクの振り分けによる複数ロボットの行動計画 20 so2.mp4 so1.mp4 ◦長谷川 翔一，村田 健人，石川 朋親，萩原 良信，谷口 彰，エル ハフィ ロトフィ，ガルシア グスタボ，谷口 忠大，”マルチモーダル大規模言語モデルによる複数ロ ボットの知識統合とタスク割当を用いた現場学習のコスト削減 ”，日本ロボット学会学術講演会 RSJ2024，1D2-02 (4 pages)，大阪，2024年9月． ◦村田 健人，長谷川 翔一，石川 朋親，萩原 良信，谷口 彰，エル ハフィ ロトフィ，谷口 忠大，”ロボット間の現場知識の差を考慮した基盤モデルによる物体探索の 言語指示におけるタスク分解と割当”，日本ロボット学会学術講演会 RSJ2024，3D2-05 (4 pages)，大阪，2024年9月．
19. 創発コミュニケーション 言語獲得モデル 記号創発ロボティクス サービスロボット 人工知能と脳科学の融合 脳参照アーキテクチャ駆動開発 ここは キッチンだよ Kitchen (x,y) Cup… 大脳皮質 大脳基底核 小脳 教師なし学習 強化学習 教師あり学習 21 マルチモーダルなセマンティックマップ （場所概念）の形成とサービスタスク活用 神経科学的知見に基づく確率的生成 モデル設計と実証 認知発達システム・集合的予測符号化の エージェントシミュレーション
20. 全脳アーキテクチャ・アプローチ 22 脳全体のアーキテクチャに学び人間のようなAGIを創る(工学） ①脳の各器官を機械学習 モジュールとして開発 ②それらを統合した認知 アーキテクチャの構築 本アプローチの利点 共同開発の基盤として脳の構造を利用して開発を加速 • 人・脳に関わる諸分野の科学知見を活用できる • 開発の発散を防げる合意しうる認知アーキテクチャ • 脳を参照して設計空間を限定する 人と親和性の高いAGIを作れる • 対人インタラクションが必要な応用 • 精神疾患などのモデル化など医療応用 • 解釈可能性の向上 [1]Yamakawa, Hiroshi. "The whole brain architecture approach: Accelerating the development of artificial general intelligence by referring to the brain." Neural Networks 144 (2021): 478-495.
21. Whole brain Probabilistic Generative Model • PGMによる全脳アーキテクチャ構成のための展望論 文 [Taniguchi et. al., 2021]を共同執筆 • Research Question – どのような認知モジュールを実装するべきか？ – それらをどのように統合させ連携されればよいか？ • 以下の2つのアプローチを組み合わせることで、 これらの疑問に答える。 1. 脳にインスパイアされたAI：人間レベルの知能を創り出すた めに、 人間の脳アーキテクチャから学ぶ 2. PGMベースの認知システム：記号創発・認知発達ロボティク スにおける構成論的アプローチとしてPGMを統合した統合的 認知システムを開発する 23 全脳確率的生成モデル(WB-PGM) Taniguchi, T., Yamakawa, H., Nagai, T., Doya, K., Sakagami, M., Suzuki, M., Nakamura, T., & Taniguchi, A. (2022). Whole brain Probabilistic Generative Model toward Realizing Cognitive Architecture for Developmental Robots. In Neural Networks.
22. Neuro-SERKET: Development of Integrative Cognitive System Through the Composition of Deep Probabilistic Generative Models [Taniguchi+ 20] 24 Nakamura T, Nagai T and Taniguchi T, SERKET: An Architecture for Connecting Stochastic Models to Realize a Large-Scale Cognitive Model. Front. Neurorobot. 12:25. (2018) doi: 10.3389/fnbot.2018.00025 Taniguchi, T., Nakamura, T., Suzuki, M. et al. Neuro-SERKET: Development of Integrative Cognitive System Through the Composition of Deep Probabilistic Generative Models. New Gener. Comput. 38, 23–48 (2020). https://doi.org/10.1007/s00354-019-00084-w 1. Belief propagation 2. SIR 3. MH  Connecting cognitive modules developed as probabilistic generative models and letting them work together as a single unsupervised learning system.  Having inter-module communication of probabilistic information and guaranteeing theoretical consistency to some extent.  Neuro-SERKET supports deep generative models, i.e., VAE, as well. 複雑な認知システムを 効率的に開発可能に
23. エゴセントリックな情報 （主観座標系の視点） アロセントリックな情報 （客観座標系の視点） 自己位置推定 (Path integration) は主にMEC側 動作情報 （回転速度） 予測的な情報 過去の推定位置のRefine LEC側は場所の概念的な 情報を担う（表現学習） LECとMECからの ２つの情報を統合 Akira Taniguchi, Ayako Fukawa, Hiroshi Yamakawa, "Hippocampal formation- inspired probabilistic generative model", Neural Networks, Vol.151, pp.317- 335, 2022. HF-PGM：海馬体の 確率的生成モデル （SLAM+空間認識） 主な貢献：神経科学的 な知見と工学的な知見 の橋渡し 25 引用元： https://cbs.riken.jp/jp/publ ic/tsunagaru/fujisawa/02/
24. なぜ海馬体なのか 26 海馬体：脊椎動物の記憶を司る脳部位 空間学習や空間探索といった空間記憶に深く関わる 認知的処理を担うコア領域 脳型の汎用人工知能の構築に 不可欠の構成要素 海馬体に関する 数多くの神経科学知見が 蓄積されている
25. 海馬体の神経科学的知見 27 ナビゲーション • 動物が空間内で環境情報を取得しながら適切な経路 を選択して目的地に到達する行動 認知地図 • 動物は環境の空間的位置関係についての地図を探索 によって形成し，この地図を利用して行動している という考え 自己位置推定 • ナビゲーションの実行や認知地図の形成の前提とし て，常に動物が現在の位置を認識する能力 場所細胞(Place cells)：環境の特定の場所にいると きに発火する げっ歯類の海馬で発見された 格子細胞(Grid cells)： 場所細胞と同様に動物が環 境の特定の場所にいるときに発火する げっ歯類の内側嗅内皮質(medial entorhinal cortex: MEC)で発見された 経路統合の実行に関わるとされている 哺乳類では海馬体が空間認知や認知地図の形成等に重要な役割を果たしていると考えられている 場所細胞・格子細胞が空間的な認知処理機能の実行に関わるとされる 引用元： https://cbs.riken.jp/jp/publ ic/tsunagaru/fujisawa/02/
26. エゴセントリックな情報 （主観座標系の視点） アロセントリックな情報 （客観座標系の視点） 自己位置推定 (Path integration) は主にMEC側 動作情報 （回転速度） 予測的な情報 過去の推定位置のRefine LEC側は場所の概念的な 情報を担う（表現学習） LECとMECからの ２つの情報を統合 Akira Taniguchi, Ayako Fukawa, Hiroshi Yamakawa, "Hippocampal formation- inspired probabilistic generative model", Neural Networks, Vol.151, pp.317- 335, 2022. HF-PGM：海馬体の 確率的生成モデル （SLAM+空間認識） 主な貢献：神経科学的 な知見と工学的な知見 の橋渡し 28 引用元： https://cbs.riken.jp/jp/publ ic/tsunagaru/fujisawa/02/
27. 海馬体に学んだ確率的生成モデルの実装 自己位置推定タスク ✔ 提案モデル2のパーティクル置換によって統合 したモデルがMCL（ベースライン）より優位 ✔ モデルの統合により、パーティクル枯渇問題・ 誘拐ロボット問題を回避する効果を得た Takeshi Nakashima, Shunsuke Otake, Akira Taniguchi, Katsuyoshi Maeyama, Lotfi El Hafi, Tadahiro Taniguchi, Hiroshi Yamakawa, "Hippocampal formation-inspired global self-localization: quick recovery from the kidnapped robot problem from an egocentric perspective", Frontiers in Computational Neuroscience, Vol. 18, May 2024. 29 RSSM＋SLAM（自己位置推定）
28. 創発コミュニケーション 言語獲得モデル 記号創発ロボティクス サービスロボット 人工知能と脳科学の融合 脳参照アーキテクチャ駆動開発 ここは キッチンだよ Kitchen (x,y) Cup… 大脳皮質 大脳基底核 小脳 教師なし学習 強化学習 教師あり学習 30 マルチモーダルなセマンティックマップ （場所概念）の形成とサービスタスク活用 神経科学的知見に基づく確率的生成 モデル設計と実証 認知発達システム・集合的予測符号化の エージェントシミュレーション
29. 幼児型ロボットによる多様なカテゴリと単語の関係性の学習 多様なカテゴリ形成（動作、物体、色、位置） 感覚チャンネルと単語の関係性の学習 reach right blue star Color Action Object Tutor Position ？ Cross-situational learning Akira Taniguchi, Tadahiro Taniguchi, and Angelo Cangelosi, "Cross-Situational Learning with Bayesian Generative Models for Multimodal Category and Word Learning in Robots", Frontiers in Neurorobotics, Vol. 11, No. 66, 2017. Angelo Cangelosi教授 との共同研究 Teaching sentence : “grasp far yellow car" 31
30. 記号創発システム：集合的予測符号化仮説 Taniguchi, T., Ueda, R., Nakamura, T., Suzuki, M., & Taniguchi, A. (2024). Generative emergent communication: Large language model is a collective world model. arXiv preprint arXiv:2501.00226. （他多数の共著論文） Metropolis-Hastings naming gameに よる言語創発 記号創発システム 確率的グラフィカルモデル 言語創発は集団としての予測能力を個人の学習に分散化して高めるメカニズム →マルチエージェントモデルにおける分散型ベイズ推論による言語ゲームで実証 32
31. まとめ • これらの研究テーマは互いに密接に関連・連携している • 知能ロボティクスを中心とした認知モデルの構築・実証に関する 学際領域を展開している 33 創発コミュニケーション 言語獲得モデル 記号創発ロボティクス サービスロボット 人工知能と脳科学の融合 脳参照アーキテクチャ駆動開発
32. 今後の研究の展望 34
33. 今後の研究の展望 • 私の目指す研究ビジョン – 「ロボットによる空間認知と場所の意味理解の構成論的アプローチ」 – 「脳に学ぶ認知アーキテクチャの実世界応用」 • 研究分野・領域 – AI、認知科学、神経科学、ロボティクスといった異分野連携を促進 – 知能システムの本質的理解と応用を推進する（知能の原理とは？） • 空間認知を軸とした全脳的な認知アーキテクチャを開発し、ロボット が空間・意味・意図を扱えるような知能システムを設計する • 家庭、産業、医療、サービス業などの多様な分野で、実世界の複雑な 環境に適応できるロボット技術の発展に貢献する – 特に、介護支援や生活支援など社会的課題に対応可能なロボットの実現に寄与 することを目指す – 個の知能から集団的・社会的な知能へ 35
34. 36 研究構想：全脳ロボティクス駆動開発