フィジカルAI時代の到来とその先 / Physical AI Era and Beyond

大学共同利用機関シンポジウム2026での講演内容になります．
https://www.nao.ac.jp/study/inter-sympo2026/
https://youtu.be/l6VYBoT4H_M

Transcript

1. フィジカルAI時代の到来とその先 小林 泰介（国立情報学研究所／総合研究大学院大学） mailto: kobayashi@nii.ac.jp Web: https://prinlab.org/ 本研究は，JST ムーンショット型研究開発事業 (JPMJMS263D)，JST さきがけ (JPMJPR2514)， CRONOS (JPMJCS24K6)，JST CREST (JPMJCR2555)，JSPS 科研費 (JP26K03011)の支援を受けたものです． Principles of Robot JST Intelligence from Nature/Nurture
2. これまでのロボット？ 工場や店内など決められた環境下で限られた作業を繰り返す！ -> 多様な環境・非定型作業の多い日常への進出に大きな壁… 工場でのライン作業 https://youtu.be/sNEQuqGneKE Principles of Robot Intelligence from Nature/Nurture 店内での配膳 https://youtu.be/r3ICH0BD-Dc 大学共同利用機関シンポジウム 2
3. フィジカルAI時代 ここ数年でロボットのハードウェア・ソフトウェア性能が格段に向上！ -> 多様な環境で非定型作業を「物理的に」こなす技術として投資が集中！ 作業能力の飛躍 https://youtu.be/a6Ix6Vzuk0c Principles of Robot Intelligence from Nature/Nurture 歩行能力の飛躍 https://youtu.be/LQizdUn5Z1k 大学共同利用機関シンポジウム 3
4. 本講演の内容 フィジカルAIを支える模倣学習・強化学習を概説！ -> 現状のフィジカルAIが抱える課題や展望を言及したい… 動作 動作 示 教 の 倣 模 の 模倣学習 Principles of Robot Intelligence from Nature/Nurture 理想の数値化 理想の追求 強化学習 大学共同利用機関シンポジウム 4
5. 模倣学習 Principles of Robot Intelligence from Nature/Nurture
6. 模倣学習 ロボットに実施してもらいたい作業の教示データを与えて 熟練者と同様の行動を生成可能な確率分布（ロボットの制御方策）を学習する！ 𝜋(𝑎! |𝑠! ; 𝜃) w/ approximator Behavioral cloning (popular approach) いわゆる教師あり学習 Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 6
7. わかりやすい応用事例 熟練者が多く存在＋システムの操作系が確立していると扱いやすい！ -> 車両やドローンの自動運転などに広く応用 https://youtu.be/gaQ7P6PCKHc Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 7
8. ニューラルネットワークの進化 一昔前のニューラルネットワークより大規模化・表現力が向上！ -> より多くの教示データの高水準な模倣が可能に Action Chunking Transformer (ACT) https://tonyzhaozh.github.io/aloha/ Diffusion Policy https://diffusion-policy.cs.columbia.edu/ Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 8
9. ロボット基盤モデル：Vision-Language-Action (VLA) 言語指示に応じて複数の作業を切り替え・組み合わせて実行可能に！ 𝜋!.# (Physical Intelligence) https://www.pi.website/blog/pi07 Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 9
10. 教示データ不足 ロボットを操作するコストが非常に高い… -> 他の基盤モデルほどのデータがなく汎化が不十分… LLM: ~Trillion VLA: ~Million VLM: ~Billion データ工場 https://youtu.be/PZ_s_oBwKQw この差は10万年分とも… https://www.science.org/doi/10.1126/scirobotics.aea7390 Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 10
11. 大規模教示データの収集技術 実際にロボットを操作することなく人の作業を直接記録して， ロボット用にデータ加工！ 手持ちインターフェースでの直接作業 https://umi-gripper.github.io/ Principles of Robot Intelligence from Nature/Nurture Egocentric動画の利用 https://arxiv.org/abs/2509.21986 大学共同利用機関シンポジウム 11
12. もう一歩先：インタラクティブなデータ収集 Kobayashi IROS 2026 ゼロショットでロボット基盤モデルを運用するのは困難… -> ロボットと熟練者が「最適な合意を得ながら」必要なデータを都度収集！ Expert Action !!"# Dataset State " Learn Agent Consensus Environment w/ task Action ! Action !$%$ 中心傾向の指定 各行動の確信度 Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 12
13. 強化学習 Principles of Robot Intelligence from Nature/Nurture
14. 強化学習 未知の環境下でエージェントが試行錯誤していく中で 将来的に得られる報酬の総和を最大化しようと方策を学習する！ エージェント（ロボット） 𝜋(𝑎|𝑠) 未知の環境 𝑝) (𝑠 * |𝑠, 𝑎), 𝑟(𝑠, 𝑎, 𝑠 * ) ,𝑟 収益 𝑅+ = ∑/ 𝛾 +0, ,-. Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 14
15. ゲームでの成功 試行錯誤が容易＋報酬が明確だと扱いやすい！ -> ゲームAIに広く活用され，トッププロに勝ったことで一躍話題に https://youtu.be/8tq1C8spV_g Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 15
16. ロボットシミュレーションの進化 GPUを駆使した並列シミュレーションが普及！ -> 実世界でロボットを動かさずとも試行錯誤が可能に IsaacSim by NVIDIA（動画はトヨタ自動車） https://youtu.be/IT9tC3APB_o Principles of Robot Intelligence from Nature/Nurture Mujoco by DeepMind（動画は東京ロボティクス） https://youtu.be/d9agnoab5h8 大学共同利用機関シンポジウム 16
17. Sim2Real強化学習 シミュレーション上で多彩な経験を積んで制御方策を学習し，実機にデプロイ！ Olaf (Disney Research) https://youtu.be/-L8OFMTteOo Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 17
18. Sim2Realギャップ 実世界を完全再現するシミュレーションは非現実的… -> 見た目や物理的特性（摩擦など）に差異が残り，実機では上手く動かない Simulated robot Principles of Robot Intelligence from Nature/Nurture Real robot 大学共同利用機関シンポジウム 18
19. ドメイン乱択化 シミュレーションには挙動を定める複数のパラメータが存在… -> 多くのパラメータで上手く動く制御方策は実世界でも良く動く！ 行動 𝑎 パラメータ𝑒$ パラメータ𝑒% 状態 𝑠 + 報酬 𝑟 パラメータ𝑒& Principles of Robot Intelligence from Nature/Nurture 確率 … エージェント データセット (𝑠' , 𝑎' , 𝑠'( , 𝑟' ) * ')$ サンプリング 実環境 シミュレーションパラメータ𝑒 大学共同利用機関シンポジウム 19
20. もう一歩先：ドメイン適応 Ilboudo+ IJRR 2026 適応なし 学習するパラメータを増やすほど制御方策は万が一に備えて保守的に… -> 実世界に対応するパラメータを「不確実性込みで」推定して動作を最適化！ 適応あり 不確実性込みで 方策を条件付け 確率的な パラメータ推定 Principles of Robot Intelligence from Nature/Nurture 1試行目 5試行目 大学共同利用機関シンポジウム 20
21. その先へ？ Principles of Robot Intelligence from Nature/Nurture
22. オンライン適応した知識の継承 フィジカルAIを支える2つの技術はオフライン学習（＋微調整）に限定… -> オンラインで新しい知識を学習し続け，その知識を次のロボットに継承！ 適応 … 継承 継続学習・能動学習 蒸留・連合学習 これから目指すべきフィジカルAI -> オンラインで実世界データに適応して次世代に継承 Principles of Robot Intelligence from Nature/Nurture 大学共同利用機関シンポジウム 22
23. 分化した技術の統一による作業・移動の自然な接続 フィジカルAIにおける2つの技術は作業・移動向けにそれぞれ発展… -> 双方が必要となる応用に向けて，理論レベルで2つの技術を統一！ 理想の理論体系 模倣学習 模倣学習 -> マニピュレーション向け https://youtu.be/Zn8yMaepzVk Principles of Robot Intelligence from Nature/Nurture 強化学習 パッチワーク的融合 • Guided RL • Interactive IL 強化学習 -> ロコモーション向け https://youtu.be/PjWvf90l4cg 大学共同利用機関シンポジウム 23
24. ご清聴ありがとうございました！ mailto: kobayashi@nii.ac.jp Principles of Robot Intelligence from Nature/Nurture