世界モデルにおける分布外データ対応の方法論

世界モデルも機械学習モデルである以上、分布外に対応できないという問題があります。この発表ではその課題に対してどのような対策が取られてきたかを紹介します。

Transcript

1. 世界モデルにおける分布外データ対応 の⽅法論 2026年2⽉8⽇ 第66回 コンピュータビジョン勉強会＠関東 Turing株式会社 荒居秀尚 1
2. 世界モデル？ https://x.com/wzihanw/status/2002092055884124297?s=20 「世界モデル」という⾔葉で指すものには揺れがある 2
3. この発表における世界モデルの定義 ICLR 2025のTim Rocktäschel (DeepMind)によるKeyNoteの定義に従います https://iclr.cc/virtual/2025/invited-talk/36780 3
4. とすると‧‧‧？ Data Augmentationを action、画像そのものをstate として認めれば世界モデル(苦 しい) nullをactionとして 認めれば世界モデル 世界そのもの 疑問の余地なく 世界モデル ルールベースでも 世界モデルには 変わりない(※) stateは静的、actionは視点の 移動だとすれば世界モデル patchをstate、どこを隠すか の選択をactionとすれば世界 モデル ※今回の発表は、データから学習されるものについて の話のため、このパターンは除外します 4
5. ⾃⼰紹介 荒居 秀尚 / Hidehisa Arai Turing株式会社 ↓Kaggle 2x Grandmaster ⾃動運転システム開発における合成データの活⽤に興味があります https://turingmotors.github.io/actbench/ ↓2024/04~ 2025/02 ↓2025/02~ 5
6. 世界モデルにみられる⾯⽩現象 ⾃⾞に対する指⽰が、他のエージェントの動きにも影響を及ぼす現象を確認 他にも⾃⾞に対する加速指⽰により前⾛⾞も加速する‧⾚信号で発進すると⻘になる、等がある 6
7. なぜこの現象は起こる？(仮説) Causal Misalignmentと命名して論⽂化 https://arxiv.org/abs/2412.05337 7
8. この現象をより⼀般化する Stateが学習分布外(OOD)な例：⾃動運転の世界モデルに室内の映像を⽣成させる ActionがOODな例：ロボットの世界モデルに2回宙返りの映像を⽣成させる State × ActionがOODな例 (Joint OOD)：今回のケース(Causal Misalignment) 予測分布からの採取時にOODになる例(Rollout OOD)：⾃⼰回帰動画⽣成でEncode →Decodeを繰り返すと劣化していく →普通にデータを集めても得られないケースについて世界モデルに⽣成させるには？ 8
9. 対策①：Iterative Update 9
10. 世界モデルもPolicyも更新しまくろう！ モデリング対象の世界を探索することでOODデータを集める 10
11. Iterative Updateアプローチの推進者たち 世界モデルの初期の研究はこの⽅向性だった https://worldmodels.github.io/ David Ha and Jürgen Schmidhuber. “World Models” Hafner et al. “Dream to Control: Learning Behaviors by Latent Imagination.” 11
12. Iterative Updateの破綻 現実世界では危険すぎたり、コストが⾼すぎたりして実践しづらい 12
13. 対策②：Foundation World Model 13
14. https://iclr.cc/virtual/2025/invited-talk/36780 14
15. https://iclr.cc/virtual/2025/invited-talk/36780 15
16. Foundation Modelアプローチ Scaling Lawに乗っかり、データ‧モデル‧計算量を⾼める王道のアプローチ 16
17. Foundation Modelアプローチの推進者たち GoogleやNVIDIAなどビッグテックが中⼼となっている Genieシリーズ (Google DeepMind) NVIDIA Cosmos https://deepmind.google/models/genie/ https://www.nvidia.com/ja-jp/ai/cosmos/ 17
18. Foundation Modelで解決か？ 系統的に集まりづらいデータや、諸制約により取ることができないデータはある 社会規範から逸脱する⾏動が必要なものや、特殊なセンサを要するもの、取得コストが⾼すぎるものなど 18
19. 対策③：Simulation Data 19
20. シミュレータ‧ゲームの活⽤ 現実をよく模倣したシミュレータ‧ゲームのデータも混ぜて世界モデルを学習 20
21. シミュレーションデータ活⽤は有効か？ シミュレータで収集したデータを使うことは有効という研究結果がある Yang et al. “ReSim: Reliable World Simulation for Autonomous Driving.” NeurIPS 2025 Spotlight. 21
22. ReSim CogVideoXベースのDiTを3種のデータソースで追加学習 Yang et al. “ReSim: Reliable World Simulation for Autonomous Driving.” NeurIPS 2025 Spotlight. 22 OpenDV 実動画のみ NAVSIM 実動画+expertアクション CARLA Sim動画+non-expertアクション
23. ReSim Simデータの追加により、分布外の⽣成もできるようになるという結果 Yang et al. “ReSim: Reliable World Simulation for Autonomous Driving.” NeurIPS 2025 Spotlight. 23 Simデータを学習に使うことで、⽣成の視覚的 品質も、指⽰軌跡に従う度合いも強くなること がわかった Simデータの追加により、より現実 的な⽣成ができるようになっている
24. ⼤量のゲームで学習されたGenie 3の実⼒ Genie 3を使って作られたWaymoの世界モデルは極めてレアな事象を⽣成できる https://waymo.com/blog/2026/02/the-waymo-world-mod el-a-new-frontier-for-autonomous-driving-simulation 24
25. 世界モデルのOOD問題はこれで解決なのか？ 正確なマルチエージェントシミュレーションは極めて困難 ↑Genie3でも “Limitations”の⼀つに他のエージェントの シミュレーションが難しいことが挙げられている CARLAシミュレータのシミュレーションの様⼦ 25
26. Take Home Message • 世界モデルといえども機械学習モデル。分布外の状況に弱いという問題は普 通にある。 • 分布外対応は様々な⽅策が考えられてきたが、近年は⼤量の実データ+シミュ レーションデータという組み合わせが有効であることがわかっている。 • しかし、シミュレーションデータの活⽤も万能ではなく、特にマルチエー ジェントシミュレーションには課題がある。 26