論文紹介 "ReSim: Reliable World Simulation for Autonomous Driving"

NeurIPS2025 spotlight論文

Transcript

1. AI Community 2026.01.29 向後 卓磨 GOドライブ株式会社 論文紹介 ReSim: Reliable World Simulation for Autonomous Driving
2. 紹介する論文 大量の実データ 安全走行 少量のシミュレーションデータ 危険走行 ▪ “ReSim: Reliable World Simulation for Autonomous Driving” [1] ▪ NeurIPS’25 Spotlight論文 ▪ 自動運転における世界モデルの一活用形態／学習方法を提案 学習 動画 予測 軌道計画を入力 衝突するような 軌道計画でも 妥当な映像を予測 従来手法 提案手法 十分に曲がってくれない
3. 論文のスコープ ▪ タスク：環境認識(予測含む) + 局所の軌道計画 ▪ 前提　：自己位置と広域の経路計画が与えられている 自動運転のコンポーネント
4. 先行研究：運転世界モデルによる動画予測 “Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability” (NeurIPS’24) [2] 学習フェーズ [1st] アクション入力なし 　　 多量データ [2nd] アクション入力あり 少量データ→LoRA 予測フェーズ 1. 過去数フレーム+アクション → 次フレームを予測 2. 予測したフレームを入力に加えて自己回帰 → 5~15秒 (576x1024@10Hz) モデル：Stable Video Diffusion
5. 課題：運転世界モデルにおける「安全性バイアス」 入力 予測結果 ↑ コースアウトせず道路に残留 󰢃 ↓ 道路から右方へコースアウト 󰢏 従来手法 提案手法 軌道計画 初期位置を原点 とした相対座標 ▪ 実運転データのほとんどは安全走行 → 危険走行シーンを予測できない ▪ 誤った予測結果を基に軌道計画がなされてしまう 走行道路から コースアウトする 軌道計画 Source: [1] Fig.5
6. 提案手法 ▪ 動画予測：少量のシミュレーションデータを加えて運転世界モデルを学習 ▪ 軌道計画：シミュレーションデータで学習したVideo2Reward 運転動画から 運転の良し悪しを 推定するモデル Source: [1] Fig.1
7. 【動画予測】モデル 2B DiT (CogVideoX) 過去画像にも ノイズを加える ノイズレベル 時空間的 一貫性 高ノイズを1/2→2/3 に増やす 4M clips (w/o traj.) 85K samples (w/ traj.) 88K simulations VAE Source: [1] Fig.S11
8. 【動画予測】損失関数 GTの動き 予測の動き 長期・短期での時空間的一貫性を保つ 大きい動きに過剰にFitすることを抑制→
9. 【動画予測】学習 OpenDV Real カメラキャリブレーション無し 高レベルコマンド（例. 右折／直進）をOpenCV toolkitで pesude-labeling 曲がるシーンを5倍サンプリング NAVSIM Real 軌道情報あり unScenes/Waymoデータを評価用に除外 CARLA Sim Bench2Driveで定義された走行経路から220をサンプル 2種類(安全/危険)のルールベースのエージェントで走行データを50:50で作成 ▪ 3-stageでの学習（GPU A100 x40台で14日間） Source: [1] Table S5
10. 【動画予測】評価：忠実度 主観評価 （3つから好ましいものを選択） FID: Fréchet Inception Distance (画像の分布の近さ ) FVD: Fréchet Video Distance (動画の動きの自然さ ) 映像上の自車両の軌道誤差推定値 Source: [1] Fig. 4, Table 1-2.
11. 【動画予測】評価：制御性 入力 軌道計画毎の予測結果 Source: [1] Fig. 6
12. 【動画予測】評価：失敗例 ▪ オクルージョンに対して、時系列的な一貫性を保つのが苦手（上段・中段） ▪ 極端なケースにおいてアーティファクトが発生（下段） Source: [1] Fig. S18
13. 【軌道計画】動画報酬モデル backbone: DINOv2 ▪ シミュレータで計算した運転スコアを報酬値として学習したモデル ▪ 運転スコア減点対象：衝突、信号無視、路外逸脱、無意味な減速 軌道計画 1. 各Learned Policyで軌道計画を算出 2. 各軌道計画毎に動画予測 3. 各予測動画に対して報酬値を算出 4. 最大報酬に対応するPolicyを選択 → その軌道計画を採用する (※ Learned Policy は既存のもの) Source: [1] Fig. 2
14. 【軌道計画】評価：Policy選択 Policy単体 Policy選択 アンサンブル ▪ シミュレータNAVSIM上で運転スコアを評価 ▪ 走行シナリオ：挑戦的な300ケース (Transfuser/LTFのいずれが上手くいかないケース) ▪ 評価指標　　：運転スコアPDMS (Predictive Drive Model Score) Source: [1] Table 3.
15. 【軌道計画】評価：既存E2Eアプローチとの比較 ▪ シミュレータNAVSIM上で運転スコアを評価 ▪ 走行シナリオ：NAVSIM navtest ▪ 評価指標　　：運転スコアPDMS Source: [1] Table 4.
16. ▪ 少量の危険走行シミュレーションデータを学習データに加えることで 運転世界モデルの動画予測の性能を改善 ▪ 忠実度 ▪ 軌道計画に対する制御性 ▪ シミュレーションデータで学習した動画報酬モデルと動画予測を組み 合わせることで、良好な軌道計画を選択 ▪ 拡散モデルの推論の計算負荷が高く、実用に課題あり まとめ
17. [1] J. Yang, et al., “ReSim: Reliable World Simulation for Autonomous Driving” , NeurIPS, 2025. [2] S. Gao, et al., “Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability”, NeurIPS, 2024. 参考文献