[CV勉強会@関東 世界モデル論文読み会] VLA自動運転model Alpamayo-R1

2026/02/08 関東CV勉強会の資料です。
Cosmos-Reasonをbackboneとして用いるVLA自動運転モデルについての発表です。

arxiv: https://arxiv.org/abs/2511.00088
code: https://github.com/NVlabs/alpamayo
tech blog: https://developer.nvidia.com/blog/building-autonomous-vehicles-that-reason-with-nvidia-alpamayo

Transcript

1. Alpamayo-R1 Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail arxiv: https://arxiv.org/abs/2511.00088 code: https://github.com/NVlabs/alpamayo tech blog: https://developer.nvidia.com/blog/building-autonomous-vehicles-that-reason-with-nvidia-alpamayo ※資料中の図表は断りのない限り上記論文から引用
2. 自己紹介 Shin • 趣味で自動運転関連技術を追っています • 自動運転用ML Plannerの分野に興味があり， 自分なりの「こうすべきでは」という仮説作りが 最近のマイブームです ◦ この分野がどの程度有望そうなのか？・自分の仮説は正しそうなのか？ を調べている状態です • 博士後期課程進学に興味があります • 前回はWMでのtrajectory評価を行う論文について発表 • 今回はtrajectory生成側でCosmos-Reasonがどう応用されているか発表します Twitter: @AquaRobot0202
3. 今日紹介する論文 概要 • 自動運転用VLA. Cosmos-ReasonをVLM Backboneにしています • NVIDIAからの論文です • 推論用codeが公開され、Mercedes CLAでも実機実験されています
4. can be viewed as implicit world models? VLAはsemantic spaceで動作するimplicit world modelだと主張。 (個人的には) World Modelの厳密な定義には 当てはまらないと考えていますが (s_t+1=f(s_t | a_t)という構造ではないので) 「暗黙的に次frameの遷移を予測し判断する」 という意味で上記のように述べられているのだと理 解しています。 https://developer.nvidia.com/blog/building-autonomous-ve hicles-that-reason-with-nvidia-alpamayo/
5. Background: Cosmos World Foundation Model
6. https://www.nvidia.com/en-us/on-demand/session/gtc25-dd40000/
7. https://arxiv.org/abs/2501.03575
8. https://arxiv.org/abs/2501.03575
9. https://www.nvidia.com/en-us/ai/cosmos/
10. https://www.nvidia.com/en-us/ai/cosmos/
11. Cosmos-Reason: 物理空間の意味理解(Reasoning)をtextで出力するmodel https://huggingface.co/blog/nvidia/nvidia-cosmos-reason-2-brings-advanced-reasoning ◀工事現場の横を 通り抜けるシーンの意 味理解
12. Cosmos-Reason: Architecture https://arxiv.org/abs/2503.15558v1
13. Cosmos-Reason: 判断をtext出力 https://arxiv.org/abs/2503.15558v1 ◀ 落下物があった際に　 どう対応する？
14. VLMのtext出力で運転できるわけではない -> trajectory出力への拡張 https://arxiv.org/abs/2503.15558v1 Cosmos-Reason • multimodal large language models specialized in Physical AI reasoning • Physical AIにおける意味理解に特化したVLM • 出力形式はtext
15. VLMのtext出力で運転できるわけではない -> trajectory出力への拡張 https://arxiv.org/abs/2503.15558v1 Cosmos-Reason • multimodal large language models specialized in Physical AI reasoning • Physical AIにおける意味理解に特化したVLM • 出力形式はtext Alpamayo-R1 • vision–language–action model (VLA) • 出力形式はtrajectory(waypoints) https://developer.nvidia.com/blog/building-autonomous-vehicles-that-re ason-with-nvidia-alpamayo/
16. Alpamayo-R1
17. Alpamayo-R1 • 自動運転用VLA • Cosmos-ReasonをVLM Backboneに使用 • 10B ◦ 7B Cosmos-Reason backbone ◦ 2B Diffusion-based trajectory decoder ▲ Mercedes CLAへ搭載 https://www.youtube.com/watch?v=ukKHKuVab-g
18. Alpamayo-R1 Input • 画像(2-second historical video) • Text Encoder(User Command, Navigation) • Ego History Output • Reasoning • Meta Actions • Trajectory Decoder
19. Architecture navigation 400フィート先 右折
20. Output: Reasoning ボールが転がってきたので、子供やペットが追いかけてくる可能性あり
21. Chain of Causation Reasoning 「どんな理由でこの行動を取るのか」 • Driving Decisionと強く結びつく記述の みをアノテーションして学習 • 運転行動に影響を与える Critical Components(e.g. cut-in motorcycle)を運転行動の原因とし て触れている • ReasoningとTrajectoryが矛盾しな いように学習
22. Output: Meta Action 減速し、ボールや歩行者が危険をもたらす可能性がある場合には停止
23. Output: Trajectory 64個のwaypoints • 各pointは(a, κ)を持つ ◦ a: acceleration ◦ κ: curvature • 10 Hz, 6.4 sec • unicycle dynamicsにより(a,κ)_iと(x,y,θ,v)_iから (x,y,θ,v)_i+1を取得
24. Alpamayo-R1: Evaluation
25. Simulatorでの評価 ◀ Stop signで一時停止して右折 ◀ 工事現場で減速 基本的な運転行動 →できている
26. ChallengingなScenarioでの性能評価 CoC Reasoningあり/なしの modelを比較 特にChallengingな scenarioでの性能向上を確 認
27. 評価: 実機実験 赤信号での停止, 信号が緑になるまで待つ, 交差点左折といった動作を実機検証 • RTX6000を使用。推論時間99 ms edge caseというわけではない。edge caseでどこまでやれるのか気になる
28. まとめ Cosmos-Reasonを実機のtrajectory生成に応用するとどれくらい強いのか？ • Reasoningを導入することで、特にChallengingなscenarioで性能向上 • Cosmos-Reason Backboneで実機実験までできている 実機で走る段階まで来ているか？ • RTX6000を用いて99 msで動かしている • 実験車両なら可能。現状では量産車両では厳しそう...? • 別のセンサ構成でも動くのか？については記載なし