Alpamayo-R1 Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail arxiv: https://arxiv.org/abs/2511.00088 code: https://github.com/NVlabs/alpamayo tech blog: https://developer.nvidia.com/blog/building-autonomous-vehicles-that-reason-with-nvidia-alpamayo ※資料中の図表は断りのない限り上記論文から引用 

自己紹介 Shin ● 趣味で自動運転関連技術を追っています ● 自動運転用ML Plannerの分野に興味があり， 自分なりの「こうすべきでは」という仮説作りが 最近のマイブームです ○ この分野がどの程度有望そうなのか？・自分の仮説は正しそうなのか？ を調べている状態です ● 博士後期課程進学に興味があります ● 前回はWMでのtrajectory評価を行う論文について発表 ● 今回はtrajectory生成側でCosmos-Reasonがどう応用されているか発表します Twitter: @AquaRobot0202 

今日紹介する論文 概要 ● 自動運転用VLA. Cosmos-ReasonをVLM Backboneにしています ● NVIDIAからの論文です ● 推論用codeが公開され、Mercedes CLAでも実機実験されています 

can be viewed as implicit world models? VLAはsemantic spaceで動作するimplicit world modelだと主張。 (個人的には) World Modelの厳密な定義には 当てはまらないと考えていますが (s_t+1=f(s_t | a_t)という構造ではないので) 「暗黙的に次frameの遷移を予測し判断する」 という意味で上記のように述べられているのだと理 解しています。 https://developer.nvidia.com/blog/building-autonomous-ve hicles-that-reason-with-nvidia-alpamayo/ 

Background: Cosmos World Foundation Model 

https://www.nvidia.com/en-us/on-demand/session/gtc25-dd40000/ 

https://arxiv.org/abs/2501.03575 

https://arxiv.org/abs/2501.03575 

https://www.nvidia.com/en-us/ai/cosmos/ 

https://www.nvidia.com/en-us/ai/cosmos/ 

Cosmos-Reason: 物理空間の意味理解(Reasoning)をtextで出力するmodel https://huggingface.co/blog/nvidia/nvidia-cosmos-reason-2-brings-advanced-reasoning ◀工事現場の横を 通り抜けるシーンの意 味理解 

Cosmos-Reason: Architecture https://arxiv.org/abs/2503.15558v1 

Cosmos-Reason: 判断をtext出力 https://arxiv.org/abs/2503.15558v1 ◀ 落下物があった際に　 どう対応する？ 

VLMのtext出力で運転できるわけではない -> trajectory出力への拡張 https://arxiv.org/abs/2503.15558v1 Cosmos-Reason ● multimodal large language models specialized in Physical AI reasoning ● Physical AIにおける意味理解に特化したVLM ● 出力形式はtext 

VLMのtext出力で運転できるわけではない -> trajectory出力への拡張 https://arxiv.org/abs/2503.15558v1 Cosmos-Reason ● multimodal large language models specialized in Physical AI reasoning ● Physical AIにおける意味理解に特化したVLM ● 出力形式はtext Alpamayo-R1 ● vision–language–action model (VLA) ● 出力形式はtrajectory(waypoints) https://developer.nvidia.com/blog/building-autonomous-vehicles-that-re ason-with-nvidia-alpamayo/ 

Alpamayo-R1 

Alpamayo-R1 ● 自動運転用VLA ● Cosmos-ReasonをVLM Backboneに使用 ● 10B ○ 7B Cosmos-Reason backbone ○ 2B Diffusion-based trajectory decoder ▲ Mercedes CLAへ搭載 https://www.youtube.com/watch?v=ukKHKuVab-g 

Alpamayo-R1 Input ● 画像(2-second historical video) ● Text Encoder(User Command, Navigation) ● Ego History Output ● Reasoning ● Meta Actions ● Trajectory Decoder 

Architecture navigation 400フィート先 右折 

Output: Reasoning ボールが転がってきたので、子供やペットが追いかけてくる可能性あり 

Chain of Causation Reasoning 「どんな理由でこの行動を取るのか」 ● Driving Decisionと強く結びつく記述の みをアノテーションして学習 ● 運転行動に影響を与える Critical Components(e.g. cut-in motorcycle)を運転行動の原因とし て触れている ● ReasoningとTrajectoryが矛盾しな いように学習 

Output: Meta Action 減速し、ボールや歩行者が危険をもたらす可能性がある場合には停止 

Output: Trajectory 64個のwaypoints ● 各pointは(a, κ)を持つ ○ a: acceleration ○ κ: curvature ● 10 Hz, 6.4 sec ● unicycle dynamicsにより(a,κ)_iと(x,y,θ,v)_iから (x,y,θ,v)_i+1を取得 

Alpamayo-R1: Evaluation 

Simulatorでの評価 ◀ Stop signで一時停止して右折 ◀ 工事現場で減速 基本的な運転行動 →できている 

ChallengingなScenarioでの性能評価 CoC Reasoningあり/なしの modelを比較 特にChallengingな scenarioでの性能向上を確 認 

AlpaSim metrics ● Close Encounter Rate all, at-fault (%) ↓ ○ 自車が他車両や歩行者などのエージェントと危険な距離まで接近したscenarioの割合 ○ at-fault: 後方からの追突(rear-end close encounter)などを除外し、モデルの判断ミスによ る危険状況のみを考慮 ● Off-Road Rate (%) ↓ ○ 自車がdrivable areaをはみ出して走行したscenarioの割合 ● AlpaSim Score all, at-fault ↑ ○ close encounterやoff-roadが発生するまでに走行できた平均走行距離(km) 

AlpaSim metrics 

評価: 実機実験 赤信号での停止, 信号が緑になるまで待つ, 交差点左折といった動作を実機検証 ● RTX6000を使用。推論時間99 ms edge caseというわけではない。edge caseでどこまでやれるのか気になる 

評価: 実機実験 https://github.com/NVlabs/alpamayo/issues/9#issuecomment-3814398671 https://github.com/NVlabs/alpamayo/issues/31#issuecomment-3814378557 ● RTX6000で99msを達成しているのは0.5B model(not released) ● 10B modelはRTX6000で1sec(PyTorch inference, 量子化・TensorRT optimisationなし) 

まとめ Cosmos-Reasonを実機のtrajectory生成に応用するとどれくらい強いのか？ ● Reasoningを導入することで、特にChallengingなscenarioで性能向上 ● Cosmos-Reason Backboneで実機実験までできている 実機で走る段階まで来ているか？ ● 0.5B model(not released)をRTX6000を用いて99 msで動かしている ○ 実験車両なら可能。現状では量産車両では厳しそう...? ○ 10B modelとの性能差はどの程度あるのか ● 別のセンサ構成でも動くのか？については記載なし