計画指向 End-to-End 自律走行 モデルに必要な要素とは？ 紹介する論文： PARA-Drive: Parallelized Architecture for Real-time Autonomous Driving (Weng+, CVPR24) Michiya Abe @abemii_ Aug. 3, 2024. コンピュータビジョン勉強会 @関東 CVPR2024 読み会

2 ● 経歴 ● 2019 ：修士（情報理工学） ● 2019 ~ ：自動運転向け画像認識の研究開発 ● 物体検出・走路認識の DNN モデルの開発 ● モデルの量子化，エッジでの高速化 ● MIRU2024 （熊本）にも行きます！ 自己紹介 Michiya Abe Twitter: @abemii_ Blog: https://abemii.hatenablog.com/ ※ 発表内容は所属機関と一切関係しません

https://xinshuoweng.github.io/paradrive/ https://github.com/OpenDriveLab/UniAD UniAD (CVPR23) PARA-Dri ve (CVPR24)

4 ● UniAD* などの End-to-End 自律走行モデルの構成要素を詳細に分析 ○ それぞれのモジュールの必要性や，配置，情報伝達方法が 最終的な走行性能にどのような影響を与えるか系統的に分析 ○ 完全に並列なアーキテクチャ (PARA-Drive) を提案 ● nuScenes での Open-Loop 評価のプロトコルを整備 ○ 既存の研究ではバラバラであったため，比較が難しかった． ※資料中の図表等は特に記載のない限り上記論文から引用 今日紹介する論文 • Paper: https://openaccess.thecvf.com/content/CVPR2024/papers/Weng_PARA-Drive_Parallelized_Architecture_for_Real-time_Autonomous_Driving_CVPR_2024_paper.pdf • Project page: https://xinshuoweng.github.io/paradrive/ (コードは coming soon!)

5 車載センサの入力を（いい感じに）処理して，自車の経路計画・制御を行う 背景 | ビジョンベースの自律走行システム いろいろな処理 車に取り付けた色々なセンサからの入力 t=1 t=2 t=3 パスプランニング 将来の自車両の経路を決める https://www.nuscenes.org/nuscenes 入力 出力 t=1 アクセル・ブレーキ ステアリング 制御 アクセル・ブレーキ・ ステアリングの制御を行う ビジョンベース = マルチカメラの画像だけを使う (Radar, LiDAR は使わない） ● 知覚 ○ 物体検出/トラッキング ○ オンラインマッピング ● モーション予測 ● パスプランニング ● （制御）

6 モジュール構造の End-to-End 自律走行フレームワーク が登場 → この方向の研究がどんどん盛んになってきている 背景 | 自律走行のパラダイム Hu et al., Planning-oriented Autonomous Driving. In CVPR, 2023. モジュール構造 End-to-End ● 特定の役割をもつモジュールを 微分可能な形で接続 ● 解釈性が高い 計画指向 (Planning-Oriented) ● 最終的な経路計画の性能を上げるために必 要な情報は何か？ → UniAD (CVPR23), VAD (ICCV23), …

7 背景 | UniAD: Planning-Oriented Autonomous Driving Hu et al., Planning-oriented Autonomous Driving. In CVPR, 2023. マルチビュー画像から鳥瞰図 (BEV) グリッド上の密な特徴マップを抽出 UniAD の bev embedding (256 dim) のうち，最初の 3 channel をRGB で可視化したもの → 高次元の ”クエリ特徴” により，すべてのモジュール間で情報を伝達 3D 物体検出・トラッキングとマッ ピング（地図推定） ● Deformable DETR のような Transformer Decoder 構造 ● インスタンスごとに高次元ベク トル（クエリ特徴）で表現 将来軌跡と Occupancy の予測 ● 上流タスク（エージェント・地 図）の情報を使って予測 経路計画 ● 自車・他車の予測情報 から自車の経路計画を 行う ● 後処理で Occupancy を用いて最適化

8 UniAD に続いて，いろいろな End-to-End 自律走行モデルが出てきたが... ● そもそも，それぞれのモジュールは必要なのか？ ● モジュール間の依存関係は妥当なのか？ ● モジュール間の情報伝達はどのように行うのが良いのか？ → これらの End-to-End モデルについて系統的に分析 そして... ● 逐次的な依存関係を全部外した，並列構造モデル (Para-Drive) を提案 モチベーション 推論時はこの パスだけ！！！

9 nuScenes での経路計画の評価プロトコルは統一されていない = 手法間で同じ項目でも異なる内容の数値が出されていた → 標準化したプロトコル + より実践的な観点で性能比較を行っていく 評価プロトコルの標準化 衝突率 [%] BEV 上のグリッドで他の物体と重ならないかを評価 ● 他のエージェントのクラスは？ ● 自車の向きが正しくないのでは？ ● 解像度が低すぎるせいで衝突した判定になっていないか？ d Pred GT t = 0 [s] (現在位置) t = 0.5 [s] t = 1.0 [s] t = 3.0 [s] … L2 誤差 [m] GT をどれほど模倣できたか ● どのフレームを使うのか？ ● どの平均をとるのか？ Pred GT Pred 地図遵守 [new] 予測結果が走行エリ アからはみだしていな いか評価 car icon: Flaticon.com 評価対象を絞る [new] ● 簡単なシナリオは除外 ● 直進は今の速度を維持 するだけでもできる GT Pred GT Pred

10 UniAD をベースに，モジュール間の接続を切り貼り ● モーション予測では，エージェント情報と地図情報の相互作用はないほうが良い ● 経路計画では， Occupancy を使ったポスト最適化を行うと逆に衝突率が上がる → これらの接続は除去してよい モジュール間の依存関係の有用性を検証 高次元の潜在特徴 (クエリ特徴) 低次元のコンパクトな出力 潜在特徴 + コンパクト出力（両方） テスト時のみ * Hu et al., Planning-oriented Autonomous Driving. In CVPR, 2023. Occupancy (二値) 経路計画 (DNN 出力) 非線形最適化 最適化後の経路 → より危険 (1) (2) (0) car icon: Flaticon.com エージェント間 エージェント - 地 図要素間 エージェント - ゴール地点間

11 さらに，他の接続関係を足したり，情報の伝達方法を変えたりしてみた ● 追加の接続関係は最終的な経路計画の性能向上に寄与しない ● 情報の伝達方法も，基本的に高次元の潜在特徴のほうが良い → これらの変更はいらない モジュール間の依存関係の有用性を検証 低次元の コンパクトな出力 高次元の潜在特徴 (クエリ特徴) 高次元の潜在特徴 (クエリ特徴) 低次元のコンパクトな出力 潜在特徴 + コンパクト出力（両方） テスト時のみ

12 経路計画に BEV情報は必要なのか？ ● BEV 特徴からの情報を消すと，性能が大幅に劣化 → BEV特徴からのパスは必須 モジュール間の依存関係の有用性を検証 一個ずつ，情報伝達（クエリ vs コンパクト） のバリエーションで比較 結果として残ったもの （完全に並列な構造） 高次元の潜在特徴 (クエリ特徴) 低次元のコンパクトな出力 潜在特徴 + コンパクト出力（両方） テスト時のみ

13 モジュール間の依存関係がない状態 → 経路計画以外のモジュールは要るのか？ → （並列設定では） 要る（共同最適化に使う） ● 特にマッピングを消すと，地図遵守のエラーが大幅に増加 ● 逐次的なパスを導入した場合は， Occupancy 予測とモーション予測は冗長 モジュールの必要性を検証 こういうのもあり（逐次と並列のハイブリッド） 完全に並列 高次元の潜在特徴 (クエリ特徴) 低次元のコンパクトな出力 潜在特徴 + コンパクト出力（両方） テスト時のみ

14 というわけで，完全に並列な End-to-End アーキテクチャができた PARA-Drive 推論時は他の補助タスク をオミットして良い → 高速化 CANバスからとってきた自 車の状態（速度・角速度な ど）も使う

15 nuScenes で実験 → SOTA 実験 [直線維持] 以外の シナリオに限定 全 val シナリオ ● 衝突率，L2誤差で UniAD, VAD より改善 AD-MLP: 自車の軌跡と状態だけで 経路計画をする（知覚なし） (図は * より引用) * Li+, Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? (CVPR24)

16 nuScenes で実験 → SOTA 実験 [直線維持] 以外の シナリオに限定 全 val シナリオ ● 衝突率，L2誤差で UniAD, VAD より改善 ● 地図遵守エラーでも最良 (VAD は UniAD より悪い) AD-MLP: 自車の軌跡と状態だけで 経路計画をする（知覚なし） (図は * より引用) * Li+, Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? (CVPR24)

17 nuScenes で実験 → SOTA 実験 [直線維持] 以外の シナリオに限定 全 val シナリオ ● 衝突率，L2誤差で UniAD, VAD より改善 ● 地図遵守エラーでも最良 (VAD は UniAD より悪い) ● 自車状態を使用した場合，知覚の有無で衝突率や L2誤差はそれほど変わらないが， AD-MLP: 自車の軌跡と状態だけで 経路計画をする（知覚なし） (図は * より引用) * Li+, Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? (CVPR24)

18 nuScenes で実験 → SOTA 実験 [直線維持] 以外の シナリオに限定 全 val シナリオ ● 衝突率，L2誤差で UniAD, VAD より改善 ● 地図遵守エラーでも最良 (VAD は UniAD より悪い) ● 自車状態を使用した場合，知覚の有無で衝突率や L2誤差はそれほど変わらないが， ○ 知覚がないと地図遵守エラーが大きくなる AD-MLP: 自車の軌跡と状態だけで 経路計画をする（知覚なし） (図は * より引用) * Li+, Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? (CVPR24)

19 nuScenes で実験 → SOTA 実験 [直線維持] 以外の シナリオに限定 全 val シナリオ ● 衝突率，L2誤差で UniAD, VAD より改善 ● 地図遵守エラーでも最良 (VAD は UniAD より悪い) ● 自車状態を使用した場合，知覚の有無で衝突率や L2誤差はそれほど変わらないが， ○ 知覚がないと地図遵守エラーが大きくなる ○ [直線シナリオ] を除外して評価すると，知覚なしでは大きく劣化する AD-MLP: 自車の軌跡と状態だけで 経路計画をする（知覚なし） (図は * より引用) * Li+, Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? (CVPR24)

20 nuScenes で実験 → SOTA 実験 [直線維持] 以外の シナリオに限定 全 val シナリオ ● 衝突率，L2誤差で UniAD, VAD より改善 ● 地図遵守エラーでも最良 (VAD は UniAD より悪い) ● 自車状態を使用した場合，知覚の有無で衝突率や L2誤差はそれほど変わらないが， ○ 知覚がないと地図遵守エラーが大きくなる ○ [直線シナリオ] を除外して評価すると，知覚なしでは大きく劣化する ● タスクごとの評価結果も良好 AD-MLP: 自車の軌跡と状態だけで 経路計画をする（知覚なし） (図は * より引用) * Li+, Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? (CVPR24)

21 ● nuScenes での Open-Loop 評価プロトコルの標準化 ○ 統一された評価指標により，各手法を改めて公平に評価しなおした ○ 評価対象を難しいシナリオに絞ったり，走行エリアから逸脱していないかを考慮した実践的な評 価指標を提案 ● End-to-End モデルに必要な要素を ○ タスクの必要性 ○ タスク間の依存関係や配置 ○ 情報の伝達方法 の観点で系統的に調査し，完全に並列な構造をもつ PARA-Drive を提案 まとめ

22 ● Papers ● Xinshuo Weng, Boris Ivanovic, Yan Wang, Yue Wang, Marco Pavone. PARA-Drive: Parallelized Architecture for Real-time Autonomous Driving. In CVPR, 2024. ● Bo Jiang, Shaoyu Chen, Qing Xu, Bencheng Liao, Jiajie Chen, Helong Zhou, Qian Zhang, Wenyu Liu, Chang Huang, Xinggang Wang. VAD: Vectorized Scene Representation for Efficient Autonomous Driving. In ICCV, 2023. ● Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chonghao Sima, Tong Lu, Qiao Yu, Jifeng Dai. BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers., In ECCV, 2022. ● Yihan Hu, Jiazhi Yang, Li Chen, Keyu Li, Chonghao Sima, Xizhou Zhu, Siqi Chai, Senyao Du, Tianwei Lin, Wenhai Wang, Lewei Lu, Xiaosong Jia, Qiang Liu, Jifeng Dai, Yu Qiao, Hongyang Li. Planning-oriented Autonomous Driving. In CVPR, 2023. ● Zhiqi Li, Zhiding Yu, Shiyi Lan, Jiahan Li, Jan Kautz, Tong Lu, Jose M. Alvarez. Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? In CVPR, 2024. ● Zhai, J., et al. "Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes," in arXiv preprint arXiv:2305.10430, 2023. References