論⽂解説 Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? Takehiro Matsuda

2 論⽂情報 タイトル： Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? • 論⽂： https://arxiv.org/abs/2312.03031 • コード： https://github.com/NVlabs/BEV-Planner • 投稿学会： CVPR2024 • 著者： Zhiqi Li, Zhiding Yu, Shiyi Lan, Jiahan Li, Jan Kautz, Tong Lu, Jose M. Alvarez • 所属：National Key Lab for Novel Software Technology Nanjing University, NVIDIA 選んだ理由： End-to-Endの⾃動運転が提案されてきているが、そのベンチマークは⼗分と⾔える かという問題分析に興味をいだいた。

3 End-to-end autonomous driving 画像内で対象を知覚できたかで終わらずに、⼈を介さずに⾞が良い運転をできたか １つのDNNモデルでカメラ画像などのセンサ⼊⼒から⾃⾞軌跡または運転コマンドを 出⼒するものを指すことが多い。 ただ、最終的な⾃⾞軌跡を出すブラックボックスのDNNではなく、UniADのように Perception ‒ Prediction ‒ Planningのコンポーネントがあり解釈性をもつアプロー チが増えている。 どのように評価するかが ⼤きな課題の⼀つ

4 Closed loop evaluation ⾃⾞の動きに合わせて、撮影画像や周囲の他の⾞や歩⾏者の動きも変わるClosed loopは現実に即 しているが、シミュレーションで⽣成されるデータは実世界とのdomain gapがある。 https://carla.org// ⾃⾞が他⾞や⼈に衝突 したり、道を外れず、 ⽬的地に早く到達でき たかなどで評価できる。

5 Open loop evaluation その中でもnuScenesはよく使われるデータセットであり、本論⽂でもこれをもとに議論している。 現状ではシミュレーション(closed loop)と⽐較して、リアルで複雑な道路状況シナリオの データも得やすい。 closed loop evaluationで使えるデータは実世界とまだ差があるので、open loop evaluation として⼈が実際の⾞を⾛らせて得た⾛⾏軌跡を正解として、それに近づけるopen loop evaluationがend-to-end ⾃動運転の開発に使われる事が多い。

6 nuScenes data The scenes of 20 second length are manually selected to show a diverse and interesting set of driving maneuvers, traffic situations and unexpected behaviors. we annotate 23 object classes with accurate 3D bounding boxes at 2Hz over the entire dataset. https://www.nuscenes.org/nuscenes Boston Seaport Singapore One North BostonとSingaporeを約15時間⾛⾏した中から1000個のシーンを抽出している。

7 nuScenes car setting Renault Zoe 1x LiDAR 6x Camera 5x RADAR 1x IMU&GPS

8 nuScenes sample image Front Front left Front right back left back right back

9 Doubt for end-to-end autonomous driving in open loop data AD-MLPでego statusのみに関するシンプルなMLP networkがnuScenes の planning resultでSOTAを達成してしまう。 ST-P3, UniAD, VAD のようにperception, prediction, planningを包括するように 設計したEnd-to-Endのフレームワークが提案されている。 Is ego status all you need for open-loop end-to-end autonomous driving? (past trajectoryが与えられていることには本論⽂ の著者は疑問を持ち、本論⽂でその点を留意した 実験とする。)

10 Reference: UniAD Planning-oriented design Perception(MapFormer, TracdkFormer), Predction(MotionFormer, OccFormer), Plannerのモジュールがあり、パイプラインを構成している。 Planning最適化が⽬指されるが、途中のperceptionやpredictionについての評価や解釈が可能。 各モジュールで⽤意したQueryをCross Attentionで更新してタスクを解く。 さらに、各モジュールで作ったQueryを新たなKey, Valueとして別モジュールに使⽤する構成。

12 BEV-Planner Ego statusから良いPlanningを得られるのか確かめるためにBEV-Plannerを提案 BEV featureは 時系列で concat ego query predicted trajectories BEV features (Bounding Box, HD map, tracking IDなどのhuman-labeled dataが必要でない。) ⾃⾞軌跡のみGTとしてあり、そのL1 lossのみ測れればよい。

14 Planning performance comparison Ego-MLP やBEV-PlannerがUniADやVADに対してL2 errorやCollision rateで遜⾊ないスコアがでている。 GoStraightでさえ、Ego Status情報を⼊れないUniADやVADを上回る。 ID-7: ひたすら真っすぐ進む ID-8: ego velocity, acceleration, yaw angle, driving command のみ使う ID-10: 提案のBaseline(過去4frameのBEV) ID-9: 過去のBEVは使わない

15 Data imbalance in nuScenes our analysis shows that 73.9% of the nuScenes data involve scenarios of driving straightforwardly. GoStraightで⾼スコアがでてしまう理由

16 Existing metrics are not comprehensive 評価尺度として、GT(⼈間ドライバーの軌跡)とのL2 error、周囲のものとのcollision rateだけで は⼗分でない。 例えば、道路レーンから外れる⾛⾏をする軌道をとってもペナルティがない。 Curb Collision Rate (CCR)を提案する。 nuScenesでアノテーションされている縁⽯(道路境界)と⾃⾞軌道の衝突をカウントする。 (ただし、nuScenesの道路境界としてアノテーションされるものの中には通⾏可能なものもあるが、 統計的にはこの指標が⾛⾏軌道の合理性を表すと考える。)

17 Planning performance comparison CCRを考慮すると、性能評価の包括的な妥当性が上がる。 GoStraightやEgo-MLPはよくない。 UniADのスコアが良い。

18 Scenes that are effective based on CCR evaluation UniADでほかのものと衝突しそうになる可能性をなるべく避けるpost processing optimizationがあるが 下図のようなカーブシーンなどで⾃⾞がレーンを外れるような動きをすることがある。 Collision rateは改善するがCCRの悪化が⼤きい。

19 Perturbation to the images and ego status Perceptual informationがなく、ego statusのみでも良いスコアがでているように⽰唆されているが、 image, ego statusのそれぞれを乱した場合の影響を確認する。 画像の変化によるスコアの影響は軽微。Blank imageにしてさえ、ある程度スコアを維持できている。 ego statusの変化については⼤きくスコアを低下させている。 画像を変化させる ego status(速度) を変化させる

20 Visualization result of perturbation to the images 画像変化によらず、⾃⾞軌道を正しく取ることができている。

21 Visualization result of perturbation to the ego status ego status(速度)に対して、⾃⾞軌道のplanningが ⼤きく影響を受けている。 ego statusに対してsensitive過ぎる⾃動運転システム になっている可能性があり、安全⾯のロバスト性や多 様な環境への対処ができているかという疑問がある。

22 Planning performance comparison ID-6とID-12の結果について、L2 errorとCollision rateが同じようなスコアになっている。 最終的な⾃⾞軌道のplanningについては他のモジュールからの情報よりego statusが⽀配的に なってしまっている可能性がある。 Ego status情報が⽀配的になっているのではと考える他の兆候

23 Add perception module in proposed method BEV-PlannerにUniADのようにperception module(MapFormer)を追加する。 L2 distance , collision rateが悪化、CCRの改善 (init*はmap-pretrained weightsを使⽤) 直進⾛⾏のシナリオでは、⾞線情報を追加しても、あまり効果的な情報とはならず、 ⼲渉が⽣じる可能性がある。

24 Analysis perception module with driving commands going straight driving commands turning left/right driving commands perceptionなどの複数のモジュールを有効に統合して、良いplanningとなるように 機能するにはデータ量やシナリオの複雑さ、評価指標が不⾜しているのではないか。

25 What the proposed model learned in BEV 学習収束が早い BEV-Planner++はego statusをBEV, plannerにもいれている。 通常、知覚情報を使って運転する場合は⾃⾞の 前⽅が強くActivateされるが、BEV-Planner++ では⾃⾞後⽅が強くActivateされている。 ego statusの情報が⽀配的で、BEV featureから 有効に情報を学習していない可能性がある。 私⾒ですが、基本的にego statusに従い前進するが後⽅の⾞からの衝突を避けるような戦略になっている？

26 Conclusion • nuScenes によるopen-loopの⾃動運転モデルのplanning performanceは、ego status (velocity, acceleration, yaw angle) に⼤きく影響される。 ego status を含めると、モデルの最終的な予測軌道は基本的にego status に左右され、知覚情報の使⽤が減少しているように⾒られる。 • 既存のplanning metrics(L2 error, collision rate)では、モデルの真のパフォーマンスを完全に把握することは できない。モデルが特定のメトリックで局所最適性を達成するだけで他の安全上の問題を無視することを防ぐ ために、より多様で包括的な指標の採⽤を推奨する。(本論⽂ではCCRをその⼀つとして提唱) • 既存の nuScenes データセットでSOTAを押し上げることより、より適切なデータセットとメトリックの開発 がより重要な取り組むべき課題である。 本論⽂での研究を通しての著者の主張