SSII2024 [OS1] 自動運転における 重要技術とトレンド紹介

Transcript

1. SSII2024 自動運転における 重要技術とトレンド紹介 2024.6.12 斉藤 之寛（株式会社ティアフォー）
2. Speaker Saito Yukihiro 前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボテ ィクスシステムのソフトウェア開発に従事。 現在はTIER IVにて、アーキテクトとして自動運転OSS「 Autoware」における全体アーキテクチャ設計および技術方針の取 りまとめを担当。またAutowareのメンテナーとして活動中
11. 自動運転車に搭載されている ハードウェア u-blox F9P (GNSS / Localization) TamagawaSeiki TAG300N (IMU/ Localization) Camera 38 deg + 65 deg Camera 70 deg x 6
12. Sensor Calibration #1 様々なセンサーデータを組み合わせる際に取 り付け位置関係等を把握する必要がある Before After
13. Sensor同期 #2 課題：カメラとLiDARを非同期で動作させると重畳にズレが発生 対応：カメラとLiDARのスキャンタイミングを同期 • カメラとLiDARの時刻同期 • LiDAR*の回転タイミングに合わせたカメラのシャッタートリガー *回転式LiDAR
14. LiDARの歪み補正 #3 歪み補正なし 歪み補正あり LiDAR*では、50~100ミリ秒かけて360度をスキャン *回転式LiDAR 高速で移動しているときには大きな歪みが発生
15. カメラのLED Flicker, HDR, 同期トリガー #4
16. 点群地図とLiDARのマッチング #6 点群地図 LiDARセンサーデータ Normal Distribution Transform（NDT）という手 法を用いており、数センチオーダーの精度を達成 1. 点群地図をVoxel化し正規分布として表現 2. LiDAR センサーデータと距離を最小にす るように最適化
17. カメラとレーン地図による自己位置推定 #7 Line segment detection Graph based segmentation レーン地図 Particle Filter Cost Map Road Line 比較的安価なセンサによる自己位置推定を 実現するために、カメラとレーン地図との マッチングを行うことによって位置推定
18. GNSSによる位置推定 #8 • 安価なGNSSとIMUと車速を組み合わせることで自動運転に必要なレーンレベ ルでの自己位置推定を実現 • 空間特徴量が少ない場所でも利用可能
19. Detection #9 深層学習ベース ルールベース 認識維持機構 Multi Object Tracking CameraLiDAR Radar 学習したものを検出 学習していない 未知物体も検出 安定した 検出対象を維持 点群をBEVの特徴量 画像に変換 物体の中心を当てに行き、大きさ姿勢 も同時に出力 Yin, Tianwei, Xingyi Zhou, and Philipp Krähenbühl. "Center-based 3d object detection and tracking." arXiv preprint arXiv:2006.11275 (2020).
20. Domain Adaptation #10 3D Detection Model 3D Detection Model 3D Detection Model 3D Detection Model 3D Detection Model 3D Detection Model 大規模データセット 大規模データセット 走行データ 適合先データセット 適合先データセット 走行データ Fine Tuning Fine Tuning Teacher ModelによるLabel生成 莫大なコスト 人によるアノテーション作業 走行するだけで ・プロダクトへの適用 ・継続的な性能向上 Domain Gap • Sensor • Environment • Etc. 0.6 0.65 0.7 0.75 何もなし 人によるアノテーション Teacher Modelによるアノテーション 大きく精度が下がる とある環境で学習したモデルを 別の環境にDeployした場合 人によるアノテーションと ほぼ同等
21. Tracking #11 Autowareでは検出結果をもとにTrackingを行うTracking By Detectionを採用 Trackerと観測のマッチング マッチング失敗 観測 マッチング成功 マッチング失敗 Tracker Trackerの生成 Trackerの更新 Trackerの予測 更新 推定結果を送信 Trackerを削除 信頼度が 高い 信頼度が 低い 役割：時系列処理を行い、各オブジェクトのトラッキングを行う • 誤検出の除去 • 観測ノイズの除去 • 速度・加速度情報の生成 • ID付 Tracker1 Tracker2 観測 予測 予測 … Tracker1,2と観測をどう割り当てる？ パターン1 パターン2 パターン3 各Trackerで同じ観測が被らない ように組み合わせ最適化を行う = パターン2はNGとする
22. Prediction #12 マップ情報を使用して障害物の移動経路を予測 1. 車両はレーンの中心に向かって最小のジャークで運転す ることを想定しFrenet座標系で最適化 2. 予測される経路が複数ある場合（例：車線変更など）、 車両の位置と姿勢によって評価されたスコアとともにい くつかの予測経路 (*1) M. Werling, J. Ziegler, S. Kammel, and S. Thrun, “Optimal trajectory generation for dynamic street scenario in a frenet frame,” IEEE International Conference on Robotics and Automation, Anchorage, Alaska, USA, May 2010. (*2) A. Houenou, P. Bonnifait, V. Cherfaoui, and Wen Yao, “Vehicle trajectory prediction based on motion model and maneuver recognition,” in 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, nov 2013, pp. 4363–4369. Vehicle dynamics model (*1) Estimation of lane change probability (*2) Transformer Based Prediction Rule Based Prediction お台場での予測動画 マップ情報とオブジェクト情報をもとにTransformer(*1)で 8秒間の予測 (*1)MTR++: Multi-Agent Motion Prediction with Symmetric Scene Modeling and Guided Intention Querying
23. Occupancy Grid Map #13 • Occupancy Grid Mapとは？：障害物の占有確率を表現したMap • 用途：主に死角情報を表現するために利用 1. 疑似3Dのraycastを行い各グリッドの占有グリッドマップを作成 2. 各グリッドでバイナリベイズフィルタを使い時系列処理
24. Obstacle Segmentation #14 動物体だけでなく、ぶつかってはいけない障害物を計算 極座標系で角度ごとに区切り、スロープを考慮して障害物を判定
25. Traffic Light Recognition #15 Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector Classifier Sensing Image Preprocessor Camera Route Rectifier Map Image red 高精度地図がないとどうなるか？ • 自車に関係する信号機を判断する必要がある • 見えている信号機に対応する停止線はどこかわからない 右折中に見えた信号機 のため無視しなければ いけない Occlusion Detector CNN red 入力 画像 点群を使って信号の隠蔽率を計算 70%unknown
26. Imitation Learning based Trajectory Sampler #16 実際のドライビングデータを利用し、自車が周囲の状況から走ることのできる軌跡 を学習し、候補経路としてサンプリング
27. Path Optimization #17 自動運転における経路生成への要求 1. 走行可能できる領域内を走る（レーン・縁石・障害物、etc） 2. 車両運動には拘束条件がある（真横に移動できない、etc） 3. その上で、なるべくレーンの中央を滑らかに走行したい • 解析的アプローチ（クロソイド、スプライン、etc） • 数値的アプローチ • 非凸：非線形最適化ソルバーでの解法 • 凸：凸最適化ソルバーでの解法 画像引用元：https://qiita.com/taka_horibe/items/0c9b0993e0bd1c0135fa
28. Velocity Optimization #18 交差点・前方車追従・カーブなど、種々 の速度指示下において、加速度・ジャー ク成約を考慮して速度計画を行う
29. Pure Pursuit #19 経路の前方に目標点を設定し、そこへ向 かうよう目標操舵角を計算
30. Model Predictive Control #20 Autowareで利用されているデフォルトの制御器 • シンプルな2輪キネマティクスモデルとステ ア・加速度を1次近似したダイナミクスを利用 • 線形近似は目標軌道近傍で実施 • 凸最適化問題に落とし込み、OSQPで解く Linear Model: Cost Function: Pure Pursuit 経路の前方に目標点を設定し、そこへ向かうよう目 標操舵角を計算 MPC 車両データ*を用いて将来の動作を予測し、 最も上手く経路に沿う操舵角を計算
31. 経路追従：MPPI+iLQR #21 Nonlinear Model: to solve SHJB: MPPI: Model Predictive Path Integral Control iLQR: Iterative Linear Quadratic Regulator to solve HJB: 線形化とLQRの計算を繰り返し、非線形最適制御の解を計算する 確率モデルのサンプリングから求まる期待値を用いて、 非線形確率最適制御の解を計算する コード：https://github.com/autowarefoundation/autoware.universe/pull/6805
32. LLMと自動運転の連携 #22 目的地の指示や発進確 認などをLLMを使って 連携 ハイレベルなDecision Making等の連携実装中
33. 性能解析ツール CARETの開発 #23 • CARET (https://github.com/tier4/caret) はOSSとして公開中 • ROSCon 2022で発表 • 解決したい課題 • Autoware内部には100以上のノードが存在し、それぞれがPub-Subで 接続され様々な機能を実現している • プロセスやコールバックの処理時間を計測するだけでは不十分 • CARETで実現できること • コールバックに加え、パス解析まで可能 フィードバック 問題点の発見、改善 計測 可視化
34. Game Engine Based Simulator #24
35. Thanks Again ! CONTACT US https://tier4.jp/