E2E ⾃動運転モデル開発 on AWS "⼤"テック業界忘年会 Amazon Web Services Inc. Global Automotive Solutions Architect Ryota Yamada

好きなAWSのサービス： 趣味： 謎解き、サッカー観戦、フットサル 得意なこと：夜更かし 苦手なこと：早起き Ryota Yamada / riita10069 Global Automotive SA / TFC Containers Lead / TFC Automotive

E2E ⾃動運転 https://www.thinkautonomous.ai/blog/tesla-end-to-end-deep-learning/ Traditional: 独⽴したモジュールを複数 Modular: 独⽴したニューラルネットを複数 E2E: 単⼀のニューラルネットが Trajectory を推論

UniAD @ CVPR2023 by OpenDriveLab https://arxiv.org/pdf/2212.10156

https://driveteslacanada.ca/news/tesla-ai-day-simplified/

UniAD @ CVPR2023 by OpenDriveLab https://arxiv.org/pdf/2212.10156 Input • 6x camera images • Transformation between camera • Navi, forward or left/right CrossAttentionによるベクトル更新 Output • BEV Feature • Multi Object Tracking • Segmented map • Trajectories of Top-k

Transformer の出現と Scaling Law • Transformerの性能は『（埋め込み層を除く）モデルのパラメータ数 NN』『訓練データセットに含まれるトークン数DD』『訓練計算量CC 』等の変数によって記述される冪乗則に従う Scaling Laws for Neural Language Models (Jared Kaplan, Sam McCandlish et al., 2020-01-23)

From Model-centric to Data-centric AI https://www.youtube.com/watch?v=06-AZXmwHjo AI System = Model Algolism + Training Data Model-centric Approach Data-centric Approach 改善 改善 アルゴリズムは、Transformer で固定して データの量を増やしたり品質を改善する その⽅がモデルの改善に⼤きく寄与する

From Model-centric to Data-centric AI https://www.youtube.com/watch?v=06-AZXmwHjo AI System = Model Algolism + Training Data Model-centric Approach Data-centric Approach 改善 改善 アルゴリズムは、Transformer で固定して データの量を増やしたり品質を改善する その⽅がモデルの改善に⼤きく寄与する BigData + Good Data

⾃動運転 AI の本題へ – 課題はロングテール問題 https://arxiv.org/pdf/2305.07497 IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 1 Dynamically Conservative Self-Driving Planner for Long-Tail Cases Weitao Zhou, Zhong Cao, Nanshan Deng, Xiaoyu Liu, Kun Jiang, Diange Yang 現代の技術では、99 % の運転時間において AI による自動運転は可能 しかし、 100 % でないと完全自動運転とは言えない 難しい状況に限ってトレーニングデータにない

⾃動運転 AI の世界でも Data-centric AI Approach1: ⾃動運転⽤データセットの発展 Approach2: 閉ループ駆動型アプローチ

第3世代データセット – ⽣成 AI によって⽣成 : Xu et al. "State-of-the-art Autonomous Driving Datasets: Classification and Development." arXiv preprint arXiv:2401.12888 (2023). https://arxiv.org/pdf/2401.12888

DriveLM Dataset by OpenDriveLab https://arxiv.org/pdf/2312.14150 217,522フレームのデータ、約280万件のQAペア 第⼆世代の nuScenes は30,000フレーム

世界シミュレーター • 世界シミュレーター as Dataset • 滅多に起こらない状況を作成することでパラメータの活性化 • 様々な時空間点を作成することで共変量シフト問題への解決 • 世界シミュレーター as Simulator • のちに紹介する Closed-loop なアプローチで利⽤可能 • 世界シミュレーター as AD Model • ⾃動運転モデルそのもののサブタスクの⼀つとしても考えられる

GAIA-1 https://arxiv.org/pdf/2309.17080

開ループと閉ループ • 開ループ • 現実世界の実⾞両から取得した⾛⾏データを模倣する • 閉ループ • CARLA などのシミュレータを通して⾛⾏能⼒を評価する

閉ループ駆動型データプラットフォーム Data-Centric Evolution in Autonomous Driving: A Comprehensive Survey of Big Data System, Data Mining, and Closed-Loop Technologies, https://arxiv.org/html/2401.12888v2 (I)データ収集 (II)データ保存 (III)データ選択と前処理 (IV)データラベリング (V)ADモデルトレーニング (VI)シミュレーション/テスト検証 (VII)実世界展開

(I)データ収集(II)データ保存: IoT Fleetwise https://aws.amazon.com/jp/blogs/news/announcing-aws-iot-fleetwise-vision-system-data-preview/

(I)データ収集(II)データ保存: IoT Greengrass Camera/GNSS/LiDAR IoT Greengrass Connected Car installed IoT Greengrass Core AWS Cloud MQTT topic AWS IoT Core Device management IoT Rule Certs management

(III)データ選択と前処理 • 保存したデータには何があるか • Probe, LiDAR, Camera, NIR(近⾚外線), GNSS etc… • ETL • 動画から画像への変換 • 歪みの矯正 • バリデーションやクレンジング • フレーム⾶び • カメラの前に障害物があり何も映ってないもの • ファイル⾃体の破損 • メタデータの収集(timestamp, GNSS, 天気、気温、⾛⾏速度 etc...) • MLモデルを利⽤した加⼯ Python Shell Sagemaker Processing

(IV)データラベリング – オートアノテーション • 3D 静的シーンラベリング • 運転場所(街路、⾼速道路、都市の⾼架道路、メイン道路など) • 天候(晴れ、⾬、雪、霧、雷⾬など) • etc.. • 3D 動的オブジェクトラベリング • ⾞両 • 歩⾏者 • 信号機の⾊ • etc..

(IV)データラベリング – Waymo Pipeline LiDAR から教師なし学習により3D物体検出を⾏う⼿法 1.初めに点群からの物体検出を⾏う 2.次に⾃⼰運動(エゴモーション)を除去する 3.シーケンス全体から検出した物体をトラッキングする 教師なしで物体検出を⾏うため、⼈⼿によるラベリング作業が不要 Offboard 3D Object Detection from Point Cloud Sequences, https://arxiv.org/pdf/2103.05073

(IV)データラベリング – Uber Auto4D 連続的なLiDARポイントクラウドデータから4次元物体ラベルを⽣成 https://arxiv.org/pdf/2101.06586 https://www.youtube.com/watch?v=1cyjlOGXJPM

(IV)データラベリング – SelfOcc • NeRF が応⽤され、⾃⼰教師あり学習によりボクセル表現を獲得 • 進度推定、深度合成などのサブタスクでも⾼い性能 https://arxiv.org/abs/2311.12754

(IV)データラベリング – NVIDIA MegLev https://www.youtube.com/watch?v=HuIWTwE28QE ⼿動のラベリングもツールによって効率化 • Segment Labeler • これはビデオの特定の区間にタグを付ける • 2D Image Labeling • オブジェクト検出のためのバウンディングボックス • LiDAR Labeling • カメラと連携する • Sensor Fusion のために必要なラベルがある • Object Tracking • 複数フレームにわたって同じオブジェクトを追跡

(V)モデルトレーニング – AWS Trainium & JARK AWS Trainium および Inferentia GPU に⽐べて、AWS での 1000 億パラメータ以上の 基盤モデルおよび⼤規模⾔語モデルの DL トレーニングでコストを最⼤ 50% 削減 深層学習の推論アプリケーションでコストを最⼤ 70% 削減し、スループットを 2.3 倍に向上 Neuron SDK AWS Trainium 向けに深層学習モデルを最適化するよう調整 Ray フレームワーク Ray Data は分散データ読み込みを簡素化し、クラウドストレージからファイルを効率的に読み取り、 トレーニング⽤にデータを分割するためのシンプルなインターフェイスを提供します。 Ray Train は、複数のコンピューティングノードにまたがる分散トレーニングを簡素化します。 Ray Tune は実験の実⾏とハイパーパラメータのチューニングを⾏います。 Ray Serve はオンライン推論 API を構築するためのモデルサービングライブラリです。 https://awslabs.github.io/data-on-eks/docs/blueprints/ai-ml/jark JARK on EKS

https://pages.awscloud.com/rs/112-TZM-766/images/RECAP_AUTO_4_Automotive-AIML.pdf

Mobileye 事例 https://aws.amazon.com/jp/blogs/news/mobileyes-journey- towards-scaling-amazon-eks-to-thousands-of-nodes/ 1 つのクラスターで、最大 40,000 Pod、100,000 以上の vCPU が存在する、最大 3,200 ノードまでスケール可能 数千の Spark エグゼキューターを起動する Spark クラスター GPU や Habana Gaudi アクセラレーターなど、必要な時に 利用できるだけの計算能力を利用 Mobileye では、最先端のカメラ、コンピューターチップ、 およびソフトウェアを使用して、自動運転技術と先進運 転支援システム (ADAS) を開発しています。Mobileye の AI エンジニアリング部は、ワークフロー、DAG、ML/DL の学 習ワークフロー、基本的なバッチジョブなど、多様なタ イプのワークロードを実行する様々なエンジニアリング チームをサポートしています。

ご清聴ありがとうございました Global Automotive Solutions Architect Ryota Yamada