Turing TechTalk #7 E2E自動運転AIの開発プロセス

https://turing.connpass.com/event/334607/
Turingが取り組む「E2E自動運転AI」をテーマに、従来の自動運転システムとの違いや開発プロセス、取り組んでいる課題をお話しします。

E2E自動運転ではMLモデルが主役になり、収集するデータの要件やAIモデルを日々アップデートしながら開発に取り組んでいます。 現場では多くのMLエンジニアやソフトウェアエンジニア、ハードウェアエンジニアが活躍しており、今回はマネージャーの棚橋がチーム全体の開発プロセスをご紹介します。

Transcript

1. Turing流 E2E⾃動運転AIの開発プロセス Turing TechTalk! #7 2024.11.15 19:00-19:45
2. Twitterハッシュタグ： #TuringTechTalk Turing TechTalk! #7 19:00 オープニング‧全体案内 19:05 End-to-Endモデル開発の紹介 19:15 ディスカッション＆質疑応答 19:45 終了 TechTalkとは？ スケジュール メンバー ⼭⼝ 祐  CTO / Director of AI  ⾃動運転‧⽣成AI開発を統括 棚橋 耕太郎  E2E⾃動運転チーム  チームリーダー   E2E⾃動運転、Tokyo30にむけた TD-1モデル開発を指揮 質問はYouTube Liveコメントまで! チューリングの最新の研究開発内容を、担当する エンジニアが直接解説するオンラインイベント。 今回は「E2E⾃動運転とその開発プロセス」に ついて深掘りします。 2
3. Twitterハッシュタグ： #TuringTechTalk チューリング株式会社 累計調達額: 60億円 従業員数: 45名+ 会社概要 事業 完全⾃動運転⾞の開発 ⽣成AIによる実現を⽬指す 代表取締役: ⼭本⼀成 設⽴: 2021年8⽉ 3
4. Twitterハッシュタグ： #TuringTechTalk End-to-Endモデル「TD-1」 4 ⾃社GPUクラスタで学習したEnd-to-End⾃動運転モデル 2024年10⽉から⾛⾏試験を開始 ⽇本経済新聞 2024/10/30
5. End-to-end⾃動運転 とその開発プロセス
6. End-to-end 自動運転AI マルチカメラ画像 Neural Network 車の経路 我々のアプローチ : End-to-endモデルを構築し画像から車の経路を直接出力する 画像 LiDAR点群 HDマップ Perception • 物体認識 • 標識認識 • レーン認識 Prediction • 移動予測 • 将来マップ予測 • 交通エージェント Planning • 探索問題 • 経路計画 Control • 制御アルゴリズ ム 従来のシステム
7. MLOps for Tokyo30 データ収集 自動運転MLモデルを作る ”工場”の開発 = MLOps データセットの作成 モデル開発 モデルデプロイ データセントリックAI開発にお いて重要！
8. 4万時間のデータ収集 • データ収集がTokyo30の本質。4万時間以上を1年で集め切る。 • 1日10時間 × 5台 → 1日18時間 × 10台 になる予定。 カメラ GNSS LiDAR
9. E2E自動運転モデル : TD01 様々な認識と予測タスクを行うことで「世界を表すベクトル」を獲得する Neural Network 3D物体認識 & 移動予測 マップ認識 BEV 3次元特徴 multi-camera images 経路生成 future trajectory
10. モデルの推論結果 青信号での発進 ウィンカーへの追従
11. E2E自動運転開発の難しさ (=面白さ) • データの品質が超重要。 ◦ データ収集の品質がよくないと全てが失敗する（センサーの選定、センサーキャ リブレーション、自己位置推定、時刻同期、etc) • データが全て。故にデータ起因の罠が多く存在。 ◦ 共変量シフト問題、Causal confusion問題、学習データのバイアス • モデルの性能は実車を走らせないとわからない。 ◦ 過去データに対する推論(Open-loop)スコアは参考値にしかならない ◦ 正確な実車評価を素早く行える体制の構築が重要 • 車両とモデルの融合。 ◦ 机上で作ったMLモデルで、車という物理デバイスをどう動かすか （意図通りの推論ができているか、車両の個体差や非線形な挙動にどう対処す るか）
12. Twitterハッシュタグ： #TuringTechTalk アンケートのご案内 概要欄記載のアンケートへの ご協⼒をお願いします （所要時間：1~2分） 12 QRコードからも回答可能です 👇
13. Twitterハッシュタグ： #TuringTechTalk 完全⾃動運転の技術を ⼀緒に作る仲間を募集しています ‧MLエンジニア ‧リサーチャー ‧ソフトウェアエンジニア ‧インフラエンジニア        and more… 気になった⽅はYoutube概要欄の 求⼈のURLからご応募ください！ 採⽤情報のご案内 13
14. Twitterハッシュタグ： #TuringTechTalk 11⽉は10名が⼊社 更なる体制拡⼤を⽬的に⼊社 キャンペーンを延⻑します！ 採⽤情報のご案内 14
15. Twitterハッシュタグ： #TuringTechTalk イベント告知 ➡アンケート回答後の画⾯からお申し込みをお待ちしております！ 15 11/28（木）18:30～ チューリング寿司ナイト 12/11（水）19:00～ TechTalk#8 E2E自動運転AI開発の データ基盤を支える技術 11/25（月）18:00～ Turing × CADDi オンライ ンイベント／ソフトウェアエ ンジニアと MLOps