Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
End-to-End自動運転開発チーム紹介資料
Search
Turing
PRO
August 19, 2024
1
430
End-to-End自動運転開発チーム紹介資料
Turing
PRO
August 19, 2024
More Decks by Turing
See All by Turing
Turing TechTalk! #6
turing
PRO
2
460
Turing Company Deck Nobember 2024ver
turing
PRO
0
33
Turing TechTalk #5
turing
PRO
1
640
Edge Computer開発チーム/紹介資料
turing
PRO
0
87
生成AIチーム/紹介資料
turing
PRO
0
160
Turing会社紹介資料
turing
PRO
5
62k
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
A Tale of Four Properties
chriscoyier
156
23k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Bash Introduction
62gerente
608
210k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
The Language of Interfaces
destraynor
154
24k
Documentation Writing (for coders)
carmenintech
65
4.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
Building Applications with DynamoDB
mza
90
6.1k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Code Reviewing Like a Champion
maltzj
520
39k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Transcript
End-to-End⾃動運転開発チームの紹介 End-to-End⾃動運転モデルの開発
Tokyo30 2025年末までに、カメラと AIだけで 東京エリアを30分以上介入なしで走行し続ける自 動運転モデルを開発します
End-to-end(E2E)自動運転の構成要素 Gateway (CAN, Ethernet) 自動運転ECU カメラ / GNSS / IMU
アクセル・ブレーキ・ステアリング IVI・ナビゲーションシステム Following the Biological Evolution、「人間は目が良いからではなく、頭が良いから運転できる」
従来の自動運転システム 画像 LiDAR点群 HDマップ Perception • 物体認識 • 標識認識 •
レーン認識 Prediction • 移動予測 • 将来マップ予測 • 交通エージェント Planning • 探索問題 • 経路計画 Control • 制御アルゴリズ ム https://paperswithcode.com/dataset/nuscenes prediction perception planning 機能ごとに分かれたモジュールが独立に動くので 全体最適化ができない
End-to-end 自動運転AI マルチカメラ画像 Neural Network 車の経路 我々のアプローチ : End-to-endモデルを構築し画像から車の経路を直接出力する 画像
LiDAR点群 HDマップ Perception • 物体認識 • 標識認識 • レーン認識 Prediction • 移動予測 • 将来マップ予測 • 交通エージェント Planning • 探索問題 • 経路計画 Control • 制御アルゴリズ ム 従来のシステム
E2E自動運転モデル 様々な認識と予測タスクを行うことで「世界を表すベクトル」を獲得する Neural Network 3D物体認識 & 移動予測 マップ認識 世界を表すベクトル multi-camera
images 経路生成 future trajectory
MLOps for Tokyo30 データ収集 自動運転MLモデルを作る ”工場”の開発 = MLOps データセットの作成 モデル開発
モデルデプロイ データセントリックAI開発にお いて重要!
4万時間のデータ収集 データ収集車が毎日10時間365日走行し、2025年までに4万時間の 走行データを集めます データ収集エリア(一般道 (緑)と高速道路(紫)) カメラ GNSS LiDAR
データ収集ルートの自動生成 • OpenStreetMap API + 国土地理院の道路データを使って候補道路を抽出 • Google Maps APIを使ってカバレッジ条件を満たすルートを生成
東京中心部 大崎からお台場 生成したルートの例
3次元物体アノテーション • そもそも3次元物体検出とは? ◦ 人や車など運転に関係するオブジェクトを3次元座標上のボックスで推測 ◦ 2次元物体検出と異なり、教師データの作成にLiDAR点群データが必要 最近アップデートされた TeslaのUI
3次元物体アノテーション
ベクターマップ作成 • そもそもマップは何に使うのか? → カメラ画像から地図を推論する (NNにとって強力なサブタスクになる) FSDのUIに表示されているマップ
ベクターマップ作成 • 車線、走行可能エリア、センターラインのポリラインを作成する 5月に作成した地図 (アイサンテクノロジー ) 交差点のトポロジー
センサーキャリブレーション データ収集車両のカメラやセンサーのキャリブレーション
センサーキャリブレーション 画像上にパスを重ね合わせた結果 • MLモデルを一通り学習するためのキャリブレーションは完了 Camera-to-Camera
JADD • Turingが作る日本の自動運転AIの 学習用データセット • 「日本の自動運転データセットといえ ばJADD」を目指す! • nuScenesと完全互換なので、既存 の公開されている研究用MLモデル
のほぼ全てを日本用に学習できる!
JADDを使うための SDK • nuScenes-devkitをforkしてjadd向けのdevkitを作成 • nuScenesと同じインターフェイスでjaddにアクセスできる
Data-Centric Approach モデル データ モデルだけでなく、データを改善することで全体の精度を高める • データ量 : 大量のデータで学習を行う(膨大な計算資源が必要) •
多様性:撮影環境や地域が異なる 多様な交通条件での走行データ が求められる • フィルタリング :上手な運転のみを学習させたい • Auto-labeling:教師データも質と量が重要で、高精度な生成アプローチが必要である 学習 全体の精度改善 = モデル構造の改善 × データの改善
データ処理基盤 車両で収集したデータ (2.5TB/日)はクラウド環境で大規模並列処理される 作成したデータセットは SDKを通してMLフレームワークから読み込む
tuScenes Studio web画面からクリーニング処理やバリデーションの処理を実行することができる https://data.turing-ai.dev/scene?token=4cfd38a01499758be9ae0cbe56c32dbd
JADDでモデル学習を開始 • お台場の350シーン程度(想定の0.0007%)のデータを使ってモデル学習の初期検 証を開始
JADDでモデル学習を開始 • お台場の350シーン程度(想定の0.0007%)のデータを使ってモデル学習の初期検 証を開始
データ量に関するスケーリング則 • データ量を増やすと精度が対数スケールで下がることを確認した • 学習に使うデータを増やしていくことが重要! 衝突率
エンジニア構成⽐率‧チーム⼈数 0 67 % 38 % 全体に占めるエンジニアの人数 E2Eチームの人数 ※他チームは約24%、約38%
全体職種別構成比率 E2Eチーム構成比率
エンジニアバックグラウンド 0 AI Talent Software Engineer Kaggle Grandmaster Kaggle Master
採⽤求⼈⼀覧 E2Eチームでは下記のポジションを求めています。8名体制のチームを3~4倍規模に拡張予定で、多 くのエンジニアを募集中です。 0 Senior Machine Learning Engineer Senior Software
Engineer,MLOps Senior Software Engineer,Data Platform Product Manager,Dataset Machine Learning Engineer Computer Vision / 3D Reconstruction
Recruit Process|正社員 0 柔軟な選考フロー 左に記載している選考フローはあくまでも基本的な形 式です。 皆さんのご状況に応じて、面談・オフィス見学・ Open Officeなどの調整が可能です。 もちろん他社選考状況に応じて当社の選考プロセス
を早めたい等というご相談も可能です。 また、ポジションによっては技術試験やワークサンプ ルなどを追加で実施するケースがあります。 ※選考期間の目安は、およそ 2〜3週間です。
Recruit Process|インターン 0 体験入社について 体験入社では、SlackやNotionなど社員と同じレベ ルで社内情報にアクセスできる情報を共有し、配属予 定チームの社員と最長 2日間一緒に働いていただくプ ロセスです。 チューリングのカルチャーを体感いただき、お互いに
ミスマッチがないかを確認するための場になります。
よくある質問 0 Q.リモートでも働けますか? ご自身やご家族の体調や事情(荷受けが必要など)など事前承認があった場合はリモートでの就業が可能です。 出社をベースとしつつも状態に合わせてリモートをフレキシブルに活用できる状況になっています。
Q.フレックスタイム制度について教えてください 10:00~15:00がコアタイムのフレックス制度があるので柔軟な働き方ができます。 15時に退勤してプライベートを楽 しむ社員が多いです。 Q.社内で情報はどのようにオープンにされていますか? チューリングでは所属する各メンバーが自律して意思決定ができるよう、可能な限り情報を公開しています。具体 的には経営陣の意思決定や開発進捗は毎週の全体会議や Slackなどオープンな場で、センシティブな項目(特に 採用条件など人事的な決定)を除き全てを公開しています。
We Are Hiring! https://tur.ing/