Turingにおける自動運転モデルの開発とW&Bの活用

by Inoichan

Slide 1

Slide 1 text

Turingにおける自動運転モデルの開発とW&Bの活用 Fully Connected 2023 Tokyoカンファレンス

Slide 2

Slide 2 text

自己紹介 ❖ Inoue Yuichi ❖ Turing Inc.　Brain Research Team ❖ 京都大学博士（薬学） ❖ Kaggle Competitions Grandmaster

Slide 3

Slide 3 text

KaggleでもW＆Bはフル活用

Slide 4

Slide 4 text

KaggleでもW＆Bはフル活用

Slide 5

Slide 5 text

今日お話しすること ● Turingの紹介 ● Turingの自動運転戦略 ● Driver modelの開発 ● Navigator modelの開発

Slide 6

Slide 6 text

Turing株式会社事業内容: 完全自動運転EV車両の開発・製造 AIとソフトウェアに長けた人材が中心となって創業。創業時から2つの大きな課題に取り組んでいる。 - 完全自動運転の実現 - 新たな完成車メーカーの誕生

Slide 7

Slide 7 text

Turingのこれまで 2021年8月創業 2021年12月 AI-based PoC 自動運転システムを構築 2022年7月 10億円の資金調達 2022年10月北海道一周（約1,400㎞）を自動運転で走破 2022年 11月 500時間分の走行データ基盤を作成 2023年2月 THE FIRST TURING CAR を販売完了 2023年6月車両生産拠点開所 Turing Kashiwa Nova Factory 2023年3月 AIデザインの「完全自動運転 EV」コンセプトカーを発表 2023年3月国産LLM開発着手 2023年4月経済産業省主導「J-Startup企業」に選出

Slide 8

Slide 8 text

We Overtake Tesla Turing’s Mission 米中では何百社もEV・自動運転スタートアップがあります。我々だってできる。 Turingは数百兆円の産業で大きく挑戦し、世界で戦う大きなチームを創り出します。

Slide 9

Slide 9 text

Turingの自動運転戦略

Slide 10

Slide 10 text

Turingが目指すのは完全自動運転自動運転には5つのレベルがある。 Turingが目指す自動運転車はハンドルがない市販車。 Level 1 運転支援 Level 2 部分自動化 Level 3 条件付き自動化 Level 4 高度自動化 Level 5 完全自動運転人間が主体運転システムが主体領域・条件を限定全てを代替

Slide 11

Slide 11 text

従来のセンサ＋高精度地図を用いた手法 Honda Sensing Elete Waymo

Slide 12

Slide 12 text

「運転」には複雑で未知の状況が無限に存在する難・少 Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving Vehicles

Slide 13

Slide 13 text

Driver modelとNavigator model Driver センサを使い認知・推論を高速に行う軽量モデル Navigator 総合的な認知・意思決定を行う大規模基盤モデル人間の自然言語による命令の解釈や背景知識に基づく総合的な判断を行う。速い反応が要求されるdrivingと複雑な判断が要求されるnavigationを分離する戦略 What does a rally co-driver do?

Slide 14

Slide 14 text

Driver modelの開発

Slide 15

Slide 15 text

高品質のセンサと高精度3次元地図はハイコスト ● センサの精度と価格は比例する。 ● 高精度マップに依存しすぎると、地図がない場所で運転できない。 ● 市販車にこの見た目は受け入れられる...？？ 8 Questions With James Peng of Pony.ai, One of China's Most Valuable Autonomous Vehicle Startups nuplan

Slide 16

Slide 16 text

Vision Centricな自動運転 ● マルチカメラを用いたEnd-to-endのアプローチは産学ともに大本命のアプローチ ● RGBの映像はかなりリッチな情報 ● 画像を扱う技術はかなり成熟している。 Tesla AI Day 2022 CVPR 2023 Best Paper UniAD

Slide 17

Slide 17 text

TuringのLevel 2 Driver model カメラの映像をフル活用して開発された Turingの自動運転 ● 自動運転率95%で北海道一周 ● The First Turing Car (Sold!) ● 100台生産の新型車両 (2024年!) The First Turing Car 自動運転システム

Slide 18

Slide 18 text

データ収集システムカメラ + 各種センサ情報を継続的に収集できるよう車載システムを構築 ● センサシステム ○ カメラ、GPS、加速度計 ... ○ アクセル、ブレーキ、ハンドル ... ● 低コスト・低消費電力 ○ 20万円以下 & 100W 以下 ○ データアップロードは物理デバイス経由車載システム構成データ収集車両カメラ取り付け位置 Shimatani ECU

Slide 19

Slide 19 text

機械学習システムデータ取得・アップロードデータ処理・データレイク学習デプロイ

Slide 20

Slide 20 text

学習のモニター Driver modelは学習をどんどん回してW＆B上でモニター

Slide 21

Slide 21 text

学習のモニターモデルの補助Lossなどの状態も Stepごとに可視化どのように学習が進んでいるか、モデルの特性の考察に使用 More steps More steps Model A Model B

Slide 22

Slide 22 text

学習したモデルの評価学習の結果はシミュレーターにデプロイされ、Slackに通知される。良さそうなモデルを抜粋し、テストコースによる実車で評価を行う。

Slide 23

Slide 23 text

Navigator modelの開発

Slide 24

Slide 24 text

現行技術の延長で実現できるか？人間は初めてのケースでもその場で考えてなんとか回避できるハイコンテキスト未知のパターン waymo at eccv 2022

Slide 25

Slide 25 text

自然言語的コンテキストを理解運転世界に存在する自然言語で説明可能な状況をうまくDriver modelに統合することがNavigator modelの鍵 Microsoft LlaVA 1.5 Turing Heron

Slide 26

Slide 26 text

自動運転 x 自然言語は最先端のトピック Wayve LINGO-1 OpenDriveLab DriveLM 香港大 DriveGPT4 Huawei HiLM-D

Slide 27

Slide 27 text

Heron: Vision Language Model Library ● 様々なモデルの組み合わせで学習可能なHeronをリリース ● 日本語データセットも用意してNavigator modelのベースとして開発中

Slide 28

Slide 28 text

Navigator modelの実験における可視化どういうデータ？学習はうまく進んでる？結果は？ Referring Multi-Object Tracking LLaVA: Large Language and Vision Assistant

Slide 29

Slide 29 text

データの可視化データセットのサンプルや統計情報を W&Bにアップしてチームで共有

Slide 30

Slide 30 text

学習状態のモニター学習のパフォーマンスや安定性をモニターするために、 TFLOPSやOptimizerの状態も監視している。

Slide 31

Slide 31 text

学習状況のモニター学習途中の評価時にもランダムに推論させた結果を保存することで、学習がうまくいってるかやどの程度のLossでどのくらいの出力ができるかを確認する。

Slide 32

Slide 32 text

結果の確認学習したモデルは、Nejumi LLMリーダーボードにインスパイアされて Leaderboard風に管理

Slide 33

Slide 33 text

個別の結果の確認ランダムにサンプリングした結果をTableでアップロードしておくことで、モデルの比較をしながら評価指標と実際の予測の感覚を磨いていく。

Slide 34

Slide 34 text

まとめ - 深層学習モデルの開発に関して、モニターしたいLossや評価指標、学習の状態など様々なものをW&Bを活用することで簡単に共有できる。 - 学習に限らず、データや結果の確認、共有にもW&Bがかなり使える。 - W&Bをフル活用してTuringの自動運転開発を今後も加速させていきます！

Slide 35

Slide 35 text

Acknowledgement & We are hiring!!! 今日の発表内容はTuringのAutonomous driving teamとBrain research teamの成果です！優秀なメンバーに感謝！新しいメンバーも募集しているので興味がある人はぜひTuringへ！