Turingにおける自動運転モデルの開発とW&Bの活用

2023/10/11に開催されたFully Connected 2023 Tokyoカンファレンスの資料です。
イベントページ: https://fullyconnected.jp/

Transcript

1. Turingにおける自動運転モデル の開発とW&Bの活用 Fully Connected 2023 Tokyoカンファレンス
2. 自己紹介 ❖ Inoue Yuichi ❖ Turing Inc.　Brain Research Team ❖ 京都大学 博士（薬学） ❖ Kaggle Competitions Grandmaster
3. KaggleでもW＆Bはフル活用
4. KaggleでもW＆Bはフル活用
5. 今日お話しすること • Turingの紹介 • Turingの自動運転戦略 • Driver modelの開発 • Navigator modelの開発
6. Turing株式会社 事業内容: 完全自動運転EV車両の開発・製造 AIとソフトウェアに長けた人材が中心となって創業。 創業時から2つの大きな課題に取り組んでいる。 - 完全自動運転の実現 - 新たな完成車メーカーの誕生
7. Turingのこれまで 2021年8月創業 2021年12月 AI-based PoC 自動運転システムを構築 2022年7月 10億円の資金調達 2022年10月 北海道一周（約1,400㎞）を 自動運転で走破 2022年 11月 500時間分の 走行データ基盤を作成 2023年2月 THE FIRST TURING CAR を販売完了 2023年6月 車両生産拠点開所 Turing Kashiwa Nova Factory 2023年3月 AIデザインの「完全自動運転 EV」 コンセプトカーを発表 2023年3月 国産LLM開発着手 2023年4月 経済産業省主導 「J-Startup企業」に選出
8. We Overtake Tesla Turing’s Mission 米中では何百社もEV・自動運転スタートアップがあります。我々だってできる。 Turingは数百兆円の産業で大きく挑戦し、世界で戦う大きなチームを創り出します。
9. Turingの自動運転戦略
10. Turingが目指すのは完全自動運転 自動運転には5つのレベルがある。 Turingが目指す自動運転車はハンドルがない市販車。 Level 1 運転支援 Level 2 部分自動化 Level 3 条件付き自動化 Level 4 高度自動化 Level 5 完全自動運転 人間が主体 運転システムが主体 領域・条件を限定 全てを代替
11. 従来のセンサ＋高精度地図を用いた手法 Honda Sensing Elete Waymo
12. 「運転」には複雑で未知の状況が無限に存在する 難・少 Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving Vehicles
13. Driver modelとNavigator model Driver センサを使い認知・推論を高速に行う軽量モデル Navigator 総合的な認知・意思決定を行う大規模基盤モデル 人間の自然言語による命令の解釈や背景知識に 基づく総合的な判断を行う。 速い反応が要求されるdrivingと複雑な判断が要求されるnavigationを分離する戦略 What does a rally co-driver do?
14. Driver modelの開発
15. 高品質のセンサと高精度3次元地図はハイコスト • センサの精度と価格は比例する。 • 高精度マップに依存しすぎると、地図がない場所で運転できない。 • 市販車にこの見た目は受け入れられる...？？ 8 Questions With James Peng of Pony.ai, One of China's Most Valuable Autonomous Vehicle Startups nuplan
16. Vision Centricな自動運転 • マルチカメラを用いたEnd-to-endのアプローチは産学ともに大本命のアプローチ • RGBの映像はかなりリッチな情報 • 画像を扱う技術はかなり成熟している。 Tesla AI Day 2022 CVPR 2023 Best Paper UniAD
17. TuringのLevel 2 Driver model カメラの映像をフル活用して開発された Turingの自動運転 • 自動運転率95%で北海道一周 • The First Turing Car (Sold!) • 100台生産の新型車両 (2024年!) The First Turing Car 自動運転システム
18. データ収集システム カメラ + 各種センサ情報を継続的に収集できるよう 車載システムを構築 • センサシステム ◦ カメラ、GPS、加速度計 ... ◦ アクセル、ブレーキ、ハンドル ... • 低コスト・低消費電力 ◦ 20万円以下 & 100W 以下 ◦ データアップロードは物理デバイス経由 車載システム構成 データ収集車両 カメラ取り付け位置 Shimatani ECU
19. 機械学習システム データ取得・アップロード データ処理・データレイク 学習 デプロイ
20. 学習のモニター Driver modelは学習をどんどん回してW＆B上でモニター
21. 学習のモニター モデルの補助Lossなどの状態も Stepごとに可視化 どのように学習が進んでいるか、モ デルの特性の考察に使用 More steps More steps Model A Model B
22. 学習したモデルの評価 学習の結果はシミュレーターにデプロイされ、Slackに通知される。良さそう なモデルを抜粋し、テストコースによる実車で評価を行う。
23. Navigator modelの開発
24. 現行技術の延長で実現できるか？ 人間は初めてのケースでもその場で考えてなんとか回避できる ハイコンテキスト 未知のパターン waymo at eccv 2022
25. 自然言語的コンテキストを理解 運転世界に存在する自然言語で説明可能な状況をうまくDriver modelに統合すること がNavigator modelの鍵 Microsoft LlaVA 1.5 Turing Heron
26. 自動運転 x 自然言語は最先端のトピック Wayve LINGO-1 OpenDriveLab DriveLM 香港大 DriveGPT4 Huawei HiLM-D
27. Heron: Vision Language Model Library • 様々なモデルの組み合わせで学習可能なHeronをリリース • 日本語データセットも用意してNavigator modelのベースとして開発中
28. Navigator modelの実験における可視化 どういうデータ？ 学習はうまく進んでる？ 結果は？ Referring Multi-Object Tracking LLaVA: Large Language and Vision Assistant
29. データの可視化 データセットのサンプルや統計情報を W&Bにアップしてチームで共有
30. 学習状態のモニター 学習のパフォーマンスや安定性をモニターするために、 TFLOPSやOptimizerの状態も監視している。
31. 学習状況のモニター 学習途中の評価時にもランダムに推論させた結果を保存することで、学習がうまくいっ てるかやどの程度のLossでどのくらいの出力ができるかを確認する。
32. 結果の確認 学習したモデルは、Nejumi LLMリーダーボードにインスパイアされて Leaderboard風に管理
33. 個別の結果の確認 ランダムにサンプリングした結果をTableでアップロードしておくことで、モデルの比較をし ながら評価指標と実際の予測の感覚を磨いていく。
34. まとめ - 深層学習モデルの開発に関して、モニターしたいLossや評価指標、学習の状態な ど様々なものをW&Bを活用することで簡単に共有できる。 - 学習に限らず、データや結果の確認、共有にもW&Bがかなり使える。 - W&Bをフル活用してTuringの自動運転開発を今後も加速させていきます！
35. Acknowledgement & We are hiring!!! 今日の発表内容はTuringのAutonomous driving teamとBrain research teamの 成果です！優秀なメンバーに感謝！新しいメンバーも募集しているので興味がある人 はぜひTuringへ！