Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Turingにおける自動運転モデルの開発とW&Bの活用
Search
Inoichan
October 17, 2023
Technology
1
1.4k
Turingにおける自動運転モデルの開発とW&Bの活用
2023/10/11に開催されたFully Connected 2023 Tokyoカンファレンスの資料です。
イベントページ:
https://fullyconnected.jp/
Inoichan
October 17, 2023
Tweet
Share
More Decks by Inoichan
See All by Inoichan
Data-centric視点で過去コンペを振り返る
inoichan
1
830
Turingと自動運転とLLM- LLM-jp 勉強会
inoichan
3
2.8k
[CV勉強会@関東 CVPR2023] UniAD: Planning-oriented Autonomous Driving
inoichan
2
2.8k
[CV関東3D勉強会] TPVFormer ~マルチカメラを用いた自動運転の3D Occupancy Prediction~
inoichan
0
2.1k
Teslaはカメラを使ってどのように世界を認識しているか
inoichan
5
8.9k
[CVPR2022読み会] Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving
inoichan
0
900
[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方
inoichan
5
4.6k
Use of Data Science in the field of Life Science
inoichan
1
480
Lyft Motion Prediction for Autonomous Vehicles 2020
inoichan
0
130
Other Decks in Technology
See All in Technology
機械学習を「社会実装」するということ 2025年版 / Social Implementation of Machine Learning 2025 Version
moepy_stats
4
650
RubyでKubernetesプログラミング
sat
PRO
4
150
30分でわかる「リスクから学ぶKubernetesコンテナセキュリティ」/30min-k8s-container-sec
mochizuki875
3
430
comilioとCloudflare、そして未来へと向けて
oliver_diary
5
420
あなたの人生も変わるかも?AWS認定2つで始まったウソみたいな話
iwamot
3
810
The future we create with our own MVV
matsukurou
0
1.9k
OPENLOGI Company Profile for engineer
hr01
1
18k
Building Scalable Backend Services with Firebase
wisdommatt
0
110
【JAWS-UG大阪 reInvent reCap LT大会 サンバが始まったら強制終了】“1分”で初めてのソロ参戦reInventを数字で振り返りながら反省する
ttelltte
0
120
デジタルアイデンティティ技術 認可・ID連携・認証 応用 / 20250114-OIDF-J-EduWG-TechSWG
oidfj
2
520
2025年の挑戦 コーポレートエンジニアの技術広報/techpr5
nishiuma
0
130
東京Ruby会議12 Ruby と Rust と私 / Tokyo RubyKaigi 12 Ruby, Rust and me
eagletmt
3
810
Featured
See All Featured
Done Done
chrislema
182
16k
How to train your dragon (web standard)
notwaldorf
89
5.8k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.2k
Thoughts on Productivity
jonyablonski
68
4.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
98
18k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
How STYLIGHT went responsive
nonsquared
96
5.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Docker and Python
trallard
43
3.2k
Transcript
Turingにおける自動運転モデル の開発とW&Bの活用 Fully Connected 2023 Tokyoカンファレンス
自己紹介 ❖ Inoue Yuichi ❖ Turing Inc. Brain Research Team ❖
京都大学 博士(薬学) ❖ Kaggle Competitions Grandmaster
KaggleでもW&Bはフル活用
KaggleでもW&Bはフル活用
今日お話しすること • Turingの紹介 • Turingの自動運転戦略 • Driver modelの開発 • Navigator
modelの開発
Turing株式会社 事業内容: 完全自動運転EV車両の開発・製造 AIとソフトウェアに長けた人材が中心となって創業。 創業時から2つの大きな課題に取り組んでいる。 - 完全自動運転の実現 - 新たな完成車メーカーの誕生
Turingのこれまで 2021年8月創業 2021年12月 AI-based PoC 自動運転システムを構築 2022年7月 10億円の資金調達 2022年10月 北海道一周(約1,400㎞)を
自動運転で走破 2022年 11月 500時間分の 走行データ基盤を作成 2023年2月 THE FIRST TURING CAR を販売完了 2023年6月 車両生産拠点開所 Turing Kashiwa Nova Factory 2023年3月 AIデザインの「完全自動運転 EV」 コンセプトカーを発表 2023年3月 国産LLM開発着手 2023年4月 経済産業省主導 「J-Startup企業」に選出
We Overtake Tesla Turing’s Mission 米中では何百社もEV・自動運転スタートアップがあります。我々だってできる。 Turingは数百兆円の産業で大きく挑戦し、世界で戦う大きなチームを創り出します。
Turingの自動運転戦略
Turingが目指すのは完全自動運転 自動運転には5つのレベルがある。 Turingが目指す自動運転車はハンドルがない市販車。 Level 1 運転支援 Level 2 部分自動化 Level
3 条件付き自動化 Level 4 高度自動化 Level 5 完全自動運転 人間が主体 運転システムが主体 領域・条件を限定 全てを代替
従来のセンサ+高精度地図を用いた手法 Honda Sensing Elete Waymo
「運転」には複雑で未知の状況が無限に存在する 難・少 Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving
Vehicles
Driver modelとNavigator model Driver センサを使い認知・推論を高速に行う軽量モデル Navigator 総合的な認知・意思決定を行う大規模基盤モデル 人間の自然言語による命令の解釈や背景知識に 基づく総合的な判断を行う。 速い反応が要求されるdrivingと複雑な判断が要求されるnavigationを分離する戦略
What does a rally co-driver do?
Driver modelの開発
高品質のセンサと高精度3次元地図はハイコスト • センサの精度と価格は比例する。 • 高精度マップに依存しすぎると、地図がない場所で運転できない。 • 市販車にこの見た目は受け入れられる...?? 8 Questions With
James Peng of Pony.ai, One of China's Most Valuable Autonomous Vehicle Startups nuplan
Vision Centricな自動運転 • マルチカメラを用いたEnd-to-endのアプローチは産学ともに大本命のアプローチ • RGBの映像はかなりリッチな情報 • 画像を扱う技術はかなり成熟している。 Tesla AI
Day 2022 CVPR 2023 Best Paper UniAD
TuringのLevel 2 Driver model カメラの映像をフル活用して開発された Turingの自動運転 • 自動運転率95%で北海道一周 • The
First Turing Car (Sold!) • 100台生産の新型車両 (2024年!) The First Turing Car 自動運転システム
データ収集システム カメラ + 各種センサ情報を継続的に収集できるよう 車載システムを構築 • センサシステム ◦ カメラ、GPS、加速度計 ...
◦ アクセル、ブレーキ、ハンドル ... • 低コスト・低消費電力 ◦ 20万円以下 & 100W 以下 ◦ データアップロードは物理デバイス経由 車載システム構成 データ収集車両 カメラ取り付け位置 Shimatani ECU
機械学習システム データ取得・アップロード データ処理・データレイク 学習 デプロイ
学習のモニター Driver modelは学習をどんどん回してW&B上でモニター
学習のモニター モデルの補助Lossなどの状態も Stepごとに可視化 どのように学習が進んでいるか、モ デルの特性の考察に使用 More steps More steps Model
A Model B
学習したモデルの評価 学習の結果はシミュレーターにデプロイされ、Slackに通知される。良さそう なモデルを抜粋し、テストコースによる実車で評価を行う。
Navigator modelの開発
現行技術の延長で実現できるか? 人間は初めてのケースでもその場で考えてなんとか回避できる ハイコンテキスト 未知のパターン waymo at eccv 2022
自然言語的コンテキストを理解 運転世界に存在する自然言語で説明可能な状況をうまくDriver modelに統合すること がNavigator modelの鍵 Microsoft LlaVA 1.5 Turing Heron
自動運転 x 自然言語は最先端のトピック Wayve LINGO-1 OpenDriveLab DriveLM 香港大 DriveGPT4 Huawei
HiLM-D
Heron: Vision Language Model Library • 様々なモデルの組み合わせで学習可能なHeronをリリース • 日本語データセットも用意してNavigator modelのベースとして開発中
Navigator modelの実験における可視化 どういうデータ? 学習はうまく進んでる? 結果は? Referring Multi-Object Tracking LLaVA: Large
Language and Vision Assistant
データの可視化 データセットのサンプルや統計情報を W&Bにアップしてチームで共有
学習状態のモニター 学習のパフォーマンスや安定性をモニターするために、 TFLOPSやOptimizerの状態も監視している。
学習状況のモニター 学習途中の評価時にもランダムに推論させた結果を保存することで、学習がうまくいっ てるかやどの程度のLossでどのくらいの出力ができるかを確認する。
結果の確認 学習したモデルは、Nejumi LLMリーダーボードにインスパイアされて Leaderboard風に管理
個別の結果の確認 ランダムにサンプリングした結果をTableでアップロードしておくことで、モデルの比較をし ながら評価指標と実際の予測の感覚を磨いていく。
まとめ - 深層学習モデルの開発に関して、モニターしたいLossや評価指標、学習の状態な ど様々なものをW&Bを活用することで簡単に共有できる。 - 学習に限らず、データや結果の確認、共有にもW&Bがかなり使える。 - W&Bをフル活用してTuringの自動運転開発を今後も加速させていきます!
Acknowledgement & We are hiring!!! 今日の発表内容はTuringのAutonomous driving teamとBrain research teamの
成果です!優秀なメンバーに感謝!新しいメンバーも募集しているので興味がある人 はぜひTuringへ!