Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Traffic light detection for self driving car
Search
shibuiwilliam
March 15, 2022
Technology
0
93
Traffic light detection for self driving car
machine learning system for traffic light detection
shibuiwilliam
March 15, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
4
460
LLMで推論するライブラリを整理する
shibuiwilliam
5
1.3k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
80
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
2
620
今日からRAGを 始めることを考える
shibuiwilliam
2
1.6k
2024年生成AI新年会登壇資料
shibuiwilliam
0
330
Creative as Software Engineering
shibuiwilliam
2
640
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
340
機械学習システム構築実践ガイド
shibuiwilliam
1
920
Other Decks in Technology
See All in Technology
Goで作って学ぶWebSocket
ryuichi1208
3
2.7k
Share my, our lessons from the road to re:Invent
naospon
0
140
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
82k
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
260
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
310
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
3
350
AIエージェント元年
shukob
0
160
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
140
IAMのマニアックな話2025
nrinetcom
PRO
2
250
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
610
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
640
システム・ML活用を広げるdbtのデータモデリング / Expanding System & ML Use with dbt Modeling
i125
1
320
Featured
See All Featured
Faster Mobile Websites
deanohume
306
31k
Designing for Performance
lara
604
68k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Scaling GitHub
holman
459
140k
Making Projects Easy
brettharned
116
6k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
370
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
How to Ace a Technical Interview
jacobian
276
23k
KATA
mclloyd
29
14k
A designer walks into a library…
pauljervisheath
205
24k
Transcript
機械学習と一緒に 信号機を探す旅 2021/03/03 shibui yusuke 1
自己紹介 shibui yusuke • いろいろ → メルカリ → TierIV(いまここ) •
MLOps改めデータ検索基盤エンジニア • もともとクラウド基盤の開発、運用。 • ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近の趣味:自宅警備と環境改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
過ぎたるは及ばざるが如し • 課題: Work-from-homeでリアルタイムな コミュニケーションの機会損失 • 解決策: 端末とディスプレイを増やして コミュニケーション機会の損失防止 •
結果: ◦ bluetoothがどの端末に接続しているか わからなくなった ◦ ネコがデスクに乗ると・・・ 3
今日お伝えしたいこと • 最近の自動運転 • 一般道で自動運転車が走るための機械学習のモデルとシステムとデータ • 今日話さないこと:機械学習の論文やアルゴリズムや実装 4
自動運転の現在 5
6 2020年12月 新宿を走る
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 7
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 8
9 Ops Dev 自動車にクラウドの開発手法を導入する
モデル 10
20m手前から信号機の位置と色を把握したい 99%正確に推論できるモデルがあるとして、 一般道で信号機を認識するにはどう使う? 11
自動運転における機械学習 • リアルタイム・並列・多段階の認識プロセスが稼働 信号機を検知し、色を判別 歩行者を検知し、 移動方向や行動を判別 道路の範囲を セグメンテーション 20m 12
信号認識 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理 地図
→赤! 13
システム 14
システムとして考える機械学習 推論器 インターフェイ ス 前処理 推論 後処理 ↓最低限必要 赤! 15
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 テスト通過率:95/100 Accuracy:99% Precision:95% Recall:60% 16
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 機械学習を実行する コードのユニットテスト 17
結合テスト • CIとしてコードとモデルを推論環境にインストールしてテストする モデル 管理 レポジトリ 実行環境 • CI環境を起動 •
自動運転OSをPull • レポジトリからコードを checkout • モデルをダウンロード • プログラムのテスト • モデルの稼働テスト • 推論テスト • CI終了 model development software development • (モデルのビルド) モデルが取得・導入可能 であることを確認 ソースコードのテスト コードからモデルを ロードできることを検証 コードから推論を検証 +負荷テスト +プロファイル +脆弱性診断 +外れ値検知・・・ 評価結果 18
推論環境 システムとして考える機械学習 インターフェイ ス ログ 学習 モデル管理 レポジトリ 評価結果 推論器
前処理 推論 後処理 評価 → 機械学習で DevOpsを 回すために必要 ↓自動運転 19 CI 検索
データ 20
データ • 巨大な非構造化データの収集と管理 一日の記録 • ログ(圧縮):100GB • 解凍し画像に変換:1,000GB • 画像枚数:1,000,000枚
この中から必要なデータを探す! 21
データ 22 正解率 距離 遠くても 正解する 近くても 間違える • 全てのデータをアノテーション
することは非現実的 • 間違える可能性の高い データを優先したいが、 データをどう探す?
天気との戦い うおっまぶしっ 23
地図の応用 24 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理
地図 →赤! 24 ここに 信号機が あるはず
変化との戦い 消えた信号 25
データ検索基盤(開発中!) インターフェイ ス ログ 推論器 前処理 推論 後処理 26 フロント
エンド バッチ DB 物体検知 バック エンド 機械学習
おわり 27
まとめ 28 • 信号機を認識するためにはデバイスサイドとクラウドサイドと実世界の エンジニアリングが必要 • 天気、照度、カメラ、場所、時間・・・を組み合わせたエッジケースの探索 →デバイスサイドで得たビッグデータをクラウドサイドで便利にする
We are hiring! 29 • Sensing & Perceptionエンジニア ◦ カメラ、LiDAR、RADARを用いたリアル
タイムなセンシング、認識の開発を行う 仕事です。 ◦ センシングや認識の開発だけでなく、 キャリブレーションやデータセット 作りなど、自動運転の社会実装において 必要な機能開発に幅広く関われます。 • https://herp.careers/v1/tier4/czP-r7Y5GaJV • MLOpsエンジニア ◦ 毎日テラバイト単位で増える非構造化 データを、便利に使えるようにする 仕事です。 ◦ クラウド、機械学習、バックエンド、 フロントエンド、デバイスまで、 フルスタックにエンジニアリングが 楽しめます。 • https://herp.careers/v1/tier4/zHA-dVY6ORa4
© 2020 Tier IV, Inc. 30 2021