Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Traffic light detection for self driving car
Search
shibuiwilliam
March 15, 2022
Technology
0
93
Traffic light detection for self driving car
machine learning system for traffic light detection
shibuiwilliam
March 15, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
4
460
LLMで推論するライブラリを整理する
shibuiwilliam
5
1.3k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
82
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
2
630
今日からRAGを 始めることを考える
shibuiwilliam
2
1.6k
2024年生成AI新年会登壇資料
shibuiwilliam
0
330
Creative as Software Engineering
shibuiwilliam
2
640
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
340
機械学習システム構築実践ガイド
shibuiwilliam
1
920
Other Decks in Technology
See All in Technology
生成AI “再”入門 2025年春@WIRED TUESDAY EDITOR'S LOUNGE
kajikent
0
140
What's new in Go 1.24?
ciarana
1
110
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
1.3k
IAMのマニアックな話2025
nrinetcom
PRO
6
1.3k
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.7k
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
7
640
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.8k
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
290
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
470
AWSを活用したIoTにおけるセキュリティ対策のご紹介
kwskyk
0
410
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Designing for humans not robots
tammielis
250
25k
Building an army of robots
kneath
303
45k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Code Review Best Practice
trishagee
67
18k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Faster Mobile Websites
deanohume
306
31k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Transcript
機械学習と一緒に 信号機を探す旅 2021/03/03 shibui yusuke 1
自己紹介 shibui yusuke • いろいろ → メルカリ → TierIV(いまここ) •
MLOps改めデータ検索基盤エンジニア • もともとクラウド基盤の開発、運用。 • ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近の趣味:自宅警備と環境改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
過ぎたるは及ばざるが如し • 課題: Work-from-homeでリアルタイムな コミュニケーションの機会損失 • 解決策: 端末とディスプレイを増やして コミュニケーション機会の損失防止 •
結果: ◦ bluetoothがどの端末に接続しているか わからなくなった ◦ ネコがデスクに乗ると・・・ 3
今日お伝えしたいこと • 最近の自動運転 • 一般道で自動運転車が走るための機械学習のモデルとシステムとデータ • 今日話さないこと:機械学習の論文やアルゴリズムや実装 4
自動運転の現在 5
6 2020年12月 新宿を走る
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 7
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 8
9 Ops Dev 自動車にクラウドの開発手法を導入する
モデル 10
20m手前から信号機の位置と色を把握したい 99%正確に推論できるモデルがあるとして、 一般道で信号機を認識するにはどう使う? 11
自動運転における機械学習 • リアルタイム・並列・多段階の認識プロセスが稼働 信号機を検知し、色を判別 歩行者を検知し、 移動方向や行動を判別 道路の範囲を セグメンテーション 20m 12
信号認識 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理 地図
→赤! 13
システム 14
システムとして考える機械学習 推論器 インターフェイ ス 前処理 推論 後処理 ↓最低限必要 赤! 15
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 テスト通過率:95/100 Accuracy:99% Precision:95% Recall:60% 16
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 機械学習を実行する コードのユニットテスト 17
結合テスト • CIとしてコードとモデルを推論環境にインストールしてテストする モデル 管理 レポジトリ 実行環境 • CI環境を起動 •
自動運転OSをPull • レポジトリからコードを checkout • モデルをダウンロード • プログラムのテスト • モデルの稼働テスト • 推論テスト • CI終了 model development software development • (モデルのビルド) モデルが取得・導入可能 であることを確認 ソースコードのテスト コードからモデルを ロードできることを検証 コードから推論を検証 +負荷テスト +プロファイル +脆弱性診断 +外れ値検知・・・ 評価結果 18
推論環境 システムとして考える機械学習 インターフェイ ス ログ 学習 モデル管理 レポジトリ 評価結果 推論器
前処理 推論 後処理 評価 → 機械学習で DevOpsを 回すために必要 ↓自動運転 19 CI 検索
データ 20
データ • 巨大な非構造化データの収集と管理 一日の記録 • ログ(圧縮):100GB • 解凍し画像に変換:1,000GB • 画像枚数:1,000,000枚
この中から必要なデータを探す! 21
データ 22 正解率 距離 遠くても 正解する 近くても 間違える • 全てのデータをアノテーション
することは非現実的 • 間違える可能性の高い データを優先したいが、 データをどう探す?
天気との戦い うおっまぶしっ 23
地図の応用 24 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理
地図 →赤! 24 ここに 信号機が あるはず
変化との戦い 消えた信号 25
データ検索基盤(開発中!) インターフェイ ス ログ 推論器 前処理 推論 後処理 26 フロント
エンド バッチ DB 物体検知 バック エンド 機械学習
おわり 27
まとめ 28 • 信号機を認識するためにはデバイスサイドとクラウドサイドと実世界の エンジニアリングが必要 • 天気、照度、カメラ、場所、時間・・・を組み合わせたエッジケースの探索 →デバイスサイドで得たビッグデータをクラウドサイドで便利にする
We are hiring! 29 • Sensing & Perceptionエンジニア ◦ カメラ、LiDAR、RADARを用いたリアル
タイムなセンシング、認識の開発を行う 仕事です。 ◦ センシングや認識の開発だけでなく、 キャリブレーションやデータセット 作りなど、自動運転の社会実装において 必要な機能開発に幅広く関われます。 • https://herp.careers/v1/tier4/czP-r7Y5GaJV • MLOpsエンジニア ◦ 毎日テラバイト単位で増える非構造化 データを、便利に使えるようにする 仕事です。 ◦ クラウド、機械学習、バックエンド、 フロントエンド、デバイスまで、 フルスタックにエンジニアリングが 楽しめます。 • https://herp.careers/v1/tier4/zHA-dVY6ORa4
© 2020 Tier IV, Inc. 30 2021