Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Traffic light detection for self driving car
Search
shibuiwilliam
March 15, 2022
Technology
0
93
Traffic light detection for self driving car
machine learning system for traffic light detection
shibuiwilliam
March 15, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
4
460
LLMで推論するライブラリを整理する
shibuiwilliam
5
1.3k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
82
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
2
630
今日からRAGを 始めることを考える
shibuiwilliam
2
1.6k
2024年生成AI新年会登壇資料
shibuiwilliam
0
330
Creative as Software Engineering
shibuiwilliam
2
640
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
340
機械学習システム構築実践ガイド
shibuiwilliam
1
920
Other Decks in Technology
See All in Technology
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
540
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
1
130
1行のコードから社会課題の解決へ: EMの探究、事業・技術・組織を紡ぐ実践知 / EM Conf 2025
9ma3r
12
4.8k
Platform Engineeringで クラウドの「楽しくない」を解消しよう
jacopen
4
200
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
150
【Snowflake九州ユーザー会#2】BigQueryとSnowflakeを比較してそれぞれの良し悪しを掴む / BigQuery vs Snowflake: Pros & Cons
civitaspo
2
310
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
220
技術スタックだけじゃない、業務ドメイン知識のオンボーディングも同じくらいの量が必要な話
niftycorp
PRO
0
130
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
250
AIエージェント元年@日本生成AIユーザ会
shukob
1
260
開発者体験を定量的に把握する手法と活用事例
ham0215
0
130
サバイバルモード下でのエンジニアリングマネジメント
konifar
21
7.1k
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
GraphQLとの向き合い方2022年版
quramy
44
14k
Scaling GitHub
holman
459
140k
Optimizing for Happiness
mojombo
377
70k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Side Projects
sachag
452
42k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
175
52k
Fireside Chat
paigeccino
35
3.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
Transcript
機械学習と一緒に 信号機を探す旅 2021/03/03 shibui yusuke 1
自己紹介 shibui yusuke • いろいろ → メルカリ → TierIV(いまここ) •
MLOps改めデータ検索基盤エンジニア • もともとクラウド基盤の開発、運用。 • ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近の趣味:自宅警備と環境改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
過ぎたるは及ばざるが如し • 課題: Work-from-homeでリアルタイムな コミュニケーションの機会損失 • 解決策: 端末とディスプレイを増やして コミュニケーション機会の損失防止 •
結果: ◦ bluetoothがどの端末に接続しているか わからなくなった ◦ ネコがデスクに乗ると・・・ 3
今日お伝えしたいこと • 最近の自動運転 • 一般道で自動運転車が走るための機械学習のモデルとシステムとデータ • 今日話さないこと:機械学習の論文やアルゴリズムや実装 4
自動運転の現在 5
6 2020年12月 新宿を走る
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 7
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 8
9 Ops Dev 自動車にクラウドの開発手法を導入する
モデル 10
20m手前から信号機の位置と色を把握したい 99%正確に推論できるモデルがあるとして、 一般道で信号機を認識するにはどう使う? 11
自動運転における機械学習 • リアルタイム・並列・多段階の認識プロセスが稼働 信号機を検知し、色を判別 歩行者を検知し、 移動方向や行動を判別 道路の範囲を セグメンテーション 20m 12
信号認識 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理 地図
→赤! 13
システム 14
システムとして考える機械学習 推論器 インターフェイ ス 前処理 推論 後処理 ↓最低限必要 赤! 15
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 テスト通過率:95/100 Accuracy:99% Precision:95% Recall:60% 16
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 機械学習を実行する コードのユニットテスト 17
結合テスト • CIとしてコードとモデルを推論環境にインストールしてテストする モデル 管理 レポジトリ 実行環境 • CI環境を起動 •
自動運転OSをPull • レポジトリからコードを checkout • モデルをダウンロード • プログラムのテスト • モデルの稼働テスト • 推論テスト • CI終了 model development software development • (モデルのビルド) モデルが取得・導入可能 であることを確認 ソースコードのテスト コードからモデルを ロードできることを検証 コードから推論を検証 +負荷テスト +プロファイル +脆弱性診断 +外れ値検知・・・ 評価結果 18
推論環境 システムとして考える機械学習 インターフェイ ス ログ 学習 モデル管理 レポジトリ 評価結果 推論器
前処理 推論 後処理 評価 → 機械学習で DevOpsを 回すために必要 ↓自動運転 19 CI 検索
データ 20
データ • 巨大な非構造化データの収集と管理 一日の記録 • ログ(圧縮):100GB • 解凍し画像に変換:1,000GB • 画像枚数:1,000,000枚
この中から必要なデータを探す! 21
データ 22 正解率 距離 遠くても 正解する 近くても 間違える • 全てのデータをアノテーション
することは非現実的 • 間違える可能性の高い データを優先したいが、 データをどう探す?
天気との戦い うおっまぶしっ 23
地図の応用 24 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理
地図 →赤! 24 ここに 信号機が あるはず
変化との戦い 消えた信号 25
データ検索基盤(開発中!) インターフェイ ス ログ 推論器 前処理 推論 後処理 26 フロント
エンド バッチ DB 物体検知 バック エンド 機械学習
おわり 27
まとめ 28 • 信号機を認識するためにはデバイスサイドとクラウドサイドと実世界の エンジニアリングが必要 • 天気、照度、カメラ、場所、時間・・・を組み合わせたエッジケースの探索 →デバイスサイドで得たビッグデータをクラウドサイドで便利にする
We are hiring! 29 • Sensing & Perceptionエンジニア ◦ カメラ、LiDAR、RADARを用いたリアル
タイムなセンシング、認識の開発を行う 仕事です。 ◦ センシングや認識の開発だけでなく、 キャリブレーションやデータセット 作りなど、自動運転の社会実装において 必要な機能開発に幅広く関われます。 • https://herp.careers/v1/tier4/czP-r7Y5GaJV • MLOpsエンジニア ◦ 毎日テラバイト単位で増える非構造化 データを、便利に使えるようにする 仕事です。 ◦ クラウド、機械学習、バックエンド、 フロントエンド、デバイスまで、 フルスタックにエンジニアリングが 楽しめます。 • https://herp.careers/v1/tier4/zHA-dVY6ORa4
© 2020 Tier IV, Inc. 30 2021