Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Traffic light detection for self driving car
Search
shibuiwilliam
March 15, 2022
Technology
0
81
Traffic light detection for self driving car
machine learning system for traffic light detection
shibuiwilliam
March 15, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
2024年生成AI新年会登壇資料
shibuiwilliam
0
170
Creative as Software Engineering
shibuiwilliam
2
490
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
170
機械学習システム構築実践ガイド
shibuiwilliam
1
650
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
shibuiwilliam
4
4k
機械学習を実用化するエンジニアリングスキル
shibuiwilliam
12
4.1k
Generative AIと検索を組み合わせた新たな体験の模索
shibuiwilliam
3
940
Machine learning system development
shibuiwilliam
1
390
機械学習でテスト実行を効率化するLaunchable
shibuiwilliam
0
200
Other Decks in Technology
See All in Technology
テストコードを書きながらCompose Multiplatformを乗りこなす
subroh0508
0
140
株式会社EventHub・エンジニア採用資料
eventhub
0
2.1k
.NET GraphQL Client のリアル
sansantech
PRO
1
310
20240509 CloudWatch でいろいろなものを監視してみよう
masaruogura
1
120
#phpconkagawa レガシーコードにもオブザーバビリティを 〜少しずつ始めるサービス監視〜
yamato_sorariku
0
560
SLOいつ決めましょう?
abnoumaru
3
710
SWC Transformerから見るTypeScript関数記述ベストプラクティス
fujiyamaorange
1
180
RailsConf 2024 Keynote "Startups on Rails in 2024"
irinanazarova
0
810
1Q86
kawaguti
PRO
2
190
OPENLOGI Company Profile
hr01
0
46k
AI JIMY - 登壇(インストール編)
hanacchi
0
150
サービス開発におけるVue3とTypeScriptの親和性について
tsukuha
10
1.8k
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
515
39k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
How STYLIGHT went responsive
nonsquared
92
4.8k
The Invisible Side of Design
smashingmag
294
49k
Scaling GitHub
holman
457
140k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
[RailsConf 2023] Rails as a piece of cake
palkan
28
4.1k
For a Future-Friendly Web
brad_frost
172
9k
jQuery: Nuts, Bolts and Bling
dougneiner
60
7.2k
4 Signs Your Business is Dying
shpigford
176
21k
Into the Great Unknown - MozCon
thekraken
15
1.1k
Transcript
機械学習と一緒に 信号機を探す旅 2021/03/03 shibui yusuke 1
自己紹介 shibui yusuke • いろいろ → メルカリ → TierIV(いまここ) •
MLOps改めデータ検索基盤エンジニア • もともとクラウド基盤の開発、運用。 • ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近の趣味:自宅警備と環境改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
過ぎたるは及ばざるが如し • 課題: Work-from-homeでリアルタイムな コミュニケーションの機会損失 • 解決策: 端末とディスプレイを増やして コミュニケーション機会の損失防止 •
結果: ◦ bluetoothがどの端末に接続しているか わからなくなった ◦ ネコがデスクに乗ると・・・ 3
今日お伝えしたいこと • 最近の自動運転 • 一般道で自動運転車が走るための機械学習のモデルとシステムとデータ • 今日話さないこと:機械学習の論文やアルゴリズムや実装 4
自動運転の現在 5
6 2020年12月 新宿を走る
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 7
自動運転のシステム(一部) Dynamic Object Traffic Light Detection Classifier Scenario Selector Control
Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 8
9 Ops Dev 自動車にクラウドの開発手法を導入する
モデル 10
20m手前から信号機の位置と色を把握したい 99%正確に推論できるモデルがあるとして、 一般道で信号機を認識するにはどう使う? 11
自動運転における機械学習 • リアルタイム・並列・多段階の認識プロセスが稼働 信号機を検知し、色を判別 歩行者を検知し、 移動方向や行動を判別 道路の範囲を セグメンテーション 20m 12
信号認識 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理 地図
→赤! 13
システム 14
システムとして考える機械学習 推論器 インターフェイ ス 前処理 推論 後処理 ↓最低限必要 赤! 15
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 テスト通過率:95/100 Accuracy:99% Precision:95% Recall:60% 16
ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標
推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 機械学習を実行する コードのユニットテスト 17
結合テスト • CIとしてコードとモデルを推論環境にインストールしてテストする モデル 管理 レポジトリ 実行環境 • CI環境を起動 •
自動運転OSをPull • レポジトリからコードを checkout • モデルをダウンロード • プログラムのテスト • モデルの稼働テスト • 推論テスト • CI終了 model development software development • (モデルのビルド) モデルが取得・導入可能 であることを確認 ソースコードのテスト コードからモデルを ロードできることを検証 コードから推論を検証 +負荷テスト +プロファイル +脆弱性診断 +外れ値検知・・・ 評価結果 18
推論環境 システムとして考える機械学習 インターフェイ ス ログ 学習 モデル管理 レポジトリ 評価結果 推論器
前処理 推論 後処理 評価 → 機械学習で DevOpsを 回すために必要 ↓自動運転 19 CI 検索
データ 20
データ • 巨大な非構造化データの収集と管理 一日の記録 • ログ(圧縮):100GB • 解凍し画像に変換:1,000GB • 画像枚数:1,000,000枚
この中から必要なデータを探す! 21
データ 22 正解率 距離 遠くても 正解する 近くても 間違える • 全てのデータをアノテーション
することは非現実的 • 間違える可能性の高い データを優先したいが、 データをどう探す?
天気との戦い うおっまぶしっ 23
地図の応用 24 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理
地図 →赤! 24 ここに 信号機が あるはず
変化との戦い 消えた信号 25
データ検索基盤(開発中!) インターフェイ ス ログ 推論器 前処理 推論 後処理 26 フロント
エンド バッチ DB 物体検知 バック エンド 機械学習
おわり 27
まとめ 28 • 信号機を認識するためにはデバイスサイドとクラウドサイドと実世界の エンジニアリングが必要 • 天気、照度、カメラ、場所、時間・・・を組み合わせたエッジケースの探索 →デバイスサイドで得たビッグデータをクラウドサイドで便利にする
We are hiring! 29 • Sensing & Perceptionエンジニア ◦ カメラ、LiDAR、RADARを用いたリアル
タイムなセンシング、認識の開発を行う 仕事です。 ◦ センシングや認識の開発だけでなく、 キャリブレーションやデータセット 作りなど、自動運転の社会実装において 必要な機能開発に幅広く関われます。 • https://herp.careers/v1/tier4/czP-r7Y5GaJV • MLOpsエンジニア ◦ 毎日テラバイト単位で増える非構造化 データを、便利に使えるようにする 仕事です。 ◦ クラウド、機械学習、バックエンド、 フロントエンド、デバイスまで、 フルスタックにエンジニアリングが 楽しめます。 • https://herp.careers/v1/tier4/zHA-dVY6ORa4
© 2020 Tier IV, Inc. 30 2021