Traffic light detection for self driving car

machine learning system for traffic light detection

Transcript

1. 機械学習と一緒に 信号機を探す旅 2021/03/03 shibui yusuke 1
2. 自己紹介 shibui yusuke • いろいろ → メルカリ → TierIV（いまここ） • MLOps改めデータ検索基盤エンジニア • もともとクラウド基盤の開発、運用。 • ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近の趣味：自宅警備と環境改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
3. 過ぎたるは及ばざるが如し • 課題： Work-from-homeでリアルタイムな コミュニケーションの機会損失 • 解決策： 端末とディスプレイを増やして コミュニケーション機会の損失防止 • 結果： ◦ bluetoothがどの端末に接続しているか わからなくなった ◦ ネコがデスクに乗ると・・・ 3
4. 今日お伝えしたいこと • 最近の自動運転 • 一般道で自動運転車が走るための機械学習のモデルとシステムとデータ • 今日話さないこと：機械学習の論文やアルゴリズムや実装 4
5. 自動運転の現在 5
6. 6 2020年12月 新宿を走る
7. 自動運転のシステム（一部） Dynamic Object Traffic Light Detection Classifier Scenario Selector Control Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 7
8. 自動運転のシステム（一部） Dynamic Object Traffic Light Detection Classifier Scenario Selector Control Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Mission 8
9. 9 Ops Dev 自動車にクラウドの開発手法を導入する
10. モデル 10
11. 20m手前から信号機の位置と色を把握したい 99%正確に推論できるモデルがあるとして、 一般道で信号機を認識するにはどう使う？ 11
12. 自動運転における機械学習 • リアルタイム・並列・多段階の認識プロセスが稼働 信号機を検知し、色を判別 歩行者を検知し、 移動方向や行動を判別 道路の範囲を セグメンテーション 20m 12
13. 信号認識 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理 地図 →赤！ 13
14. システム 14
15. システムとして考える機械学習 推論器 インターフェイ ス 前処理 推論 後処理 ↓最低限必要 赤！ 15
16. ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標 推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 テスト通過率：95/100 Accuracy：99% Precision：95% Recall：60% 16
17. ソフトウェアとモデルのテスト • ソフトウェア開発ではプログラムを通してロジックをテストする • 機械学習ではコードを通してデータで確率をテストする 入力 正解 出力 assert 指標 推論 evaluate YES or NO 0 ~ 1 ソフトウェア開発のテスト 機械学習のテスト モデル 関数 関数 機械学習を実行する コードのユニットテスト 17
18. 結合テスト • CIとしてコードとモデルを推論環境にインストールしてテストする モデル 管理 レポジトリ 実行環境 • CI環境を起動 • 自動運転OSをPull • レポジトリからコードを checkout • モデルをダウンロード • プログラムのテスト • モデルの稼働テスト • 推論テスト • CI終了 model development software development • （モデルのビルド） モデルが取得・導入可能 であることを確認 ソースコードのテスト コードからモデルを ロードできることを検証 コードから推論を検証 ＋負荷テスト ＋プロファイル ＋脆弱性診断 ＋外れ値検知・・・ 評価結果 18
19. 推論環境 システムとして考える機械学習 インターフェイ ス ログ 学習 モデル管理 レポジトリ 評価結果 推論器 前処理 推論 後処理 評価 → 機械学習で DevOpsを 回すために必要 ↓自動運転 19 CI 検索
20. データ 20
21. データ • 巨大な非構造化データの収集と管理 一日の記録 • ログ（圧縮）：100GB • 解凍し画像に変換：1,000GB • 画像枚数：1,000,000枚 この中から必要なデータを探す！ 21
22. データ 22 正解率 距離 遠くても 正解する 近くても 間違える • 全てのデータをアノテーション することは非現実的 • 間違える可能性の高い データを優先したいが、 データをどう探す？
23. 天気との戦い うおっまぶしっ 23
24. 地図の応用 24 • 地図、物体検知、画像認識、色認識の組み合わせ 信号機を検知し、色を判別 20m 物体検知 画像認識 色認識 前処理 地図 →赤！ 24 ここに 信号機が あるはず
25. 変化との戦い 消えた信号 25
26. データ検索基盤（開発中！） インターフェイ ス ログ 推論器 前処理 推論 後処理 26 フロント エンド バッチ DB 物体検知 バック エンド 機械学習
27. おわり 27
28. まとめ 28 • 信号機を認識するためにはデバイスサイドとクラウドサイドと実世界の エンジニアリングが必要 • 天気、照度、カメラ、場所、時間・・・を組み合わせたエッジケースの探索 →デバイスサイドで得たビッグデータをクラウドサイドで便利にする
29. We are hiring! 29 • Sensing & Perceptionエンジニア ◦ カメラ、LiDAR、RADARを用いたリアル タイムなセンシング、認識の開発を行う 仕事です。 ◦ センシングや認識の開発だけでなく、 キャリブレーションやデータセット 作りなど、自動運転の社会実装において 必要な機能開発に幅広く関われます。 • https://herp.careers/v1/tier4/czP-r7Y5GaJV • MLOpsエンジニア ◦ 毎日テラバイト単位で増える非構造化 データを、便利に使えるようにする 仕事です。 ◦ クラウド、機械学習、バックエンド、 フロントエンド、デバイスまで、 フルスタックにエンジニアリングが 楽しめます。 • https://herp.careers/v1/tier4/zHA-dVY6ORa4
30. © 2020 Tier IV, Inc. 30 2021