第42回 IBISML研究会 招待講演資料 / DRIVE CHART

第42回IBISML研究会（2021年3月2–4日）
オーガナイズドセッション「機械学習の実世界への適用」
「交通環境におけるコンピュータビジョン技術実応用：DRIVE CHART 」

- 第42回IBISML研究会：https://ibisml.org/ibisml042

Transcript

1. confidential Mobility Technologies Co., Ltd. 第42回 IBISML研究会 招待講演 交通環境におけるコンピュータビジョン技術実応⽤： DRIVE CHART 2021.3.3 株式会社Mobility Technologies 唐澤 拓⼰
2. confidential Mobility Technologies Co., Ltd. 唐澤 拓⼰（からさわ たくみ） n株式会社Mobility Technologies（MoT） nAI技術開発部 AI研究開発 1Gr. コンピュータビジョン（CV）エンジニア n経歴： n~ 2019.3：東京⼤学⼤学院 原⽥研究室 n2019.4 ~ 2020.3：DeNA AIシステム部 n2020.4 ~：MoT AI技術開発部 ⾃⼰紹介 2 twitter: @Takarasawa_
3. confidential Mobility Technologies Co., Ltd. Mobility Technologies 3 タクシーアプリ『JapanTaxi』を運営するJapanTaxiと、DeNAのタクシーアプリ 『MOV』や 交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 DRIVE CHART・ ドラレコ事業 次世代向け R&D事業
4. confidential Mobility Technologies Co., Ltd. Mobility Technologies 4 タクシーアプリ『JapanTaxi』を運営するJapanTaxiと、DeNAのタクシーアプリ 『MOV』や 交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 DRIVE CHART・ ドラレコ事業 次世代向け R&D事業 本⽇の お話
5. confidential Mobility Technologies Co., Ltd. DRIVE CHART 5 https://drive-chart.com/
6. confidential Mobility Technologies Co., Ltd. n危険シーンを⾃動検出し、運転⾏動の改善指導を⾏うことで事故削減を実現 DRIVE CHART 6
7. confidential Mobility Technologies Co., Ltd. n危険シーンを⾃動検出し、運転⾏動の改善指導を⾏うことで事故削減を実現 DRIVE CHART 7
8. confidential Mobility Technologies Co., Ltd. 1. DRIVE CHARTとは 2. DRIVE CHART x AI Team 3. DRIVE CHART x Computer Vision 4. DRIVE CHART x CV Engineer もくじ 8
9. confidential Mobility Technologies Co., Ltd. DRIVE CHART x AI Team ２ 9 DRIVE CHARTを⽀えるAI技術 https://www.slideshare.net/ren4yu/drive-chartai-239311682
10. confidential Mobility Technologies Co., Ltd. nスマートドライビング事業部 nサーバシステムチーム nインフラ構築からWEB API・WEBアプリケーション開発 nエッジシステムチーム n⾞載カメラの制御ソフトウェア開発及びエッジソフトウェア開発 nAI技術開発部 nAIチーム n危険シーン（イベント）を検出する各種AI技術開発 プロダクト開発体制 10
11. confidential Mobility Technologies Co., Ltd. nAI技術 nコンピュータビジョンチーム nデータサイエンスチーム nAIを⽀える技術 nエッジAIチーム nMLOpsチーム プロダクト開発体制 - AIチーム 11
12. confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 12 エッジAIライブラリ 深層学習モデル 3軸加速度 センサ 3軸⾓速度 センサ GPS 内向きカメラ レポートシステム レポートサーバ レポート アルゴリズム 地図
13. confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 13 エッジAIライブラリ 深層学習モデル 3軸加速度 センサ 3軸⾓速度 センサ GPS 内向きカメラ レポートシステム レポートサーバ レポート アルゴリズム 地図 コンピュータ ビジョン エッジAI データ サイエンス MLOps
14. confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 14 エッジAIライブラリ 深層学習モデル 3軸加速度 センサ 3軸⾓速度 センサ GPS 内向きカメラ レポートシステム レポートサーバ レポート アルゴリズム 地図 コンピュータ ビジョン
15. confidential Mobility Technologies Co., Ltd. n内向きカメラ・外向きカメラの映像を認識する 深層学習モデル・コンピュータビジョンアルゴリズムの研究開発 n上記アルゴリズムを開発する上で必要な アノテーションの設計、データセット構築 nイベント検出専⽤のシステム（脇⾒検知、⾞間距離不⾜検知システムなど）の 開発をすることも コンピュータビジョンチーム 15 外向きカメラ エッジAIライブラリ 深層学習モデル 内向きカメラ コンピュータ ビジョン
16. confidential Mobility Technologies Co., Ltd. n内向きカメラ n顔認識モデル n顔検出、ランドマーク検出、オクルージョン推定、 サングラスやマスクの属性認識を同時に⾏う n顔認証モデル n正⾯以外の⽅向、マスクやサングラス着⽤状態 での顔認証を実現 n外向きカメラ n物体検出モデル n⾞両や歩⾏者など複数のオブジェクトを検出 nレーン認識モデル n⼈物ポーズ推定の⼿法を応⽤したレーン検出 n映像からの⾞速推定モデル 深層学習モデル 16
17. confidential Mobility Technologies Co., Ltd. 単に⾼精度なモデル開発を⾏うだけでなく、限られた条件下で。 nエッジデバイスで利⽤可能な処理量が限られる n発熱との戦い n処理負荷と精度のトレードオフを改善する必要がある n許容される処理負荷内で精度を最⼤化 n各モデルについて様々な選択肢の組み合わせを試⾏錯誤 n物体検出フレームワーク nFaster R-CNN系、YOLO系、CenterNet, … nバックボーンモデル nResNet, MobileNet, EfficientNet, … nモデル軽量化 nPruning, distillation, 量⼦化, … モデルの最適化（精度と速度のトレードオフ改善） 17 画像認識と深層学習 https://www2.slideshare.net/ren4yu/ss-234439652
18. confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 18 エッジAIライブラリ 深層学習モデル 3軸加速度 センサ 3軸⾓速度 センサ GPS 内向きカメラ レポートシステム レポートサーバ レポート アルゴリズム 地図 エッジAI
19. confidential Mobility Technologies Co., Ltd. nエッジデバイス（ドラレコ）でAI（深層学習を含むアルゴリズム）を 動作させるエッジAIライブラリを開発 nC++からRustへ移⾏ nビルドシステムやテストフレームワークがネイティブサポートされており またメモリ関係のバグがコンパイル時に発⾒できる等により 品質と⽣産性のトレードオフが改善 nエッジAIライブラリの役割 n深層学習モデル、CVアルゴリズム、前処理・後処理の⾼速実⾏ n適当にやると前処理・後処理のほうが遅いというケースも n開発環境とエッジデバイスでの⼀貫した動作の担保 エッジAIチーム 19 エッジAIライブラリ 深層学習モデル
20. confidential Mobility Technologies Co., Ltd. n様々な選択肢を検証し、技術選定を⾏う nプロセッサ：CPU, GPU, DSP n推論エンジン：TensorFlow Lite, TorchScript, TVM, Arm NN, ... nモデル量⼦化：Post quantization, quantization-aware training n研究開発が完了したモデルをデプロイ⽤に変換 深層学習モデルの⾼速実⾏のために 20 深層学習ライブラリと量⼦化 https://lab.mo-t.com/blog/quantization-frameworks DRIVE CHARTにおける AI技術の事業応⽤ ーモデル開発からサービスデプロイまでー Part2 https://engineer.dena.com/posts/2020.03/drive-chart-ai-development-part2/
21. confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 21 エッジAIライブラリ 深層学習モデル 3軸加速度 センサ 3軸⾓速度 センサ GPS 内向きカメラ レポートシステム レポートサーバ レポート アルゴリズム 地図 データ サイエンス
22. confidential Mobility Technologies Co., Ltd. nKaggle Masterが多数在籍 nKaggleコンペを「作る能⼒」と「解く能⼒」が求められる n作る能⼒ n評価指標、precisionが最重要 n開発・評価データセットの設計・構築 n解く能⼒ nモデリング：タスクとデータから最適な⼿法を選択 nルールベース、アルゴリズム、信号処理、機械学習（e.g. GBDT）、深層 学習（e.g. LSTM）、あるいはそれらの組み合わせ nルールでできればそれが⼀番 nEDA：（誤検出等の）実データを徹底的に確認し、”magic” の発⾒・活⽤ データサイエンスチーム 23
23. confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 24 エッジAIライブラリ 深層学習モデル 3軸加速度 センサ 3軸⾓速度 センサ GPS 内向きカメラ レポートシステム レポートサーバ レポート アルゴリズム 地図 MLOps
24. confidential Mobility Technologies Co., Ltd. nAIアルゴリズムを実サービスにデプロイするための環境構築、 幅広いエンジニアリング n複雑なレポートシステムのための開発・テスト環境 （AIテスト環境）の構築 nAIテスト環境とは n⼤量の実⾛⾏データを収集し、レポートアルゴリズムの開発・改善を⾏ うためのデータセットに整形する n実際の処理パイプラインに流し最終的な「イベント検出」の精度を検証 する nコンピュータビジョンのモデルの精度≠ 「イベント検出」の精度 n複雑なパイプライン処理のため、上流の処理の変更のユーザ影響を確実 に検証しなければならない MLOpsチーム 25 ⼤規模・複雑な機械学習プロダクトの継続的な改善を⽀える実験プラットフォーム https://speakerdeck.com/ohke/da-gui-mo-fu-za-naji-jie-xue-xi-purodakutofalseji-sok-de-nagai-shan-wozhi-erushi-yan-puratutohuomu
25. confidential Mobility Technologies Co., Ltd. nAI技術 nコンピュータビジョンチーム カメラ映像認識アルゴリズム研究開発 nデータサイエンスチーム 危険イベント検出ロジック開発 nAIを⽀える技術 nエッジAIチーム エッジAIライブラリ開発 nMLOpsチーム レポート環境・テスト環境 ・開発環境の構築 プロダクト開発体制 - AIチーム 26 ➤ これら分担のおかげで、コンピュータビジョンチームは デバイスや環境について過剰に気にする必要なく開発がおこなえ、本当に助かっています…！
26. confidential Mobility Technologies Co., Ltd. DRIVE CHART x Computer Vision ⾞間距離不⾜検知システムを例に 3 27
27. confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか そもそも⾞間距離不⾜とは
28. confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか ➤ 静⽌画では速度情報がわからないため、判断できない。 そもそも⾞間距離不⾜とは ⾞間距離不⾜かどうかの判断には速度情報が必要
29. confidential Mobility Technologies Co., Ltd. n⾞間時間（Time Headway, THW）：前⽅⾞両の存在する位置までの到達時間 n⾞間時間 = ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間（Time to Collision, TTC）：前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度 ⾞間距離に関するリスクの定量化指標 30 ⾞ 間 距 離 0sec 0.8sec ⾞間時間 （THW） 相⼿速度は 関係ない
30. confidential Mobility Technologies Co., Ltd. n⾞間時間（Time Headway, THW）：前⽅⾞両の存在する位置までの到達時間 n⾞間時間 = ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間（Time to Collision, TTC）：前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度 ⾞間距離に関するリスクの定量化指標 ⾞間距離不⾜︖ YES/NO 単眼ドラレコ動画像 ⾞間時間推定システム THW 前⽅⾞両へ近づいていかなくとも、⾞間時間が短い運転は危険 ⾞間距離不⾜かどうかの判定には⾞間時間、THWが⽤いられる 31
31. confidential Mobility Technologies Co., Ltd. ポイント：単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム 単眼ドラレコ動画像 対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出
32. confidential Mobility Technologies Co., Ltd. フロントカメラからの撮影画像は幾何的制約が⼤きい フロントカメラ画像の幾何的性質 消失点 フロントカメラからの撮影画像例 レーン 道路 背景など 消失点 レーン 道路 背景など
33. confidential Mobility Technologies Co., Ltd. 道路上の点は消失点を利⽤すると座標変換が可能 n「画像上での消失点との距離」と「実際の距離」は反⽐例の関係 nまた、道路の速度は場所によらず⼀定のため、 「画像上での移動速度」は「画像上での消失点との距離」の⼆乗に⽐例 𝑧 = " #$%&! （𝛼はカメラ依存の定数）− '( ') = "*+! #$%&! " （道路の場所によらず⼀定） フロントカメラ画像の幾何的性質 カメラ 実際の距離 𝒛 消失点 画像上 消失点との距離 𝒚 − 𝒗𝒑𝒚 消失点 画像上での移動速度 𝑽𝒚
34. confidential Mobility Technologies Co., Ltd. ポイント：単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム（再掲） 単眼ドラレコ動画像 対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出
35. confidential Mobility Technologies Co., Ltd. ポーズ推定のキーポイント検出を応⽤した独⾃ネットワーク 1. いくつかのy座標でのレーンポイントを検出 2. レーンポイントをグルーピングし、レーン推定 3. 複数レーンの交点を⽤いて、消失点推定 1. レーン・消失点検出 レーンポイント検出 レーン・消失点推定 消失点 レーン 参考︓ポーズ推定
36. confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2. 対象⾞両抽出：消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前（ = y 座標が最も下）の⾞両を抽出 2. 対象⾞両検出 1. 物体検出 2. 対象⾞両抽出 消失点 画像上のｘ座標
37. confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2. 対象⾞両抽出：消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前（ = y 座標が最も下）の⾞両を抽出 2. 対象⾞両検出 実際の対象⾞両検出の様⼦
38. confidential Mobility Technologies Co., Ltd. 3. 移動量検出（⾃⾞両の移動量＝道路の移動量） ⾞両 ⾞両 道路上のみ 抽出 同スケールに統⼀ （≒上から⾒た座標への変換） 移動量 ドラレコ動画 オプティカルフロー 道路 ⾞両 道路情報形成 代表値取得 対象⾞両検出 レーン・消失点検出 道路・消失点の幾何的性質
39. confidential Mobility Technologies Co., Ltd. （1）THW= ⾞間距離 ÷ ⾃⾞両の速度 （𝑧! ：対象⾞両の初期位置） （2）画像上 y 座標と実際の距離 z との関係式 （𝑣𝑝" ：消失点 y 座標、𝛼：カメラ依存の定数） （2）を微分して（1）に代⼊して計算 （𝑦# ：対象⾞両下底の初期位置） 4. 座標変換 + THW算出 𝑧 = 𝛼 𝑦 − 𝑣𝑝" 𝑇𝐻𝑊 = 𝑧! 𝑉 $ 𝑇𝐻𝑊 = 𝑦# − 𝑣𝑝" 𝑉 "! カメラ依存の定数は 存在しなくなる ⾃⾞両の速度 ⾞間距離 対象⾞両検出 移動量検出 消失点検出 x フレームレート
40. confidential Mobility Technologies Co., Ltd. （デモ） オプティカルフロー推定と道路情報による移動量抽出 実際に出⼒されたTHWから逆算して道路に投影
41. confidential Mobility Technologies Co., Ltd. ポイント：単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム 単眼ドラレコ動画像 対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出
42. confidential Mobility Technologies Co., Ltd. 物体の奥⾏き情報の教師データを集めることが可能であれば、 距離を直接学習する⼿法も活⽤可能に 他アプローチも 43 学習ベースの単眼距離推定⼿法（[J. Zhu et. al., 2019]より引⽤）
43. confidential Mobility Technologies Co., Ltd. DRIVE CHART x CV Engineer 4 44
44. confidential Mobility Technologies Co., Ltd. 1. 要件のすり合わせ 2. 学習・評価データの作成 3. CVシステムの開発（モデルの学習） 4. 評価・分析、結果の共有 5. システム実装、モニタリング 実際の開発フロー 45
45. confidential Mobility Technologies Co., Ltd. どんなシステムを開発してほしいか、の議論 n どんな⼊⼒情報が使⽤可能で、どういった出⼒をしてほしいか n どういったデータを対象とするのか（全体のフローにおけるシステムの⽴ち位置） 事業的、技術的な⾯からシステム開発のゴール・進め⽅の検討 …「良ければ良いほど、嬉しい」となりがちな⽬標値 開発フロー1. 要件のすり合わせ 46
46. confidential Mobility Technologies Co., Ltd. どんなシステムを開発してほしいか、の議論 n どんな⼊⼒情報が使⽤可能で、どういった出⼒をしてほしいか n どういったデータを対象とするのか（全体のフローにおけるシステムの⽴ち位置） 事業的、技術的な⾯からシステム開発のゴール・進め⽅の検討 …「良ければ良いほど、嬉しい」となりがちな⽬標値 開発フロー1. 要件のすり合わせ 47 • どれくらいの精度であれば事業として使⽤可能、嬉しいかの把握を しっかりヒアリング（事業部→開発） • 技術的にどれくらいのことができそうかを適切に伝え、 認識を合わせる（開発→事業部） やってみないとどれくらい精度が出るかわからないことも多い こまめな結果の共有とフィードバック、すり合わせていく
47. confidential Mobility Technologies Co., Ltd. アノテーションに回すデータ（画像）の収集 アノテーション指⽰： 社内アノテーションチームにてアノテーション 開発フロー2. 学習・評価データの作成 48 • 時間帯、天候、⾃⾞両の種類の違いなど想定される環境を漏れなく抽出 • 停⾞中は同じ画像が多数撮影されるので対象から外す • etc. • 意図とずれないための具体性のある指⽰をしっかり⾏う • どの⼤きさまでアノテーションするのか • 確信度に対するフラグの付与 • サンプルレベルで質問していただき議論、フィードバック • アノテーション品質の確認
48. confidential Mobility Technologies Co., Ltd. 社内アノテーションツールにより⼤規模データセットの構築 開発フロー2. 学習・評価データの作成 49 動画再⽣画⾯ 脇⾒アノテーションの例 脇⾒開始・終了タイミングの記録
49. confidential Mobility Technologies Co., Ltd. ベースライン構築 n 分野のサーベイ、有望そうな⼿法の利⽤ n センサデータ分析、仮アプローチ策定 結果の分析・改善 n ある程度できているか、アプローチ⾃体を変える必要がないか n 要望を満たせないケースの抽出、独⾃アイデア検討、先⾏研究調査 n 他の⼊⼒情報を使⽤できないか 開発フロー3. CVシステムの開発（モデル開発） 50 シンプルな⼿法だけでなく、交通環境ドメイン特化の情報や センサデータの分析など泥臭く幅広く検討する
50. confidential Mobility Technologies Co., Ltd. 評価・分析を実施、結果を事業部へ共有： すり合わせを⾏った指標値を⽤いて評価結果を伝達 開発フロー4. 評価・分析、結果の共有 51 多⾓的な観点から、適切な粒度で結果をわかりやすく伝える • 結果を可視化することで直感的に • どんなデータに強い、どんなデータに弱いのか • 不正解となってしまうデータは実際にどんなデータが有るのか • サンプル⼀つ⼀つの確認 （時には作成した評価データが誤ってることも） • 不正解データは別途対応することが可能か？ 開発側の責任として、⾃⾝の開発範囲の不明瞭な点を限りなくなくす
51. confidential Mobility Technologies Co., Ltd. MLOpsチームとすり合わせし、システム的な仕様の決定、実装 n コスト⾒積もり n 相互レビュー n テスト環境での稼働確認 想定通りの挙動となっているかモニタリング n デプロイ直後はサンプルレベルで出⼒結果の妥当性を確認 n モニタリングする統計値を決めておき、異常なときに通知 n デバッグできるよう途中結果の埋め込み 開発フロー5. システム実装、モニタリング 52
52. confidential Mobility Technologies Co., Ltd. 実際の課題を技術で解決するということ、はやはり魅⼒ n 実データに触ることができ、実課題に直⾯できる⾯⽩み CVエンジニアとして⼤切だと個⼈的に感じること n サービスへの理解、開発背景の理解 n どっぷり事業ドメインに浸かった開発 n 交通環境の知識、フロントカメラ特化のCV幾何 n 泥臭くデータひとつひとつを視ること n センサデータの分析、推論結果の可視化、不正解データの確認 n ⾃⾝の開発範囲の細部理解、適切に事情・結果を伝えること n 最低限のクリーンコーディング⼒ DRIVE CHART x CV Engineer 53
53. confidential ⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。 Mobility Technologies Co., Ltd. 54