第42回 IBISML研究会招待講演資料 / DRIVE CHART

Slide 1

Slide 1 text

confidential Mobility Technologies Co., Ltd. 第42回 IBISML研究会招待講演交通環境におけるコンピュータビジョン技術実応⽤： DRIVE CHART 2021.3.3 株式会社Mobility Technologies 唐澤拓⼰

Slide 2

Slide 2 text

confidential Mobility Technologies Co., Ltd. 唐澤拓⼰（からさわたくみ） n株式会社Mobility Technologies（MoT） nAI技術開発部 AI研究開発 1Gr. コンピュータビジョン（CV）エンジニア n経歴： n~ 2019.3：東京⼤学⼤学院原⽥研究室 n2019.4 ~ 2020.3：DeNA AIシステム部 n2020.4 ~：MoT AI技術開発部⾃⼰紹介 2 twitter: @Takarasawa_

Slide 3

Slide 3 text

confidential Mobility Technologies Co., Ltd. Mobility Technologies 3 タクシーアプリ『JapanTaxi』を運営するJapanTaxiと、DeNAのタクシーアプリ『MOV』や交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。配⾞関連事業広告決済事業乗務員向けソリューション事業 DRIVE CHART・ドラレコ事業次世代向け R&D事業

Slide 4

Slide 4 text

confidential Mobility Technologies Co., Ltd. Mobility Technologies 4 タクシーアプリ『JapanTaxi』を運営するJapanTaxiと、DeNAのタクシーアプリ『MOV』や交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。配⾞関連事業広告決済事業乗務員向けソリューション事業 DRIVE CHART・ドラレコ事業次世代向け R&D事業本⽇のお話

Slide 5

Slide 5 text

confidential Mobility Technologies Co., Ltd. DRIVE CHART 5 https://drive-chart.com/

Slide 6

Slide 6 text

confidential Mobility Technologies Co., Ltd. n危険シーンを⾃動検出し、運転⾏動の改善指導を⾏うことで事故削減を実現 DRIVE CHART 6

Slide 7

Slide 7 text

confidential Mobility Technologies Co., Ltd. n危険シーンを⾃動検出し、運転⾏動の改善指導を⾏うことで事故削減を実現 DRIVE CHART 7

Slide 8

Slide 8 text

confidential Mobility Technologies Co., Ltd. 1. DRIVE CHARTとは 2. DRIVE CHART x AI Team 3. DRIVE CHART x Computer Vision 4. DRIVE CHART x CV Engineer もくじ 8

Slide 9

Slide 9 text

confidential Mobility Technologies Co., Ltd. DRIVE CHART x AI Team ２ 9 DRIVE CHARTを⽀えるAI技術 https://www.slideshare.net/ren4yu/drive-chartai-239311682

Slide 10

Slide 10 text

confidential Mobility Technologies Co., Ltd. nスマートドライビング事業部 nサーバシステムチーム nインフラ構築からWEB API・WEBアプリケーション開発 nエッジシステムチーム n⾞載カメラの制御ソフトウェア開発及びエッジソフトウェア開発 nAI技術開発部 nAIチーム n危険シーン（イベント）を検出する各種AI技術開発プロダクト開発体制 10

Slide 11

Slide 11 text

confidential Mobility Technologies Co., Ltd. nAI技術 nコンピュータビジョンチーム nデータサイエンスチーム nAIを⽀える技術 nエッジAIチーム nMLOpsチームプロダクト開発体制 - AIチーム 11

Slide 12

Slide 12 text

confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 12 エッジAIライブラリ深層学習モデル 3軸加速度センサ 3軸⾓速度センサ GPS 内向きカメラレポートシステムレポートサーバレポートアルゴリズム地図

Slide 13

Slide 13 text

confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 13 エッジAIライブラリ深層学習モデル 3軸加速度センサ 3軸⾓速度センサ GPS 内向きカメラレポートシステムレポートサーバレポートアルゴリズム地図コンピュータビジョンエッジAI データサイエンス MLOps

Slide 14

Slide 14 text

confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 14 エッジAIライブラリ深層学習モデル 3軸加速度センサ 3軸⾓速度センサ GPS 内向きカメラレポートシステムレポートサーバレポートアルゴリズム地図コンピュータビジョン

Slide 15

Slide 15 text

confidential Mobility Technologies Co., Ltd. n内向きカメラ・外向きカメラの映像を認識する深層学習モデル・コンピュータビジョンアルゴリズムの研究開発 n上記アルゴリズムを開発する上で必要なアノテーションの設計、データセット構築 nイベント検出専⽤のシステム（脇⾒検知、⾞間距離不⾜検知システムなど）の開発をすることもコンピュータビジョンチーム 15 外向きカメラエッジAIライブラリ深層学習モデル内向きカメラコンピュータビジョン

Slide 16

Slide 16 text

confidential Mobility Technologies Co., Ltd. n内向きカメラ n顔認識モデル n顔検出、ランドマーク検出、オクルージョン推定、サングラスやマスクの属性認識を同時に⾏う n顔認証モデル n正⾯以外の⽅向、マスクやサングラス着⽤状態での顔認証を実現 n外向きカメラ n物体検出モデル n⾞両や歩⾏者など複数のオブジェクトを検出 nレーン認識モデル n⼈物ポーズ推定の⼿法を応⽤したレーン検出 n映像からの⾞速推定モデル深層学習モデル 16

Slide 17

Slide 17 text

confidential Mobility Technologies Co., Ltd. 単に⾼精度なモデル開発を⾏うだけでなく、限られた条件下で。 nエッジデバイスで利⽤可能な処理量が限られる n発熱との戦い n処理負荷と精度のトレードオフを改善する必要がある n許容される処理負荷内で精度を最⼤化 n各モデルについて様々な選択肢の組み合わせを試⾏錯誤 n物体検出フレームワーク nFaster R-CNN系、YOLO系、CenterNet, … nバックボーンモデル nResNet, MobileNet, EfficientNet, … nモデル軽量化 nPruning, distillation, 量⼦化, … モデルの最適化（精度と速度のトレードオフ改善） 17 画像認識と深層学習 https://www2.slideshare.net/ren4yu/ss-234439652

Slide 18

Slide 18 text

confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 18 エッジAIライブラリ深層学習モデル 3軸加速度センサ 3軸⾓速度センサ GPS 内向きカメラレポートシステムレポートサーバレポートアルゴリズム地図エッジAI

Slide 19

Slide 19 text

confidential Mobility Technologies Co., Ltd. nエッジデバイス（ドラレコ）でAI（深層学習を含むアルゴリズム）を動作させるエッジAIライブラリを開発 nC++からRustへ移⾏ nビルドシステムやテストフレームワークがネイティブサポートされておりまたメモリ関係のバグがコンパイル時に発⾒できる等により品質と⽣産性のトレードオフが改善 nエッジAIライブラリの役割 n深層学習モデル、CVアルゴリズム、前処理・後処理の⾼速実⾏ n適当にやると前処理・後処理のほうが遅いというケースも n開発環境とエッジデバイスでの⼀貫した動作の担保エッジAIチーム 19 エッジAIライブラリ深層学習モデル

Slide 20

Slide 20 text

confidential Mobility Technologies Co., Ltd. n様々な選択肢を検証し、技術選定を⾏う nプロセッサ：CPU, GPU, DSP n推論エンジン：TensorFlow Lite, TorchScript, TVM, Arm NN, ... nモデル量⼦化：Post quantization, quantization-aware training n研究開発が完了したモデルをデプロイ⽤に変換深層学習モデルの⾼速実⾏のために 20 深層学習ライブラリと量⼦化 https://lab.mo-t.com/blog/quantization-frameworks DRIVE CHARTにおける AI技術の事業応⽤ーモデル開発からサービスデプロイまでー Part2 https://engineer.dena.com/posts/2020.03/drive-chart-ai-development-part2/

Slide 21

Slide 21 text

confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 21 エッジAIライブラリ深層学習モデル 3軸加速度センサ 3軸⾓速度センサ GPS 内向きカメラレポートシステムレポートサーバレポートアルゴリズム地図データサイエンス

Slide 22

Slide 22 text

confidential Mobility Technologies Co., Ltd. nKaggle Masterが多数在籍 nKaggleコンペを「作る能⼒」と「解く能⼒」が求められる n作る能⼒ n評価指標、precisionが最重要 n開発・評価データセットの設計・構築 n解く能⼒ nモデリング：タスクとデータから最適な⼿法を選択 nルールベース、アルゴリズム、信号処理、機械学習（e.g. GBDT）、深層学習（e.g. LSTM）、あるいはそれらの組み合わせ nルールでできればそれが⼀番 nEDA：（誤検出等の）実データを徹底的に確認し、”magic” の発⾒・活⽤データサイエンスチーム 23

Slide 23

Slide 23 text

confidential Mobility Technologies Co., Ltd. 外向きカメラ DRIVE CHARTのAI処理の流れ 24 エッジAIライブラリ深層学習モデル 3軸加速度センサ 3軸⾓速度センサ GPS 内向きカメラレポートシステムレポートサーバレポートアルゴリズム地図 MLOps

Slide 24

Slide 24 text

confidential Mobility Technologies Co., Ltd. nAIアルゴリズムを実サービスにデプロイするための環境構築、幅広いエンジニアリング n複雑なレポートシステムのための開発・テスト環境（AIテスト環境）の構築 nAIテスト環境とは n⼤量の実⾛⾏データを収集し、レポートアルゴリズムの開発・改善を⾏うためのデータセットに整形する n実際の処理パイプラインに流し最終的な「イベント検出」の精度を検証する nコンピュータビジョンのモデルの精度≠ 「イベント検出」の精度 n複雑なパイプライン処理のため、上流の処理の変更のユーザ影響を確実に検証しなければならない MLOpsチーム 25 ⼤規模・複雑な機械学習プロダクトの継続的な改善を⽀える実験プラットフォーム https://speakerdeck.com/ohke/da-gui-mo-fu-za-naji-jie-xue-xi-purodakutofalseji-sok-de-nagai-shan-wozhi-erushi-yan-puratutohuomu

Slide 25

Slide 25 text

confidential Mobility Technologies Co., Ltd. nAI技術 nコンピュータビジョンチームカメラ映像認識アルゴリズム研究開発 nデータサイエンスチーム危険イベント検出ロジック開発 nAIを⽀える技術 nエッジAIチームエッジAIライブラリ開発 nMLOpsチームレポート環境・テスト環境・開発環境の構築プロダクト開発体制 - AIチーム 26 ➤ これら分担のおかげで、コンピュータビジョンチームはデバイスや環境について過剰に気にする必要なく開発がおこなえ、本当に助かっています…！

Slide 26

Slide 26 text

confidential Mobility Technologies Co., Ltd. DRIVE CHART x Computer Vision ⾞間距離不⾜検知システムを例に 3 27

Slide 27

Slide 27 text

confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうかそもそも⾞間距離不⾜とは

Slide 28

Slide 28 text

confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか ➤ 静⽌画では速度情報がわからないため、判断できない。そもそも⾞間距離不⾜とは⾞間距離不⾜かどうかの判断には速度情報が必要

Slide 29

Slide 29 text

confidential Mobility Technologies Co., Ltd. n⾞間時間（Time Headway, THW）：前⽅⾞両の存在する位置までの到達時間 n⾞間時間 = ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間（Time to Collision, TTC）：前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度⾞間距離に関するリスクの定量化指標 30 ⾞間距離 0sec 0.8sec ⾞間時間（THW）相⼿速度は関係ない

Slide 30

Slide 30 text

confidential Mobility Technologies Co., Ltd. n⾞間時間（Time Headway, THW）：前⽅⾞両の存在する位置までの到達時間 n⾞間時間 = ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間（Time to Collision, TTC）：前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度⾞間距離に関するリスクの定量化指標⾞間距離不⾜︖ YES/NO 単眼ドラレコ動画像⾞間時間推定システム THW 前⽅⾞両へ近づいていかなくとも、⾞間時間が短い運転は危険⾞間距離不⾜かどうかの判定には⾞間時間、THWが⽤いられる 31

Slide 31

Slide 31 text

confidential Mobility Technologies Co., Ltd. ポイント：単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決⾞間時間推定システム単眼ドラレコ動画像対象⾞両検出移動量検出座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出

Slide 32

Slide 32 text

confidential Mobility Technologies Co., Ltd. フロントカメラからの撮影画像は幾何的制約が⼤きいフロントカメラ画像の幾何的性質消失点フロントカメラからの撮影画像例レーン道路背景など消失点レーン道路背景など

Slide 33

Slide 33 text

confidential Mobility Technologies Co., Ltd. 道路上の点は消失点を利⽤すると座標変換が可能 n「画像上での消失点との距離」と「実際の距離」は反⽐例の関係 nまた、道路の速度は場所によらず⼀定のため、「画像上での移動速度」は「画像上での消失点との距離」の⼆乗に⽐例 𝑧 = " #$%&! （𝛼はカメラ依存の定数）− '( ') = "*+! #$%&! " （道路の場所によらず⼀定）フロントカメラ画像の幾何的性質カメラ実際の距離 𝒛 消失点画像上消失点との距離 𝒚 − 𝒗𝒑𝒚 消失点画像上での移動速度 𝑽𝒚

Slide 34

Slide 34 text

confidential Mobility Technologies Co., Ltd. ポイント：単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決⾞間時間推定システム（再掲）単眼ドラレコ動画像対象⾞両検出移動量検出座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出

Slide 35

Slide 35 text

confidential Mobility Technologies Co., Ltd. ポーズ推定のキーポイント検出を応⽤した独⾃ネットワーク 1. いくつかのy座標でのレーンポイントを検出 2. レーンポイントをグルーピングし、レーン推定 3. 複数レーンの交点を⽤いて、消失点推定 1. レーン・消失点検出レーンポイント検出レーン・消失点推定消失点レーン参考︓ポーズ推定

Slide 36

Slide 36 text

confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2. 対象⾞両抽出：消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前（ = y 座標が最も下）の⾞両を抽出 2. 対象⾞両検出 1. 物体検出 2. 対象⾞両抽出消失点画像上のｘ座標

Slide 37

Slide 37 text

Slide 38

Slide 38 text

confidential Mobility Technologies Co., Ltd. 3. 移動量検出（⾃⾞両の移動量＝道路の移動量）⾞両⾞両道路上のみ抽出同スケールに統⼀（≒上から⾒た座標への変換）移動量ドラレコ動画オプティカルフロー道路⾞両道路情報形成代表値取得対象⾞両検出レーン・消失点検出道路・消失点の幾何的性質

Slide 39

Slide 39 text

confidential Mobility Technologies Co., Ltd. （1）THW= ⾞間距離 ÷ ⾃⾞両の速度（𝑧! ：対象⾞両の初期位置）（2）画像上 y 座標と実際の距離 z との関係式（𝑣𝑝" ：消失点 y 座標、𝛼：カメラ依存の定数）（2）を微分して（1）に代⼊して計算（𝑦# ：対象⾞両下底の初期位置） 4. 座標変換 + THW算出 𝑧 = 𝛼 𝑦 − 𝑣𝑝" 𝑇𝐻𝑊 = 𝑧! 𝑉 $ 𝑇𝐻𝑊 = 𝑦# − 𝑣𝑝" 𝑉 "! カメラ依存の定数は存在しなくなる⾃⾞両の速度⾞間距離対象⾞両検出移動量検出消失点検出 x フレームレート

Slide 40

Slide 40 text

confidential Mobility Technologies Co., Ltd. （デモ）オプティカルフロー推定と道路情報による移動量抽出実際に出⼒されたTHWから逆算して道路に投影

Slide 41

Slide 41 text

Slide 42

Slide 42 text

confidential Mobility Technologies Co., Ltd. 物体の奥⾏き情報の教師データを集めることが可能であれば、距離を直接学習する⼿法も活⽤可能に他アプローチも 43 学習ベースの単眼距離推定⼿法（[J. Zhu et. al., 2019]より引⽤）

Slide 43

Slide 43 text

confidential Mobility Technologies Co., Ltd. DRIVE CHART x CV Engineer 4 44

Slide 44

Slide 44 text

confidential Mobility Technologies Co., Ltd. 1. 要件のすり合わせ 2. 学習・評価データの作成 3. CVシステムの開発（モデルの学習） 4. 評価・分析、結果の共有 5. システム実装、モニタリング実際の開発フロー 45

Slide 45

Slide 45 text

Slide 46

Slide 46 text

confidential Mobility Technologies Co., Ltd. どんなシステムを開発してほしいか、の議論 n どんな⼊⼒情報が使⽤可能で、どういった出⼒をしてほしいか n どういったデータを対象とするのか（全体のフローにおけるシステムの⽴ち位置）事業的、技術的な⾯からシステム開発のゴール・進め⽅の検討 …「良ければ良いほど、嬉しい」となりがちな⽬標値開発フロー1. 要件のすり合わせ 47 • どれくらいの精度であれば事業として使⽤可能、嬉しいかの把握をしっかりヒアリング（事業部→開発） • 技術的にどれくらいのことができそうかを適切に伝え、認識を合わせる（開発→事業部）やってみないとどれくらい精度が出るかわからないことも多いこまめな結果の共有とフィードバック、すり合わせていく

Slide 47

Slide 47 text

confidential Mobility Technologies Co., Ltd. アノテーションに回すデータ（画像）の収集アノテーション指⽰：社内アノテーションチームにてアノテーション開発フロー2. 学習・評価データの作成 48 • 時間帯、天候、⾃⾞両の種類の違いなど想定される環境を漏れなく抽出 • 停⾞中は同じ画像が多数撮影されるので対象から外す • etc. • 意図とずれないための具体性のある指⽰をしっかり⾏う • どの⼤きさまでアノテーションするのか • 確信度に対するフラグの付与 • サンプルレベルで質問していただき議論、フィードバック • アノテーション品質の確認

Slide 48

Slide 48 text

confidential Mobility Technologies Co., Ltd. 社内アノテーションツールにより⼤規模データセットの構築開発フロー2. 学習・評価データの作成 49 動画再⽣画⾯脇⾒アノテーションの例脇⾒開始・終了タイミングの記録

Slide 49

Slide 49 text

confidential Mobility Technologies Co., Ltd. ベースライン構築 n 分野のサーベイ、有望そうな⼿法の利⽤ n センサデータ分析、仮アプローチ策定結果の分析・改善 n ある程度できているか、アプローチ⾃体を変える必要がないか n 要望を満たせないケースの抽出、独⾃アイデア検討、先⾏研究調査 n 他の⼊⼒情報を使⽤できないか開発フロー3. CVシステムの開発（モデル開発） 50 シンプルな⼿法だけでなく、交通環境ドメイン特化の情報やセンサデータの分析など泥臭く幅広く検討する

Slide 50

Slide 50 text

confidential Mobility Technologies Co., Ltd. 評価・分析を実施、結果を事業部へ共有：すり合わせを⾏った指標値を⽤いて評価結果を伝達開発フロー4. 評価・分析、結果の共有 51 多⾓的な観点から、適切な粒度で結果をわかりやすく伝える • 結果を可視化することで直感的に • どんなデータに強い、どんなデータに弱いのか • 不正解となってしまうデータは実際にどんなデータが有るのか • サンプル⼀つ⼀つの確認（時には作成した評価データが誤ってることも） • 不正解データは別途対応することが可能か？開発側の責任として、⾃⾝の開発範囲の不明瞭な点を限りなくなくす

Slide 51

Slide 51 text

confidential Mobility Technologies Co., Ltd. MLOpsチームとすり合わせし、システム的な仕様の決定、実装 n コスト⾒積もり n 相互レビュー n テスト環境での稼働確認想定通りの挙動となっているかモニタリング n デプロイ直後はサンプルレベルで出⼒結果の妥当性を確認 n モニタリングする統計値を決めておき、異常なときに通知 n デバッグできるよう途中結果の埋め込み開発フロー5. システム実装、モニタリング 52

Slide 52

Slide 52 text

confidential Mobility Technologies Co., Ltd. 実際の課題を技術で解決するということ、はやはり魅⼒ n 実データに触ることができ、実課題に直⾯できる⾯⽩み CVエンジニアとして⼤切だと個⼈的に感じること n サービスへの理解、開発背景の理解 n どっぷり事業ドメインに浸かった開発 n 交通環境の知識、フロントカメラ特化のCV幾何 n 泥臭くデータひとつひとつを視ること n センサデータの分析、推論結果の可視化、不正解データの確認 n ⾃⾝の開発範囲の細部理解、適切に事情・結果を伝えること n 最低限のクリーンコーディング⼒ DRIVE CHART x CV Engineer 53