Save 37% off PRO during our Black Friday Sale! »

DsDS#2「交通環境におけるコンピュータビジョン技術実応用」/ DsDS#2 DRIVE CHART

DsDS#2「交通環境におけるコンピュータビジョン技術実応用」/ DsDS#2 DRIVE CHART

10/8(金)にScramble Techにより開催されたオンラインイベントDiscovery DataScience Meet up (DsDS) #2における登壇資料です。

MoTの提供する次世代AIドラレコサービス「DRIVE CHART」におけるCV開発について紹介しています。

・Scramble Tech, DsDSについて:
https://www.notion.so/scrambletech/Scramble-Tech-d18531c156cb48158e52104d0dc61446
・DsDS#2:
https://scramble.connpass.com/event/201414/

C31b5afbe1ffb5588b2fe5a9e39b357b?s=128

Takumi Karasawa

October 08, 2021
Tweet

Transcript

  1. confidential Mobility Technologies Co., Ltd. Discovery DataScience Meet up (DsDS)

    #2 交通環境におけるコンピュータビジョン技術実応⽤ 2021.10.8 株式会社Mobility Technologies 唐澤 拓⼰
  2. Mobility Technologies Co., Ltd. confidential 2 MoTが提供する次世代AIドラレコサービス「DRIVE CHART」において どのようなCV開発がされているか、 またCVシステムの例として「⾞間距離不⾜検知システム」を紹介します。

    ドメイン知識を活⽤したCVの実⽤例をお伝えできればと思います。 はじめに
  3. Mobility Technologies Co., Ltd. confidential 3 唐澤 拓⼰(からさわ たくみ) n株式会社Mobility

    Technologies(MoT) nAI技術開発部 AI研究開発 1Gr. コンピュータビジョン(CV)エンジニア nDeNA新卒⼊社 ➤ MoT移籍 nやってること︓ n外カメラ向けシステム開発 n顔認証システム開発 @Takarasawa_
  4. Mobility Technologies Co., Ltd. confidential 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 スマート

    ドライビング事業 次世代向け R&D事業 4 タクシーアプリ『JapanTaxi』などを運営するJapanTaxiと、DeNAのタクシーアプリ 『MOV』や 交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。 Mobility Technologies
  5. Mobility Technologies Co., Ltd. confidential 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 スマート

    ドライビング事業 次世代向け R&D事業 5 タクシーアプリ『JapanTaxi』などを運営するJapanTaxiと、DeNAのタクシーアプリ 『MOV』や 交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。 Mobility Technologies 本⽇の お話
  6. Mobility Technologies Co., Ltd. confidential 6 危険シーンを⾃動検出 ➤ 運転⾏動の改善指導 DRIVE

    CHART https://drive-chart.com/
  7. Mobility Technologies Co., Ltd. confidential n内向きカメラ n顔認識モデル n顔検出、ランドマーク検出、オクルージョン推定、 サングラスやマスクの属性認識を同時に⾏う n顔認証モデル

    n正⾯以外の⽅向、マスクやサングラス着⽤状態 での顔認証を実現 n外向きカメラ n物体検出モデル n⾞両や歩⾏者など複数のオブジェクトを検出 nレーン認識モデル n⼈物ポーズ推定の⼿法を応⽤したレーン検出 n映像からの⾞速推定モデル n消失点検出モデル どんなCV開発がされてる︖深層学習モデルの種類
  8. Mobility Technologies Co., Ltd. confidential 8 nエッジデバイスで利⽤可能な処理量が限られる(発熱との戦い) n処理負荷と精度のトレードオフを改善する必要がある n各モデルについて様々な選択肢の組み合わせを試⾏錯誤 n物体検出フレームワーク

    nFaster R-CNN系、YOLO系、CenterNet, … nバックボーンモデル nResNet, MobileNet, EfficientNet, … nモデル軽量化 nPruning, distillation, 量⼦化, … どんなCV開発がされてる︖エッジのためのモデル最適化 画像認識と深層学習:https://www2.slideshare.net/ren4yu/ss-234439652 外向きカメラ エッジAIライブラリ 深層学習モデル 内向きカメラ
  9. Mobility Technologies Co., Ltd. confidential 9 エッジデバイス(ドラレコ)でAI(深層学習を含むアルゴリズム)を 動作させるエッジAIライブラリを開発 nエッジAIライブラリの役割 n深層学習モデル、CVアルゴリズム、前処理・後処理の⾼速実⾏

    n適当にやると前処理・後処理のほうが遅いというケースも n開発環境とエッジデバイスでの⼀貫した動作の担保 どんなCV開発がされてる︖エッジAIライブラリ 外向きカメラ エッジAIライブラリ 深層学習モデル 内向きカメラ
  10. Mobility Technologies Co., Ltd. confidential 10 動画像から⽬的となる危険シーンを直接検出するモデル・アルゴリズムの開発 n脇⾒検知システム n⾞間距離不⾜検知システム n本⽇紹介します

    どんなCV開発がされてる︖イベント検出システム 外向きカメラ 内向きカメラ DeNA TechCon 2020:https://www.slideshare.net/dena_tech/drive-chart
  11. confidential Mobility Technologies Co., Ltd. ⾞間距離不⾜検知システム 11

  12. confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか そもそも⾞間距離不⾜とは

  13. confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか ➤ 静⽌画では速度情報がわからないため、判断できない。 そもそも⾞間距離不⾜とは ⾞間距離不⾜かどうかの判断には速度情報が必要

  14. confidential Mobility Technologies Co., Ltd. n⾞間時間(Time Headway, THW)︓前⽅⾞両の存在する位置までの到達時間 n⾞間時間 =

    ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間(Time to Collision, TTC)︓前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度 ⾞間距離に関するリスクの定量化指標 14 ⾞ 間 距 離 0sec 0.8sec ⾞間時間 (THW) 相⼿速度は 関係ない
  15. confidential Mobility Technologies Co., Ltd. n⾞間時間(Time Headway, THW)︓前⽅⾞両の存在する位置までの到達時間 n⾞間時間 =

    ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間(Time to Collision, TTC)︓前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度 ⾞間距離に関するリスクの定量化指標 ⾞間距離不⾜︖ YES/NO 単眼ドラレコ動画像 ⾞間時間推定システム THW 前⽅⾞両へ近づいていかなくとも、⾞間時間が短い運転は危険 ⾞間距離不⾜かどうかの判定には⾞間時間、THWが⽤いられる 15
  16. confidential Mobility Technologies Co., Ltd. ポイント︓単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム 単眼ドラレコ動画像

    対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出
  17. confidential Mobility Technologies Co., Ltd. フロントカメラからの撮影画像は幾何的制約が⼤きい フロントカメラ画像の幾何的性質 消失点 フロントカメラからの撮影画像例 レーン

    道路 背景など 消失点 レーン 道路 背景など
  18. confidential Mobility Technologies Co., Ltd. 道路上の点は消失点を利⽤すると座標変換が可能 n「画像上での消失点との距離」と「実際の距離」は反⽐例の関係 nまた、道路の速度は場所によらず⼀定のため、 「画像上での移動速度」は「画像上での消失点との距離」の⼆乗に⽐例 𝑧

    = " #$%&! (𝛼はカメラ依存の定数)− '( ') = "*+! #$%&! " (道路の場所によらず⼀定) フロントカメラ画像の幾何的性質 カメラ 実際の距離 𝒛 消失点 画像上 消失点との距離 𝒚 − 𝒗𝒑𝒚 消失点 画像上での移動速度 𝑽𝒚
  19. confidential Mobility Technologies Co., Ltd. ポイント︓単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム(再掲) 単眼ドラレコ動画像

    対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出
  20. confidential Mobility Technologies Co., Ltd. ポーズ推定のキーポイント検出を応⽤した独⾃ネットワーク 1. いくつかのy座標でのレーンポイントを検出 2. レーンポイントをグルーピングし、レーン推定

    3. 複数レーンの交点を⽤いて、消失点推定 1. レーン・消失点検出 レーンポイント検出 レーン・消失点推定 消失点 レーン 参考︓ポーズ推定
  21. confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2.

    対象⾞両抽出︓消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前( = y 座標が最も下)の⾞両を抽出 2. 対象⾞両検出 1. 物体検出 2. 対象⾞両抽出 消失点 画像上のx座標
  22. confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2.

    対象⾞両抽出︓消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前( = y 座標が最も下)の⾞両を抽出 2. 対象⾞両検出 実際の対象⾞両検出の様⼦ GIF
  23. confidential Mobility Technologies Co., Ltd. 3. 移動量検出(⾃⾞両の移動量=道路の移動量) ⾞両 ⾞両 道路上のみ

    抽出 同スケールに統⼀ (≒上から⾒た座標への変換) 移動量 ドラレコ動画 オプティカルフロー 道路 ⾞両 道路情報形成 代表値取得 対象⾞両検出 レーン・消失点検出 道路・消失点の幾何的性質
  24. confidential Mobility Technologies Co., Ltd. (1)THW= ⾞間距離 ÷ ⾃⾞両の速度 (𝑧2

    ︓対象⾞両の初期位置) (2)画像上 y 座標と実際の距離 z との関係式 (𝑣𝑝# ︓消失点 y 座標、𝛼︓カメラ依存の定数) (2)を微分して(1)に代⼊して計算 (𝑦3 ︓対象⾞両下底の初期位置) 4. 座標変換 + THW算出 𝑧 = 𝛼 𝑦 − 𝑣𝑝! 𝑇𝐻𝑊 = 𝑧" 𝑉 # 𝑇𝐻𝑊 = 𝑦$ − 𝑣𝑝! 𝑉 !! カメラ依存の定数は 存在しなくなる ⾃⾞両の速度 ⾞間距離 対象⾞両検出 移動量検出 消失点検出 x フレームレート
  25. confidential Mobility Technologies Co., Ltd. (デモ) オプティカルフロー推定と道路情報による移動量抽出 実際に出⼒されたTHWから逆算して道路に投影 GIF

  26. confidential Mobility Technologies Co., Ltd. ポイント︓単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム 単眼ドラレコ動画像

    対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出
  27. confidential Mobility Technologies Co., Ltd. 物体の奥⾏き情報の教師データ収集可能であれば、 距離を直接学習する単眼3D物体認識らの⼿法も活⽤可能に 他アプローチも。単眼3D物体認識 27 学習ベースの単眼距離推定⼿法([J.

    Zhu et. al., 2019]より引⽤) 単眼3D物体検出@CVPR’21:https://speakerdeck.com/takarasawa_/monocular-3d-object-detection-at-cvpr2021
  28. Mobility Technologies Co., Ltd. confidential H. Honda, M. Kimura, T.

    Karasawa, Y. Uchida, 2021 https://arxiv.org/abs/2108.13699 レーンアノテーションを活⽤した直接的な消失点検出⼿法の提案 n三次元構造の認識にはカメラキャリブレーションが⾮常に重要 End-to-End Monocular Vanishing Point Detection Exploiting Lane Annotations GIF
  29. Mobility Technologies Co., Ltd. confidential 29 n技術ブログやってます︓https://lab.mo-t.com n採⽤︓https://hrmos.co/pages/mo-t/jobs(CVエンジニアも募集中︕︕) さいごに 配⾞関連事業

    広告決済事業 乗務員向け ソリューション事業 スマート ドライビング事業 次世代向け R&D事業
  30. confidential ⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。 Mobility Technologies Co., Ltd. 31