confidential Mobility Technologies Co., Ltd. Discovery DataScience Meet up (DsDS) #2 交通環境におけるコンピュータビジョン技術実応⽤ 2021.10.8 株式会社Mobility Technologies 唐澤 拓⼰

Mobility Technologies Co., Ltd. confidential 2 MoTが提供する次世代AIドラレコサービス「DRIVE CHART」において どのようなCV開発がされているか、 またCVシステムの例として「⾞間距離不⾜検知システム」を紹介します。 ドメイン知識を活⽤したCVの実⽤例をお伝えできればと思います。 はじめに

Mobility Technologies Co., Ltd. confidential 3 唐澤 拓⼰（からさわ たくみ） n株式会社Mobility Technologies（MoT） nAI技術開発部 AI研究開発 1Gr. コンピュータビジョン（CV）エンジニア nDeNA新卒⼊社 ➤ MoT移籍 nやってること︓ n外カメラ向けシステム開発 n顔認証システム開発 @Takarasawa_

Mobility Technologies Co., Ltd. confidential 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 スマート ドライビング事業 次世代向け R&D事業 4 タクシーアプリ『JapanTaxi』などを運営するJapanTaxiと、DeNAのタクシーアプリ 『MOV』や 交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。 Mobility Technologies

Mobility Technologies Co., Ltd. confidential 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 スマート ドライビング事業 次世代向け R&D事業 5 タクシーアプリ『JapanTaxi』などを運営するJapanTaxiと、DeNAのタクシーアプリ 『MOV』や 交通事故削減⽀援システム『DRIVE CHART』事業などが統合し2020年4⽉にMoTがスタート。 Mobility Technologies 本⽇の お話

Mobility Technologies Co., Ltd. confidential 6 危険シーンを⾃動検出 ➤ 運転⾏動の改善指導 DRIVE CHART https://drive-chart.com/

Mobility Technologies Co., Ltd. confidential n内向きカメラ n顔認識モデル n顔検出、ランドマーク検出、オクルージョン推定、 サングラスやマスクの属性認識を同時に⾏う n顔認証モデル n正⾯以外の⽅向、マスクやサングラス着⽤状態 での顔認証を実現 n外向きカメラ n物体検出モデル n⾞両や歩⾏者など複数のオブジェクトを検出 nレーン認識モデル n⼈物ポーズ推定の⼿法を応⽤したレーン検出 n映像からの⾞速推定モデル n消失点検出モデル どんなCV開発がされてる︖深層学習モデルの種類

Mobility Technologies Co., Ltd. confidential 8 nエッジデバイスで利⽤可能な処理量が限られる（発熱との戦い） n処理負荷と精度のトレードオフを改善する必要がある n各モデルについて様々な選択肢の組み合わせを試⾏錯誤 n物体検出フレームワーク nFaster R-CNN系、YOLO系、CenterNet, … nバックボーンモデル nResNet, MobileNet, EfficientNet, … nモデル軽量化 nPruning, distillation, 量⼦化, … どんなCV開発がされてる︖エッジのためのモデル最適化 画像認識と深層学習：https://www2.slideshare.net/ren4yu/ss-234439652 外向きカメラ エッジAIライブラリ 深層学習モデル 内向きカメラ

Mobility Technologies Co., Ltd. confidential 9 エッジデバイス（ドラレコ）でAI（深層学習を含むアルゴリズム）を 動作させるエッジAIライブラリを開発 nエッジAIライブラリの役割 n深層学習モデル、CVアルゴリズム、前処理・後処理の⾼速実⾏ n適当にやると前処理・後処理のほうが遅いというケースも n開発環境とエッジデバイスでの⼀貫した動作の担保 どんなCV開発がされてる︖エッジAIライブラリ 外向きカメラ エッジAIライブラリ 深層学習モデル 内向きカメラ

Mobility Technologies Co., Ltd. confidential 10 動画像から⽬的となる危険シーンを直接検出するモデル・アルゴリズムの開発 n脇⾒検知システム n⾞間距離不⾜検知システム n本⽇紹介します どんなCV開発がされてる︖イベント検出システム 外向きカメラ 内向きカメラ DeNA TechCon 2020：https://www.slideshare.net/dena_tech/drive-chart

confidential Mobility Technologies Co., Ltd. ⾞間距離不⾜検知システム 11

confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか そもそも⾞間距離不⾜とは

confidential Mobility Technologies Co., Ltd. こちらの状態は、⾞間距離不⾜でしょうか ➤ 静⽌画では速度情報がわからないため、判断できない。 そもそも⾞間距離不⾜とは ⾞間距離不⾜かどうかの判断には速度情報が必要

confidential Mobility Technologies Co., Ltd. n⾞間時間（Time Headway, THW）︓前⽅⾞両の存在する位置までの到達時間 n⾞間時間 = ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間（Time to Collision, TTC）︓前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度 ⾞間距離に関するリスクの定量化指標 14 ⾞ 間 距 離 0sec 0.8sec ⾞間時間 （THW） 相⼿速度は 関係ない

confidential Mobility Technologies Co., Ltd. n⾞間時間（Time Headway, THW）︓前⽅⾞両の存在する位置までの到達時間 n⾞間時間 = ⾞間距離 ÷ ⾃⾞両の速度 n衝突余裕時間（Time to Collision, TTC）︓前⽅⾞両への衝突するまでの時間 n衝突余裕時間 = ⾞間距離 ÷ 相対速度 ⾞間距離に関するリスクの定量化指標 ⾞間距離不⾜︖ YES/NO 単眼ドラレコ動画像 ⾞間時間推定システム THW 前⽅⾞両へ近づいていかなくとも、⾞間時間が短い運転は危険 ⾞間距離不⾜かどうかの判定には⾞間時間、THWが⽤いられる 15

confidential Mobility Technologies Co., Ltd. ポイント︓単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム 単眼ドラレコ動画像 対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出

confidential Mobility Technologies Co., Ltd. フロントカメラからの撮影画像は幾何的制約が⼤きい フロントカメラ画像の幾何的性質 消失点 フロントカメラからの撮影画像例 レーン 道路 背景など 消失点 レーン 道路 背景など

confidential Mobility Technologies Co., Ltd. 道路上の点は消失点を利⽤すると座標変換が可能 n「画像上での消失点との距離」と「実際の距離」は反⽐例の関係 nまた、道路の速度は場所によらず⼀定のため、 「画像上での移動速度」は「画像上での消失点との距離」の⼆乗に⽐例 𝑧 = " #$%&! （𝛼はカメラ依存の定数）− '( ') = "*+! #$%&! " （道路の場所によらず⼀定） フロントカメラ画像の幾何的性質 カメラ 実際の距離 𝒛 消失点 画像上 消失点との距離 𝒚 − 𝒗𝒑𝒚 消失点 画像上での移動速度 𝑽𝒚

confidential Mobility Technologies Co., Ltd. ポイント︓単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム（再掲） 単眼ドラレコ動画像 対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出

confidential Mobility Technologies Co., Ltd. ポーズ推定のキーポイント検出を応⽤した独⾃ネットワーク 1. いくつかのy座標でのレーンポイントを検出 2. レーンポイントをグルーピングし、レーン推定 3. 複数レーンの交点を⽤いて、消失点推定 1. レーン・消失点検出 レーンポイント検出 レーン・消失点推定 消失点 レーン 参考︓ポーズ推定

confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2. 対象⾞両抽出︓消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前（ = y 座標が最も下）の⾞両を抽出 2. 対象⾞両検出 1. 物体検出 2. 対象⾞両抽出 消失点 画像上のｘ座標

confidential Mobility Technologies Co., Ltd. 1. 物体検出 n学習データは社内ツールにてアノテーションすることで⽤意 nモデルは⽤途に応じて精度・推論時間を考慮して選択 2. 対象⾞両抽出︓消失点を⽤いてルールベースで対象⾞両を抽出 n複数ある場合は、最も⼿前（ = y 座標が最も下）の⾞両を抽出 2. 対象⾞両検出 実際の対象⾞両検出の様⼦ GIF

confidential Mobility Technologies Co., Ltd. 3. 移動量検出（⾃⾞両の移動量＝道路の移動量） ⾞両 ⾞両 道路上のみ 抽出 同スケールに統⼀ （≒上から⾒た座標への変換） 移動量 ドラレコ動画 オプティカルフロー 道路 ⾞両 道路情報形成 代表値取得 対象⾞両検出 レーン・消失点検出 道路・消失点の幾何的性質

confidential Mobility Technologies Co., Ltd. （1）THW= ⾞間距離 ÷ ⾃⾞両の速度 （𝑧2 ︓対象⾞両の初期位置） （2）画像上 y 座標と実際の距離 z との関係式 （𝑣𝑝# ︓消失点 y 座標、𝛼︓カメラ依存の定数） （2）を微分して（1）に代⼊して計算 （𝑦3 ︓対象⾞両下底の初期位置） 4. 座標変換 + THW算出 𝑧 = 𝛼 𝑦 − 𝑣𝑝! 𝑇𝐻𝑊 = 𝑧" 𝑉 # 𝑇𝐻𝑊 = 𝑦$ − 𝑣𝑝! 𝑉 !! カメラ依存の定数は 存在しなくなる ⾃⾞両の速度 ⾞間距離 対象⾞両検出 移動量検出 消失点検出 x フレームレート

confidential Mobility Technologies Co., Ltd. （デモ） オプティカルフロー推定と道路情報による移動量抽出 実際に出⼒されたTHWから逆算して道路に投影 GIF

confidential Mobility Technologies Co., Ltd. ポイント︓単眼画像中の物体の奥⾏き ➤ フロントカメラ画像の幾何的性質を⽤いた解決 ⾞間時間推定システム 単眼ドラレコ動画像 対象⾞両検出 移動量検出 座標変換 + THW 算出 ≒⾃⾞両の速度 ≒⾞間距離 THW= ⾞間距離 ÷ ⾃⾞両の速度 THW レーン・消失点検出

confidential Mobility Technologies Co., Ltd. 物体の奥⾏き情報の教師データ収集可能であれば、 距離を直接学習する単眼3D物体認識らの⼿法も活⽤可能に 他アプローチも。単眼3D物体認識 27 学習ベースの単眼距離推定⼿法（[J. Zhu et. al., 2019]より引⽤） 単眼3D物体検出@CVPR’21：https://speakerdeck.com/takarasawa_/monocular-3d-object-detection-at-cvpr2021

Mobility Technologies Co., Ltd. confidential H. Honda, M. Kimura, T. Karasawa, Y. Uchida, 2021 https://arxiv.org/abs/2108.13699 レーンアノテーションを活⽤した直接的な消失点検出⼿法の提案 n三次元構造の認識にはカメラキャリブレーションが⾮常に重要 End-to-End Monocular Vanishing Point Detection Exploiting Lane Annotations GIF

Mobility Technologies Co., Ltd. confidential 29 n技術ブログやってます︓https://lab.mo-t.com n採⽤︓https://hrmos.co/pages/mo-t/jobs（CVエンジニアも募集中︕︕） さいごに 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 スマート ドライビング事業 次世代向け R&D事業

confidential ⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。 Mobility Technologies Co., Ltd. 31