SSII2023 [OS2] 安全見守りを支える人物行動理解技術と応用事例

Slide 1

Slide 1 text

安全見守りを支える人物行動理解技術と応用事例 2023.6.15 劉健全（NEC ビジュアルインテリジェンス研究所）

Slide 2

Slide 2 text

© NEC Corporation 2023 安全見守りを支える人物行動理解技術と応用事例 2023年6月15日 NEC ビジュアルインテリジェンス研究所ディレクター（研究グループ長）劉健全博士(工学) Email: [email protected] URL: https://jqliu.gitlab.io/nec-jqliu.html SSII 2023／OS2: 安全・安心のための実用CV技術

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

Outline 1. 自己紹介と講演の概要 (3’) 2. 技術と応用事例の紹介 (15’) - ① 時空間データ横断プロファイリング技術 - ② 出現パターンの数値化・自動分類技術 - ③ オンデマンド行動検出技術 3. 今後の展望 (2’)

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© NEC Corporation 2023 6 ◆ 略歴 ◼ 2005/8 – 2006/8 Tencent Inc. ◼ 2006/9 – 2012/3 筑波大学 (研究生→修士→博士) ◼ 2012/4 – 現在 NEC ビジュアルインテリジェンス研究所ディレクター • 映像解析技術とデータベース技術の融合に関する研究開発に従事、継続的に研究成果の実用化を実現 • MM/DB/DM/CV/HCIの学際分野で活動、NECのDXを支えるメディア分析基盤技術の研究開発をけん引 ◼ 2015/4 – 現在 [兼務]法政大学大学院理工学研究科非常勤講師 ◼ 2014/4 – 2016/3 [兼務]川崎市外国人市民代表者会議第１０期代表者 ◆ 学会活動（一部） ◼ Associate Editor: IEEE Multimedia Magazine, ACM TOMM, ITE MTA論文誌等 ◼ Industry Co-chair: IEEE 国際会議 ICIP2023, MIPR2023; ACM国際会議 MM2023 ◼ General Co-chair: IEEE 国際会議 MIPR2021 ◼ Program Co-chair: IEEE 国際会議 ICME2020, BigMM2019, ISM2018, ICSC2018等 ◼ 専門委員やコメンテータ・座長等: • 電子情報通信学会データ工学研究会(2015-2021)・数理システムと応用研究会(2017-) • データ工学と情報マネジメントに関するフォーラム DEIM (2014-2023) 自己紹介：略歴・学会活動等川崎市特別職付き地方公務員 “Where there’s a will, there’s a way.” 意志のあるところに道あり座右の銘

Slide 7

Slide 7 text

© NEC Corporation 2023 7 実世界とデジタル社会を繋ぎ、人や行動を捉え、理解して社会に価値を提供人物行動を理解する技術の位置づけ Real World Digital Society 人や行動を捉え、理解する Fixed Camera Microwave Sensor 360 Camera Recognition MM’19, MM’20, ICIP’21 Action WACV’20, MM’20, MM’21, ICIP’21 Tracking MIPR’19, BigMM’19 Interaction CBMI’19 Retrieval MM’14, MM’16, MM’17 ICMR’18, CBMI’19 Scene MM’19 Pattern MM’16, MIPR’19 Visualization SIGGRAPH’16

Slide 8

Slide 8 text

© NEC Corporation 2023 8 認識や追跡、行動検出、インタラクション、シーン、パターン、検索、可視化などの多方面で人物行動への理解に注力し、一連の技術を継続的に開発人や行動を捉え、理解する一連の技術開発 Meta Store [MM’14] Anti-Loiter [MM’16] VisLoiter [SIGGRAPH’16] Diversification [MM’17] VisLoiter+ [ICMR’18] 360 Action [WACV’20] Microwave Action [MM’20] Fisheye Action [ICIP’21] On-demand Action [MM’21] Multi-Camera Re-ID [BigMM’19] ① 時空間データ横断プロファイリング技術 ② 出現パターンの数値化・自動分類技術 ③ オンデマンド行動検出技術

Slide 9

Slide 9 text

Slide 10

Slide 10 text

① 時空間データ横断プロファイリング技術応用領域：迷子捜索等の安全見守り、リピーター分析など映像検索を適用したカメラ間人物再特定 [MM’16, J. Liu, et al] AntiLoiter: A Loitering Discovery System for Longtime Videos across Multiple Surveillance Cameras

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© NEC Corporation 2023 12 ◼ 映像から顔認識を用いて顔を抽出 ◼ 全ての顔に対して顔照合を行い，グループに分類( O(N2) ) ◼ 時空間情報を統合し、頻出した人を検出従来技術ではどう実現するか Extraction Grouping Profiling Extraction Grouping Profiling Extraction Grouping Profiling Extraction Grouping Profiling … … 非常に不効率うまい手はないのか？

Slide 13

Slide 13 text

© NEC Corporation 2023 13 ◆ データを類似度に基づき木構造で管理 ◼ 下の層になるほどお互いに類似したデータが集まり，上の層になるほどお互いに異なったデータになるように配置 ◼ 「お互いに類似したデータ」を抽出する際には，抽出したい類似の程度によって，下の層からデータを取り出すことで，容易にデータを抽出可能。提案法(サマリ) ：独自の索引構造を開発、映像検索を高速化大きく類似するグループある程度類似するグループ類似度小類似度大 [MM’16, J. Liu, et al] AntiLoiter: A Loitering Discovery System for Longtime Videos across Multiple Surveillance Cameras データ構造の最適化、検索アルゴリズムのヒューリスティックうまい手

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

② 出現パターンの数値化・自動分類技術応用領域：ATM不正出金などの防止対策（金融の安全見守り）映像検索を適用した行動パターン分類不正出金分析の実証実験に成功既知出し子3名、新規“クロ”１名を発見 [ICMR’18, M. Sandifort, et al] An Entropy Model for Loiterer Retrieval across Multiple Surveillance Cameras. [ICMR’18, M. Sandifort, et al] VisLoiter+: An Entropy Model-Based Loiterer Retrieval System with User-Friendly Interfaces.

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© NEC Corporation 2023 22 提案法(サマリ) ：Entropyに基づく行動パターンの定量化・可視化人物の動きの変化の激しさを捉えるモデルにより、行動パターンを自動で分類 ◆ 柱を数回歩き回って、遠くへ立ち去ったケース ◼ 動きの激しさに連動しながら、曲線は上昇・下降金融不正発見異常動線分析事件捜査迷子捜索 ◆ 応用例 [ICMR’18, M. Sandifort, et al] An Entropy Model for Loiterer Retrieval across Multiple Surveillance Cameras. 行動パターンを自動的に見分けるための定量化モデルを適用うまい手

Slide 23

Slide 23 text

③ オンデマンド行動検出技術応用領域：振込詐欺対策、放送映像編集、マーケティング、遠隔見守りなど映像検索を適用したオンデマンド行動検出 [APSIPA’21, N. Yoshida & J. Liu] View-invariant Feature using Pose Information and Flexible Matching Algorithm for Action Retrieval. [MM’21, N. Yoshida & J. Liu] On-demand Action Detection System using Pose Information.

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© NEC Corporation 2023 25 従来手法の課題ＡＩにより新しい行動を検出できるようにするためには、訓練データの整備や学習などの事前準備が必要で、多くの手間(時間)がかかる漠然としていて、対象行動を網羅し尽くせない検出したい対象行動が新たに増える記録時には、後で必要となるシーンがわからない訓練データの整備学習 AIによる行動の検出事前準備が必要検出までのステップそもそも、事前に準備することは難しい従来手法うまい手はないのか？

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© NEC Corporation 2023 30 提案法(サマリ) ：姿勢推定を用いてオンデマンドで行動を検出行動のサンプルを数秒の映像として与えるだけで、ライブカメラの映像や映像アーカイブの中から、類似の行動を簡単に見つけ出す技術を開発行動のサンプル類似の行動を検出推定した骨格構造撮影時の向き（正面から、横から、後ろから）によらない検出を実現 ◆ 人の骨格を抽出し、サンプルと映像を比較することで、服装などの外観によらず類似の行動を確実に検出 ◆ 検出したい行動に気づいた時に即対応可能人の骨格構造の正規化、姿勢マッチングのヒューリスティックうまい手

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© NEC Corporation 2023 35 人物行動理解を含む映像AI技術の今後事象の理解の深さ深い浅い分析に使う情報の豊富さ少多顔人型ヒト/モノの属性姿勢/行動所持品物体個々のエンジンの出力結果複数エンジンの出力結果個で理解集合で理解意味で理解複数エンジンの相互融合 ③オンデマンド行動検出 ChatGPTのように映像を理解 ①カメラ間人物再特定 ②行動パターン自動分類映像DB 現在未来映像が簡単に理解できる User- centric AI Model- centric AI Data- centric AI エンジン単体での勝負集合体での勝負 OSSコモディティ化（環境変化）（ AI 技術の潮流）うまい手はないのか？