SSII2023 [OS2] 安全見守りを支える人物行動理解技術と応用事例

劉 健全（NEC ビジュアルインテリジェンス研究所）

Transcript

1. 安全見守りを支える
   人物行動理解技術と応用事例
   2023.6.15
   劉 健全
   （NEC ビジュアルインテリジェンス研究所）
   

   View Slide

2. © NEC Corporation 2023
   安全見守りを支える
   人物行動理解技術と応用事例
   2023年6月15日
   NEC ビジュアルインテリジェンス研究所
   ディレクター（研究グループ長）
   劉 健全 博士(工学)
   Email: jqliu@nec.com
   URL: https://jqliu.gitlab.io/nec-jqliu.html
   SSII 2023／OS2: 安全・安心のための実用CV技術
   

   View Slide

3. View Slide

4. Outline
   1. 自己紹介と講演の概要 (3’)
   2. 技術と応用事例の紹介 (15’)
   - ① 時空間データ横断プロファイリング技術
   - ② 出現パターンの数値化・自動分類技術
   - ③ オンデマンド行動検出技術
   3. 今後の展望 (2’)
   

   View Slide

5. Outline
   1. 自己紹介と講演の概要 (3’)
   2. 技術と応用事例の紹介 (15’)
   - ① 時空間データ横断プロファイリング技術
   - ② 出現パターンの数値化・自動分類技術
   - ③ オンデマンド行動検出技術
   3. 今後の展望 (2’)
   

   View Slide

6. © NEC Corporation 2023
   6
   ◆ 略歴
   ◼ 2005/8 – 2006/8 Tencent Inc.
   ◼ 2006/9 – 2012/3 筑波大学 (研究生→修士→博士)
   ◼ 2012/4 – 現在 NEC ビジュアルインテリジェンス研究所 ディレクター
   • 映像解析技術とデータベース技術の融合に関する研究開発に従事、継続的に研究成果の実用化を実現
   • MM/DB/DM/CV/HCIの学際分野で活動、NECのDXを支えるメディア分析基盤技術の研究開発をけん引
   ◼ 2015/4 – 現在 [兼務]法政大学大学院理工学研究科 非常勤講師
   ◼ 2014/4 – 2016/3 [兼務]川崎市外国人市民代表者会議 第１０期代表者
   ◆ 学会活動（一部）
   ◼ Associate Editor: IEEE Multimedia Magazine, ACM TOMM, ITE MTA論文誌等
   ◼ Industry Co-chair: IEEE 国際会議 ICIP2023, MIPR2023; ACM国際会議 MM2023
   ◼ General Co-chair: IEEE 国際会議 MIPR2021
   ◼ Program Co-chair: IEEE 国際会議 ICME2020, BigMM2019, ISM2018, ICSC2018等
   ◼ 専門委員やコメンテータ・座長等:
   • 電子情報通信学会データ工学研究会(2015-2021)・数理システムと応用研究会(2017-)
   • データ工学と情報マネジメントに関するフォーラム DEIM (2014-2023)
   自己紹介：略歴・学会活動等
   川崎市特別職付き地方公務員
   “Where there’s a will, there’s a way.”
   意志のあるところに道あり
   座右
   の銘
   

   View Slide

7. © NEC Corporation 2023
   7
   実世界とデジタル社会を繋ぎ、人や行動を捉え、理解して社会に価値を提供
   人物行動を理解する技術の位置づけ
   Real World
   Digital Society
   人や行動を捉え、理解する
   Fixed Camera
   Microwave Sensor
   360 Camera
   Recognition
   MM’19, MM’20, ICIP’21
   Action
   WACV’20, MM’20,
   MM’21, ICIP’21
   Tracking
   MIPR’19, BigMM’19
   Interaction
   CBMI’19
   Retrieval
   MM’14, MM’16, MM’17
   ICMR’18, CBMI’19
   Scene
   MM’19
   Pattern
   MM’16, MIPR’19
   Visualization
   SIGGRAPH’16
   

   View Slide

8. © NEC Corporation 2023
   8
   認識や追跡、行動検出、インタラクション、シーン、パターン、検索、可視
   化などの多方面で人物行動への理解に注力し、一連の技術を継続的に開発
   人や行動を捉え、理解する 一連の技術開発
   Meta Store
   [MM’14]
   Anti-Loiter
   [MM’16]
   VisLoiter
   [SIGGRAPH’16]
   Diversification
   [MM’17]
   VisLoiter+
   [ICMR’18]
   360 Action
   [WACV’20]
   Microwave Action
   [MM’20]
   Fisheye Action
   [ICIP’21]
   On-demand Action
   [MM’21]
   Multi-Camera Re-ID
   [BigMM’19]
   ① 時空間データ横断プロファイリング技術 ② 出現パターンの数値化・自動分類技術
   ③ オンデマンド行動検出技術
   

   View Slide

9. Outline
   1. 自己紹介と講演の概要 (3’)
   2. 技術と応用事例の紹介 (15’)
   - ① 時空間データ横断プロファイリング技術
   - ② 出現パターンの数値化・自動分類技術
   - ③ オンデマンド行動検出技術
   3. 今後の展望 (2’)
   

   View Slide

10. ① 時空間データ横断プロファイリング技術
    応用領域：迷子捜索等の安全見守り、リピーター分析など
    映像検索を適用した
    カメラ間人物再特定
    [MM’16, J. Liu, et al] AntiLoiter: A Loitering Discovery System
    for Longtime Videos across Multiple Surveillance Cameras
    

    View Slide

11. © NEC Corporation 2023
    11
    大量の防犯映像から要注意人物（頻出者）を割り出し、未然に防ぐ。
    ❶産業応用例：安全見守りのために要注意人物を見出す
    留意すべきなのは
    誰でしょう
    

    View Slide

12. © NEC Corporation 2023
    12
    ◼ 映像から顔認識を用いて顔を抽出
    ◼ 全ての顔に対して顔照合を行い，グループに分類( O(N2) )
    ◼ 時空間情報を統合し、頻出した人を検出
    従来技術ではどう実現するか
    Extraction Grouping Profiling
    Extraction Grouping Profiling
    Extraction Grouping Profiling
    Extraction Grouping Profiling
    …
    …
    非常に不効率
    うまい手は
    ないのか？
    

    View Slide

13. © NEC Corporation 2023
    13
    ◆ データを類似度に基づき木構造で管理
    ◼ 下の層になるほどお互いに類似したデータが集まり，上の層になるほどお互いに異なったデー
    タになるように配置
    ◼ 「お互いに類似したデータ」を抽出する際には，抽出したい類似の程度によって，下の層から
    データを取り出すことで，容易にデータを抽出可能。
    提案法(サマリ)
    ：独自の索引構造を開発、映像検索を高速化
    大きく類似
    するグループ
    ある程度類似
    するグループ 類似度小
    類似度大
    [MM’16, J. Liu, et al] AntiLoiter: A Loitering Discovery System for Longtime Videos across Multiple Surveillance Cameras
    データ構造の最適化、検索アルゴリズムのヒューリスティック
    うまい手
    

    View Slide

14. © NEC Corporation 2023
    14
    ◆ 要注意役を演じた人物を高速に見出した
    ◼ 従来のアプローチより66倍速い
    ◼ 要注意役は１位にランク
    開発技術を適用した実験結果
    要注意役は1位にランク
    

    View Slide

15. © NEC Corporation 2023
    15
    デモ動画：技術特徴と応用例
    強み
    ⚫対象者の事前登録が不要、高速に頻出者を提示（100万顔で10秒）
    ⚫第69回電気科学技術奨励賞並びに文部科学大臣賞など多くの賞を受賞
    

    View Slide

16. ② 出現パターンの数値化・自動分類技術
    応用領域：ATM不正出金などの防止対策（金融の安全見守り）
    映像検索を適用した
    行動パターン分類
    不正出金分析の実証実験に成功
    既知出し子3名、新規“クロ”１名を発見
    [ICMR’18, M. Sandifort, et al] An Entropy Model for Loiterer Retrieval across Multiple Surveillance Cameras.
    [ICMR’18, M. Sandifort, et al] VisLoiter+: An Entropy Model-Based Loiterer Retrieval System with User-Friendly Interfaces.
    

    View Slide

17. © NEC Corporation 2023
    17
    ◆ これらの映像の中に、どんなパターンが隠れていますか？
    ❷産業応用例：他とは異なる行動パターンを発見
    複数場所で出現してうろうろする 立ち止まり: 1箇所で長時間滞留
    通り抜け: 普通に歩いて通過 うろうろ: 1箇所で歩き回る
    うまい手は
    ないのか？
    

    View Slide

18. © NEC Corporation 2023
    18
    出現頻度、動き(行動範囲、活動量)、滞在時間などを統計処理
    HOW : これらのパターンはどう抽出しますか
    マス目に分割
    統
    計
    可視化
    2.30
    エントロピ値
    

    View Slide

19. © NEC Corporation 2023
    19
    ◆ 遠くから手前まで、カメラを通り抜けた
    SHOWCASE (1/3) : 通り抜けた
    通り抜けるまでの間、曲線は一定の割合で上昇
    

    View Slide

20. © NEC Corporation 2023
    20
    ◆ カメラに入って、木の下で立ち止まっている
    立ち止まると、曲線は徐々に下降
    SHOWCASE (2/3) : 立ち止まっている
    

    View Slide

21. © NEC Corporation 2023
    21
    ◆ 柱を数回歩き回って、遠くへ立ち去った
    動きの激しさに連動しながら、曲線は上昇・下降
    SHOWCASE (3/3) : うろうろしている
    

    View Slide

22. © NEC Corporation 2023
    22
    提案法(サマリ)
    ：Entropyに基づく行動パターンの定量化・可視化
    人物の動きの変化の激しさを捉えるモデルにより、行動パターンを自動で分類
    ◆ 柱を数回歩き回って、遠くへ立ち去ったケース
    ◼ 動きの激しさに連動しながら、曲線は上昇・下降
    金融不正発見 異常動線分析
    事件捜査 迷子捜索
    ◆ 応用例
    [ICMR’18, M. Sandifort, et al] An Entropy Model for Loiterer Retrieval across Multiple Surveillance Cameras.
    行動パターンを自動的に見分けるための定量化モデルを適用
    うまい手
    

    View Slide

23. ③ オンデマンド行動検出技術
    応用領域：振込詐欺対策、放送映像編集、マーケティング、遠隔見守りなど
    映像検索を適用した
    オンデマンド行動検出
    [APSIPA’21, N. Yoshida & J. Liu] View-invariant Feature using Pose Information and Flexible Matching Algorithm for Action Retrieval.
    [MM’21, N. Yoshida & J. Liu] On-demand Action Detection System using Pose Information.
    

    View Slide

24. © NEC Corporation 2023
    24
    技術開発の背景
    施設などでの遠隔見守りやスポーツ映像の編集など、人の行動をもとにある
    シーンを映像の中から見つけ出したいというニーズに対応
    

    View Slide

25. © NEC Corporation 2023
    25
    従来手法の課題
    ＡＩにより新しい行動を検出できるようにするためには、訓練データの整備
    や学習などの事前準備が必要で、多くの手間(時間)がかかる
    漠然としていて、対象行動
    を網羅し尽くせない
    検出したい対象行動が
    新たに増える
    記録時には、後で必要と
    なるシーンがわからない
    訓練データの整備
    学習
    AIによる行動の検出
    事前準備が
    必要
    検出までのステップ
    そもそも、事前に準備することは難しい
    従来手法
    うまい手は
    ないのか？
    

    View Slide

26. © NEC Corporation 2023
    26
    オンデマンド行動検出による解決
    その場で、検出したい行動の映像例を与えるだけで、学習することなく、
    その行動を検出できるようにする技術を実現
    

    View Slide

27. © NEC Corporation 2023
    27
    技術の特長①：数秒の映像を与えるだけでオンデマンドで検出
    サンプル映像に映っている人物から骨格構造を推定し、その変化を比較･照合
    することで類似する行動を検出。AIにわざわざ学習をさせる必要がない
    サンプル映像
    骨格の変化を比較
    検出結果
    

    View Slide

28. © NEC Corporation 2023
    28
    技術の特長②：人の向きや大きさが異なっても検出
    カメラで撮影する位置によって、人が映る向きや大きさが変わってしまう。
    骨格の大きさや向きに依存しない照合手法を開発することで類似行動を検出
    類似している形として判定
    大きさ、向きをそろえる
    形が類似しているかがわかりにくい
    骨格をそのまま抽出
    

    View Slide

29. © NEC Corporation 2023
    29
    技術の特長③：ライブ映像からリアルタイムに検出
    画像そのもの(面)ではなく、画像から推定した骨格の形状(十数個の関節点)を
    もとに比較･照合することで計算量を大幅に削減。リアルタイムに行動を検出
    人物を囲む矩形領域（面）で比較 推定した十数個の関節点で比較
    

    View Slide

30. © NEC Corporation 2023
    30
    提案法(サマリ)
    ：姿勢推定を用いてオンデマンドで行動を検出
    行動のサンプルを数秒の映像として与えるだけで、ライブカメラの映像や
    映像アーカイブの中から、類似の行動を簡単に見つけ出す技術を開発
    行動のサンプル
    類似の行動を検出
    推定した
    骨格構造
    撮影時の向き（正面か
    ら、横から、後ろから）
    によらない検出を実現
    ◆ 人の骨格を抽出し、サンプルと映像を比較することで、
    服装などの外観によらず類似の行動を確実に検出
    ◆ 検出したい行動に気づいた時に
    即対応可能
    人の骨格構造の正規化、姿勢マッチングのヒューリスティック
    うまい手
    

    View Slide

31. © NEC Corporation 2023
    31
    デモ動画：オンデマンド行動検出
    

    View Slide

32. © NEC Corporation 2023
    32
    ❸産業応用例：オンデマンド行動検出
    施設などで見守りをしたいお客様
    ・救助/介助等の支援が必要と
    推測される方の発見
    ・手洗いなど感染予防対策を
    されているかの判断
    大量の映像コンテンツから必要な
    シーンを見つけたいお客様
    ・スポーツの特定シーン
    （投球、跳躍、シュート等）
    

    View Slide

33. © NEC Corporation 2023
    33
    ◆ 2021/4/5のプレスリリースで本技術を発表
    ◆ 2022/8/31に行動AI分析製品として発売
    技術発表と製品化
    ※ https://jpn.nec.com/press/202104/20210405_01.html
    ※ https://jpn.nec.com/press/202208/20220831_02.html
    

    View Slide

34. Outline
    1. 自己紹介と講演の概要 (3’)
    2. 技術と応用事例の紹介 (15’)
    - ① 時空間データ横断プロファイリング技術
    - ② 出現パターンの数値化・自動分類技術
    - ③ オンデマンド行動検出技術
    3. 今後の展望 (2’)
    

    View Slide

35. © NEC Corporation 2023
    35
    人物行動理解を含む映像AI技術の今後
    事
    象
    の
    理
    解
    の
    深
    さ
    深
    い
    浅
    い
    分析に使う情報の豊富さ
    少 多
    顔 人型
    ヒト/モノの属性
    姿勢/行動
    所持品
    物体
    個々のエンジンの出力結果 複数エンジンの出力結果
    個
    で
    理
    解
    集
    合
    で
    理
    解
    意
    味
    で
    理
    解
    複数エンジンの
    相互融合
    ③オンデマンド
    行動検出
    ChatGPTのよう
    に映像を理解
    ①カメラ間
    人物再特定
    ②行動パターン
    自動分類
    映像DB
    現在
    未来
    映像が簡単に
    理解できる
    User-
    centric
    AI
    Model-
    centric
    AI
    Data-
    centric
    AI
    エンジン単体での勝負 集合体での勝負
    OSSコモディティ化
    （環境変化）
    （
    AI
    技
    術
    の
    潮
    流
    ）
    うまい手は
    ないのか？
    

    View Slide

36. © NEC Corporation 2023
    36
    Q&A
    ありがとうございました
    

    View Slide

37. View Slide