SSII2023 [OS2] 安全見守りを支える人物行動理解技術と応用事例

劉 健全（NEC ビジュアルインテリジェンス研究所）

Transcript

1. 安全見守りを支える 人物行動理解技術と応用事例 2023.6.15 劉 健全 （NEC ビジュアルインテリジェンス研究所）
2. © NEC Corporation 2023 安全見守りを支える 人物行動理解技術と応用事例 2023年6月15日 NEC ビジュアルインテリジェンス研究所 ディレクター（研究グループ長） 劉 健全 博士(工学) Email: jqliu@nec.com URL: https://jqliu.gitlab.io/nec-jqliu.html SSII 2023／OS2: 安全・安心のための実用CV技術
4. Outline 1. 自己紹介と講演の概要 (3’) 2. 技術と応用事例の紹介 (15’) - ① 時空間データ横断プロファイリング技術 - ② 出現パターンの数値化・自動分類技術 - ③ オンデマンド行動検出技術 3. 今後の展望 (2’)
5. Outline 1. 自己紹介と講演の概要 (3’) 2. 技術と応用事例の紹介 (15’) - ① 時空間データ横断プロファイリング技術 - ② 出現パターンの数値化・自動分類技術 - ③ オンデマンド行動検出技術 3. 今後の展望 (2’)
6. © NEC Corporation 2023 6 ◆ 略歴 ◼ 2005/8 – 2006/8 Tencent Inc. ◼ 2006/9 – 2012/3 筑波大学 (研究生→修士→博士) ◼ 2012/4 – 現在 NEC ビジュアルインテリジェンス研究所 ディレクター • 映像解析技術とデータベース技術の融合に関する研究開発に従事、継続的に研究成果の実用化を実現 • MM/DB/DM/CV/HCIの学際分野で活動、NECのDXを支えるメディア分析基盤技術の研究開発をけん引 ◼ 2015/4 – 現在 [兼務]法政大学大学院理工学研究科 非常勤講師 ◼ 2014/4 – 2016/3 [兼務]川崎市外国人市民代表者会議 第１０期代表者 ◆ 学会活動（一部） ◼ Associate Editor: IEEE Multimedia Magazine, ACM TOMM, ITE MTA論文誌等 ◼ Industry Co-chair: IEEE 国際会議 ICIP2023, MIPR2023; ACM国際会議 MM2023 ◼ General Co-chair: IEEE 国際会議 MIPR2021 ◼ Program Co-chair: IEEE 国際会議 ICME2020, BigMM2019, ISM2018, ICSC2018等 ◼ 専門委員やコメンテータ・座長等: • 電子情報通信学会データ工学研究会(2015-2021)・数理システムと応用研究会(2017-) • データ工学と情報マネジメントに関するフォーラム DEIM (2014-2023) 自己紹介：略歴・学会活動等 川崎市特別職付き地方公務員 “Where there’s a will, there’s a way.” 意志のあるところに道あり 座右 の銘
7. © NEC Corporation 2023 7 実世界とデジタル社会を繋ぎ、人や行動を捉え、理解して社会に価値を提供 人物行動を理解する技術の位置づけ Real World Digital Society 人や行動を捉え、理解する Fixed Camera Microwave Sensor 360 Camera Recognition MM’19, MM’20, ICIP’21 Action WACV’20, MM’20, MM’21, ICIP’21 Tracking MIPR’19, BigMM’19 Interaction CBMI’19 Retrieval MM’14, MM’16, MM’17 ICMR’18, CBMI’19 Scene MM’19 Pattern MM’16, MIPR’19 Visualization SIGGRAPH’16
8. © NEC Corporation 2023 8 認識や追跡、行動検出、インタラクション、シーン、パターン、検索、可視 化などの多方面で人物行動への理解に注力し、一連の技術を継続的に開発 人や行動を捉え、理解する 一連の技術開発 Meta Store [MM’14] Anti-Loiter [MM’16] VisLoiter [SIGGRAPH’16] Diversification [MM’17] VisLoiter+ [ICMR’18] 360 Action [WACV’20] Microwave Action [MM’20] Fisheye Action [ICIP’21] On-demand Action [MM’21] Multi-Camera Re-ID [BigMM’19] ① 時空間データ横断プロファイリング技術 ② 出現パターンの数値化・自動分類技術 ③ オンデマンド行動検出技術
9. Outline 1. 自己紹介と講演の概要 (3’) 2. 技術と応用事例の紹介 (15’) - ① 時空間データ横断プロファイリング技術 - ② 出現パターンの数値化・自動分類技術 - ③ オンデマンド行動検出技術 3. 今後の展望 (2’)
10. ① 時空間データ横断プロファイリング技術 応用領域：迷子捜索等の安全見守り、リピーター分析など 映像検索を適用した カメラ間人物再特定 [MM’16, J. Liu, et al] AntiLoiter: A Loitering Discovery System for Longtime Videos across Multiple Surveillance Cameras
11. © NEC Corporation 2023 11 大量の防犯映像から要注意人物（頻出者）を割り出し、未然に防ぐ。 ❶産業応用例：安全見守りのために要注意人物を見出す 留意すべきなのは 誰でしょう
12. © NEC Corporation 2023 12 ◼ 映像から顔認識を用いて顔を抽出 ◼ 全ての顔に対して顔照合を行い，グループに分類( O(N2) ) ◼ 時空間情報を統合し、頻出した人を検出 従来技術ではどう実現するか Extraction Grouping Profiling Extraction Grouping Profiling Extraction Grouping Profiling Extraction Grouping Profiling … … 非常に不効率 うまい手は ないのか？
13. © NEC Corporation 2023 13 ◆ データを類似度に基づき木構造で管理 ◼ 下の層になるほどお互いに類似したデータが集まり，上の層になるほどお互いに異なったデー タになるように配置 ◼ 「お互いに類似したデータ」を抽出する際には，抽出したい類似の程度によって，下の層から データを取り出すことで，容易にデータを抽出可能。 提案法(サマリ) ：独自の索引構造を開発、映像検索を高速化 大きく類似 するグループ ある程度類似 するグループ 類似度小 類似度大 [MM’16, J. Liu, et al] AntiLoiter: A Loitering Discovery System for Longtime Videos across Multiple Surveillance Cameras データ構造の最適化、検索アルゴリズムのヒューリスティック うまい手
14. © NEC Corporation 2023 14 ◆ 要注意役を演じた人物を高速に見出した ◼ 従来のアプローチより66倍速い ◼ 要注意役は１位にランク 開発技術を適用した実験結果 要注意役は1位にランク
15. © NEC Corporation 2023 15 デモ動画：技術特徴と応用例 強み ⚫対象者の事前登録が不要、高速に頻出者を提示（100万顔で10秒） ⚫第69回電気科学技術奨励賞並びに文部科学大臣賞など多くの賞を受賞
16. ② 出現パターンの数値化・自動分類技術 応用領域：ATM不正出金などの防止対策（金融の安全見守り） 映像検索を適用した 行動パターン分類 不正出金分析の実証実験に成功 既知出し子3名、新規“クロ”１名を発見 [ICMR’18, M. Sandifort, et al] An Entropy Model for Loiterer Retrieval across Multiple Surveillance Cameras. [ICMR’18, M. Sandifort, et al] VisLoiter+: An Entropy Model-Based Loiterer Retrieval System with User-Friendly Interfaces.
17. © NEC Corporation 2023 17 ◆ これらの映像の中に、どんなパターンが隠れていますか？ ❷産業応用例：他とは異なる行動パターンを発見 複数場所で出現してうろうろする 立ち止まり: 1箇所で長時間滞留 通り抜け: 普通に歩いて通過 うろうろ: 1箇所で歩き回る うまい手は ないのか？
18. © NEC Corporation 2023 18 出現頻度、動き(行動範囲、活動量)、滞在時間などを統計処理 HOW : これらのパターンはどう抽出しますか マス目に分割 統 計 可視化 2.30 エントロピ値
19. © NEC Corporation 2023 19 ◆ 遠くから手前まで、カメラを通り抜けた SHOWCASE (1/3) : 通り抜けた 通り抜けるまでの間、曲線は一定の割合で上昇
20. © NEC Corporation 2023 20 ◆ カメラに入って、木の下で立ち止まっている 立ち止まると、曲線は徐々に下降 SHOWCASE (2/3) : 立ち止まっている
21. © NEC Corporation 2023 21 ◆ 柱を数回歩き回って、遠くへ立ち去った 動きの激しさに連動しながら、曲線は上昇・下降 SHOWCASE (3/3) : うろうろしている
22. © NEC Corporation 2023 22 提案法(サマリ) ：Entropyに基づく行動パターンの定量化・可視化 人物の動きの変化の激しさを捉えるモデルにより、行動パターンを自動で分類 ◆ 柱を数回歩き回って、遠くへ立ち去ったケース ◼ 動きの激しさに連動しながら、曲線は上昇・下降 金融不正発見 異常動線分析 事件捜査 迷子捜索 ◆ 応用例 [ICMR’18, M. Sandifort, et al] An Entropy Model for Loiterer Retrieval across Multiple Surveillance Cameras. 行動パターンを自動的に見分けるための定量化モデルを適用 うまい手
23. ③ オンデマンド行動検出技術 応用領域：振込詐欺対策、放送映像編集、マーケティング、遠隔見守りなど 映像検索を適用した オンデマンド行動検出 [APSIPA’21, N. Yoshida & J. Liu] View-invariant Feature using Pose Information and Flexible Matching Algorithm for Action Retrieval. [MM’21, N. Yoshida & J. Liu] On-demand Action Detection System using Pose Information.
24. © NEC Corporation 2023 24 技術開発の背景 施設などでの遠隔見守りやスポーツ映像の編集など、人の行動をもとにある シーンを映像の中から見つけ出したいというニーズに対応
25. © NEC Corporation 2023 25 従来手法の課題 ＡＩにより新しい行動を検出できるようにするためには、訓練データの整備 や学習などの事前準備が必要で、多くの手間(時間)がかかる 漠然としていて、対象行動 を網羅し尽くせない 検出したい対象行動が 新たに増える 記録時には、後で必要と なるシーンがわからない 訓練データの整備 学習 AIによる行動の検出 事前準備が 必要 検出までのステップ そもそも、事前に準備することは難しい 従来手法 うまい手は ないのか？
26. © NEC Corporation 2023 26 オンデマンド行動検出による解決 その場で、検出したい行動の映像例を与えるだけで、学習することなく、 その行動を検出できるようにする技術を実現
27. © NEC Corporation 2023 27 技術の特長①：数秒の映像を与えるだけでオンデマンドで検出 サンプル映像に映っている人物から骨格構造を推定し、その変化を比較･照合 することで類似する行動を検出。AIにわざわざ学習をさせる必要がない サンプル映像 骨格の変化を比較 検出結果
28. © NEC Corporation 2023 28 技術の特長②：人の向きや大きさが異なっても検出 カメラで撮影する位置によって、人が映る向きや大きさが変わってしまう。 骨格の大きさや向きに依存しない照合手法を開発することで類似行動を検出 類似している形として判定 大きさ、向きをそろえる 形が類似しているかがわかりにくい 骨格をそのまま抽出
29. © NEC Corporation 2023 29 技術の特長③：ライブ映像からリアルタイムに検出 画像そのもの(面)ではなく、画像から推定した骨格の形状(十数個の関節点)を もとに比較･照合することで計算量を大幅に削減。リアルタイムに行動を検出 人物を囲む矩形領域（面）で比較 推定した十数個の関節点で比較
30. © NEC Corporation 2023 30 提案法(サマリ) ：姿勢推定を用いてオンデマンドで行動を検出 行動のサンプルを数秒の映像として与えるだけで、ライブカメラの映像や 映像アーカイブの中から、類似の行動を簡単に見つけ出す技術を開発 行動のサンプル 類似の行動を検出 推定した 骨格構造 撮影時の向き（正面か ら、横から、後ろから） によらない検出を実現 ◆ 人の骨格を抽出し、サンプルと映像を比較することで、 服装などの外観によらず類似の行動を確実に検出 ◆ 検出したい行動に気づいた時に 即対応可能 人の骨格構造の正規化、姿勢マッチングのヒューリスティック うまい手
31. © NEC Corporation 2023 31 デモ動画：オンデマンド行動検出
32. © NEC Corporation 2023 32 ❸産業応用例：オンデマンド行動検出 施設などで見守りをしたいお客様 ・救助/介助等の支援が必要と 推測される方の発見 ・手洗いなど感染予防対策を されているかの判断 大量の映像コンテンツから必要な シーンを見つけたいお客様 ・スポーツの特定シーン （投球、跳躍、シュート等）
33. © NEC Corporation 2023 33 ◆ 2021/4/5のプレスリリースで本技術を発表 ◆ 2022/8/31に行動AI分析製品として発売 技術発表と製品化 ※ https://jpn.nec.com/press/202104/20210405_01.html ※ https://jpn.nec.com/press/202208/20220831_02.html
34. Outline 1. 自己紹介と講演の概要 (3’) 2. 技術と応用事例の紹介 (15’) - ① 時空間データ横断プロファイリング技術 - ② 出現パターンの数値化・自動分類技術 - ③ オンデマンド行動検出技術 3. 今後の展望 (2’)
35. © NEC Corporation 2023 35 人物行動理解を含む映像AI技術の今後 事 象 の 理 解 の 深 さ 深 い 浅 い 分析に使う情報の豊富さ 少 多 顔 人型 ヒト/モノの属性 姿勢/行動 所持品 物体 個々のエンジンの出力結果 複数エンジンの出力結果 個 で 理 解 集 合 で 理 解 意 味 で 理 解 複数エンジンの 相互融合 ③オンデマンド 行動検出 ChatGPTのよう に映像を理解 ①カメラ間 人物再特定 ②行動パターン 自動分類 映像DB 現在 未来 映像が簡単に 理解できる User- centric AI Model- centric AI Data- centric AI エンジン単体での勝負 集合体での勝負 OSSコモディティ化 （環境変化） （ AI 技 術 の 潮 流 ） うまい手は ないのか？
36. © NEC Corporation 2023 36 Q&A ありがとうございました