opt-in camera：カメラによる行動計測に おけるオプトインの仕組みの実現 株式会社サイバーエージェント AI Lab　石毛真修

2 石毛真修（Matthew Ishige） 略歴 2023.4　CA 新卒入社（DS） 　 ミライネージ（デジタルサイネージ事業部）配属 2024.3　AI Lab, Activity Understanding（リサーチエンジニア） 興味：ロボット（ソフトロボット），RL，センシング 趣味：キャンプ，コテンラジオ，ボルダリング X：@matthewishige

3 実世界AIサービスのための人物行動理解とロボティクス チームミッション： 行動理解チームでは、実世界においてAIサービスを実現するための基盤研究に取り組みます。 小売・医療など、実世界が現場となる領域でAIを活用するためには、複雑に変化する環境のなかで人々の多様な行動 を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要です。また、人々の日常生活と密接に関わ る技術は、個人とそのプライバシーを尊重し、社会的に受け入れられる形であることが不可欠です。 本チームは機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティング、データマイニングな ど複数分野からの多角的なアプローチによって、このような技術の創出と実世界AIサービスへの還元を目指します。 Activity Understanding（行動理解）チーム ロボティクス 生成AI センシング 行動言語化 #IMU #UWB #BLE #MCT 行動予測 回遊推定 #POS #Web/App ナビゲーション #ROS シミュレーション #LLM #Multimodal #Planning #Localization #Mapping

4 opt-in camera：カメラによる行動計測 におけるオプトインの仕組みの実現 カメラ計測とプライバシー 01 オプトインカメラ概要 02 オプトインカメラを構成する技術 03 まとめ 04

6 カメラは強力な行動計測ツール 広告を見たか？ どの商品を手に取ったか？ どこを通ったか？ 何に視線を向けたか？ https://cyberagent.ai/news/press/13432/ より抜粋

8 Abcdefghi Jklmn no PqrstuvwxyzAbcdefghi Jklmn 章タイトル 01 店や公共施設におけるカメラによる 行動の記録＆分析をどこまで許容できますか？

9 個人の顔などが映った映像は個人情報である ➢ 取得するには、個人情報を集めていること、及び、利用目的を明示が必要 ➢ 第三者提供する場合は本人の同意が必要 カメラ映像は好き勝手撮っていいものなのか？ 「個人情報」とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日そ の他の記述等により特定の個人を識別することができるもの（他の情報と容易に照合することが でき、それにより特定の個人を識別することができることとなるものを含む。）をいう https://elaws.e-gov.go.jp/document?lawid=415AC0000000057

10 匿名加工情報であれば、本人の同意は必要なくなる（明言は必要）が、 a. 顔からわかる情報（年齢・性別・感情・視線など）は入手できなくなる b. プライバシーの問題（利用者の心理的な抵抗感）は残る モザイクをかければよいのか？ 個人情報 匿名加工情報

11 個人が自ら映像に残る・残らないの選択を行えること = オプトイン ➢ 映りたくない人間は一切記録されない ➢ 映ってもよい人間は詳細な分析に利用できる カメラ計測のあるべき姿はなにか？

12 どうすればオプトイン型のカメラ計測ができるのか？ ➢ どのように同意の意思表示をしてもらうか？ ➢ どのように意思表示した人物を映像中から見つけるのか？

13 超広帯域（UWB）無線通信デバイスを身につけてもらうことでオプトインの意思表示を行ってもら い、映像中からデバイス保持者を特定することで、その人だけを映像に残す（それ以外を隠蔽） UWBによる位置推定をつかったオプトインカメラ 通常の映像データ オプトイン処理後の映像データ

15 UWBによる位置推定をつかったオプトインカメラ 世界座標系 超広帯域（UWB）無線通信デバイスを使ったオプトインの意思表示と映像とのマッチング

17 UWBによる位置推定をつかったオプトインカメラ estimated trajectory 世界座標系 超広帯域（UWB）無線通信デバイスを使ったオプトインの意思表示と映像とのマッチング

18 UWBによる位置推定をつかったオプトインカメラ 超広帯域（UWB）無線通信デバイスを使ったオプトインの意思表示と映像とのマッチング

20 UWBによる位置推定をつかったオプトインカメラ opt-in 超広帯域（UWB）無線通信デバイスを使ったオプトインの意思表示と映像とのマッチング

21 opt-in camera：カメラによる行動計測 におけるオプトインの仕組みの実現 カメラ計測とプライバシー 01 オプトインカメラ概要 02 オプトインカメラを構成する技術 03 まとめ 04

22 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 オプトインへ至るステップ

23 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 オプトインへ至るステップ

24 非常に短い時間のパルス信号をやり取りすることでデバイス間の距離や角度を計測 a. Time-of-Flight (ToF) → 距離 b. Angle-of-Arrival (AoA) → 角度 UWB測位とは？ https://www.decawave.com/sites/default/files/aps010_dw1000_wsn.pdf 往復時間から距離がわかる 数 ns

25 非常に短い時間のパルス信号をやり取りすることでデバイス間の距離や角度を計測 a. Time-of-Flight (ToF) → 距離 b. Angle-of-Arrival (AoA) → 角度 UWB測位とは？ ２つのアンテナに到達した 時間差から角度がわかる 数 ns https://www.decawave.com/sites/default/files/aps010_dw1000_wsn.pdf

26 村田製作所のデバイス - ToF＆AoAを取得可能 - 位置推定精度が高い＆安定 - 2DKはボタン電池駆動可 - 技適あり 今回利用したUWBデバイス タグデバイス 2DK, 36 × 35 × 12.45 (mm) ※2 アンカーデバイス 2BP, 81 × 32 × 6.36 (mm) ※1 1. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2bp 2. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2dk 81 m m 32 mm 36 m m 35 mm

27 タグ - アンカの距離と角度から、世界座標系における位置を取得 UWBの測定値＋カルマンフィルタに基づく位置推定

28 マルチパス問題：人や構造物で反射してくる信号成分がノイズになる UWBの測定値＋カルマンフィルタに基づく位置推定 multi-path

29 UWBの測定値＋カルマンフィルタに基づく位置推定 multi-path 位置をガウス分布として表現 マルチパス問題：人や構造物で反射してくる信号成分がノイズになる ⇒ ガウスノイズを仮定したカルマンフィルタでノイズに堅牢な位置推定

30 生のUWB測位結果 UWBの測定値＋カルマンフィルタに基づく位置推定 カルマンフィルタ適用結果

31 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 オプトインへ至るステップ

32 処理のフロー 1. 物体検出モデル（PINTO model zoo, YOLOX-Body-Head-Hand-Face） 2. Multi-Object Tracker（motpy） 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定 物体検出 ＋ MOT ＋ 座標変換

33 物体検出 ＋ MOT ＋ 座標変換 処理のフロー 1. 物体検出モデル（PINTO model zoo, YOLOX-Body-Head-Hand-Face） 2. Multi-Object Tracker（motpy） 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定

34 物体検出 ＋ MOT ＋ 座標変換 処理のフロー 1. 物体検出モデル（PINTO model zoo, YOLOX-Body-Head-Hand-Face） 2. Multi-Object Tracker（motpy） 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定

35 物体検出 ＋ MOT ＋ 座標変換 処理のフロー 1. 物体検出モデル（PINTO model zoo, YOLOX-Body-Head-Hand-Face） 2. Multi-Object Tracker（motpy） 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定

37 どのように２次元画像から奥行きを推定するのか？ ⇒ 個人差が小さい頭部の幅（概ね16cm）と頭部Bounding Boxの幅の比から奥行きを計算 奥行き推定 w pixels 16 cm depth

38 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 オプトインへ至るステップ

39 タグから推定した軌跡と、カメラトラッキングから推定した軌跡をマッチングしたい。ただし、 A. １つのタグIDに対し、複数のトラッキングIDが紐づく B. 軌跡の距離が小さいタグIDとトラッキングIDが紐づいて欲しい C. 各タグIDは、トラッキングIDと紐づいていない時間が短い方がよい D. 生存期間が被るトラッキングIDは同一のタグIDに紐づいてはならない E. １つのトラッキングIDは複数のタグIDに紐づいてはならない ※ タグID：タグデバイス（から得られた軌跡）の識別子 ※ トラッキングID：カメラトラッキングから得られた軌跡の識別子 軌跡マッチングの問題設定

40 タグID（i tag ）に割り当てられるトラッキングID（j track ）の集合 を求める割当問題として定式化し、線形ソルバーで解く 割当問題としての定式化 A. １つのタグIDに対し、複数のトラッキングIDが紐づく B. 軌跡の距離が小さいタグIDとトラッキングIDが紐づいて欲しい C. 各タグIDは、トラッキングIDと紐づいていない時間が短い方がよい D. 生存期間が被るトラッキングIDは同一のタグIDに紐づいてはならない E. １つのトラッキングIDは複数のタグIDに紐づいてはならない

41 紐づけ結果 紐づけ前 紐づけ後

42 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 オプトインへ至るステップ

43 事前に用意した背景画像に、オプトインした人物のバウンディングボックス領域を重畳する バウンディングボックス領域の重畳 = + 背景画像 オプトイン処理前 オプトイン処理後

44 オプトイン映像サンプル 諸々の推定を可視化 オプトイン処理完了後

45 opt-in camera：カメラによる行動計測 におけるオプトインの仕組みの実現 カメラ計測とプライバシー 01 オプトインカメラ概要 02 オプトインカメラを構成する技術 03 まとめ 04

46 A. マルチパスが発生し易い条件下での性能評価 人がたくさんいる環境、障害物が置かれている環境 B. 実店舗でのPoC a. オプトインで広告効果の計測ができるか？ タグデバイスを取り付けたオプトイン専用カゴを用意し、それを持ったユーザに対して オプトインを実施 → サイネージ視聴行動とその後の行動 b. 大域的なトラッキングと局所的なカメラ計測の融合 店内をどのような経路で移動したかという情報（無線通信技術による屋内測位）と、各 地点でどのような行動をとった（カメラ計測）を組みわせてリッチな分析をしていく What’s next?

47 1. カメラ計測における個人情報保護・プライバシーの壁 2. オプトイン方式のカメラ映像記録の提案 3. UWBによる測位技術とCVの組み合わせによるオプトイン方式の実現 まとめ

48 Thank You