Share
Embed
opt-in camera:カメラによる行動計測におけるオプトインの仕組みの実現
CyberAgent PRO
July 09, 2024
Transcript
42 slides
-
2 石毛真修(Matthew Ishige) 略歴 2023.4 CA 新卒入社(DS) ミライネージ(デジタルサイネージ事業部)配属 2024.3 AI Lab,
Activity Understanding(リサーチエンジニア) 興味:ロボット(ソフトロボット),RL,センシング 趣味:キャンプ,コテンラジオ,ボルダリング X:@matthewishige -
3 実世界AIサービスのための人物行動理解とロボティクス チームミッション: 行動理解チームでは、実世界においてAIサービスを実現するための基盤研究に取り組みます。 小売・医療など、実世界が現場となる領域でAIを活用するためには、複雑に変化する環境のなかで人々の多様な行動 を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要です。また、人々の日常生活と密接に関わ る技術は、個人とそのプライバシーを尊重し、社会的に受け入れられる形であることが不可欠です。 本チームは機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティング、データマイニングな ど複数分野からの多角的なアプローチによって、このような技術の創出と実世界AIサービスへの還元を目指します。 Activity
Understanding(行動理解)チーム ロボティクス 生成AI センシング 行動言語化 #IMU #UWB #BLE #MCT 行動予測 回遊推定 #POS #Web/App ナビゲーション #ROS シミュレーション #LLM #Multimodal #Planning #Localization #Mapping -
24 非常に短い時間のパルス信号をやり取りすることでデバイス間の距離や角度を計測 a. Time-of-Flight (ToF) → 距離 b. Angle-of-Arrival (AoA)
→ 角度 UWB測位とは? https://www.decawave.com/sites/default/files/aps010_dw1000_wsn.pdf 往復時間から距離がわかる 数 ns -
25 非常に短い時間のパルス信号をやり取りすることでデバイス間の距離や角度を計測 a. Time-of-Flight (ToF) → 距離 b. Angle-of-Arrival (AoA)
→ 角度 UWB測位とは? 2つのアンテナに到達した 時間差から角度がわかる 数 ns https://www.decawave.com/sites/default/files/aps010_dw1000_wsn.pdf -
26 村田製作所のデバイス - ToF&AoAを取得可能 - 位置推定精度が高い&安定 - 2DKはボタン電池駆動可 - 技適あり
今回利用したUWBデバイス タグデバイス 2DK, 36 × 35 × 12.45 (mm) ※2 アンカーデバイス 2BP, 81 × 32 × 6.36 (mm) ※1 1. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2bp 2. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2dk 81 m m 32 mm 36 m m 35 mm -
32 処理のフロー 1. 物体検出モデル(PINTO model zoo, YOLOX-Body-Head-Hand-Face) 2. Multi-Object Tracker(motpy)
3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定 物体検出 + MOT + 座標変換 -
33 物体検出 + MOT + 座標変換 処理のフロー 1. 物体検出モデル(PINTO model
zoo, YOLOX-Body-Head-Hand-Face) 2. Multi-Object Tracker(motpy) 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定 -
34 物体検出 + MOT + 座標変換 処理のフロー 1. 物体検出モデル(PINTO model
zoo, YOLOX-Body-Head-Hand-Face) 2. Multi-Object Tracker(motpy) 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定 -
35 物体検出 + MOT + 座標変換 処理のフロー 1. 物体検出モデル(PINTO model
zoo, YOLOX-Body-Head-Hand-Face) 2. Multi-Object Tracker(motpy) 3. ピクセル空間上の軌跡 → 世界座標系の軌跡を推定 -
39 タグから推定した軌跡と、カメラトラッキングから推定した軌跡をマッチングしたい。ただし、 A. 1つのタグIDに対し、複数のトラッキングIDが紐づく B. 軌跡の距離が小さいタグIDとトラッキングIDが紐づいて欲しい C. 各タグIDは、トラッキングIDと紐づいていない時間が短い方がよい D. 生存期間が被るトラッキングIDは同一のタグIDに紐づいてはならない
E. 1つのトラッキングIDは複数のタグIDに紐づいてはならない ※ タグID:タグデバイス(から得られた軌跡)の識別子 ※ トラッキングID:カメラトラッキングから得られた軌跡の識別子 軌跡マッチングの問題設定 -
40 タグID(i tag )に割り当てられるトラッキングID(j track )の集合 を求める割当問題として定式化し、線形ソルバーで解く 割当問題としての定式化 A. 1つのタグIDに対し、複数のトラッキングIDが紐づく
B. 軌跡の距離が小さいタグIDとトラッキングIDが紐づいて欲しい C. 各タグIDは、トラッキングIDと紐づいていない時間が短い方がよい D. 生存期間が被るトラッキングIDは同一のタグIDに紐づいてはならない E. 1つのトラッキングIDは複数のタグIDに紐づいてはならない -
46 A. マルチパスが発生し易い条件下での性能評価 人がたくさんいる環境、障害物が置かれている環境 B. 実店舗でのPoC a. オプトインで広告効果の計測ができるか? タグデバイスを取り付けたオプトイン専用カゴを用意し、それを持ったユーザに対して オプトインを実施
→ サイネージ視聴行動とその後の行動 b. 大域的なトラッキングと局所的なカメラ計測の融合 店内をどのような経路で移動したかという情報(無線通信技術による屋内測位)と、各 地点でどのような行動をとった(カメラ計測)を組みわせてリッチな分析をしていく What’s next?