Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オプトインカメラ:UWB測位を応用したオプトイン型のカメラ計測
Search
Matthew Ishige
December 16, 2024
Technology
0
320
オプトインカメラ:UWB測位を応用したオプトイン型のカメラ計測
2024年12月5日に実施されたUWB勉強会で話した資料です。オプトインカメラがどのような技術で校正されているのかを解説しています。
Matthew Ishige
December 16, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
non97
1
270
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
190
4th place solution Eedi - Mining Misconceptions in Mathematics
rist
0
160
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
2k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
33
23k
エンジニアのキャリアパスと、 その中で自分が大切にしていること
noteinc
3
2.9k
事業を差別化する技術を生み出す技術
pyama86
3
640
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.7k
AI-Driven-Development-20250310
yuhattor
3
310
AIエージェント時代のエンジニアになろう #jawsug #jawsdays2025 / 20250301 Agentic AI Engineering
yoshidashingo
9
4.4k
MLflowはどのようにLLMOpsの課題を解決するのか
taka_aki
0
160
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
410
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
Designing Experiences People Love
moore
140
23k
A designer walks into a library…
pauljervisheath
205
24k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
4 Signs Your Business is Dying
shpigford
183
22k
A Philosophy of Restraint
colly
203
16k
Making Projects Easy
brettharned
116
6k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
A better future with KSS
kneath
238
17k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
270
A Modern Web Designer's Workflow
chriscoyier
693
190k
We Have a Design System, Now What?
morganepeng
51
7.4k
Transcript
オプトインカメラ:UWB測位を 応用したオプトイン型のカメラ計測 株式会社サイバーエージェント AI Lab 石毛真修
株式会社サイバーエージェント AI Lab, Activity Understanding リサーチエンジニア 石毛真修(Matthew Ishige) @matthewluljp @matthewishige
Activity Understanding 実世界AIサービスのための人物行動理解 チームミッション:実世界においてAIサービスを実現するための基盤研究 小売・医療など、実世界が現場となる領域でAIを活用するためには、複雑に変化する環境のなかで 人々の多様な行動を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要 機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティング、データマイニン グなど複数分野からの多角的なアプローチによって、このような技術の創出と実世界AIサービスへの 還元を目指す ロボティクス
生成AI センシング 行動言語化 #IMU #UWB #BLE #MCT 行動予測 回遊推定 #POS #Web/Ap p ナビゲーショ ン #ROS シミュレーショ ン #LLM #Multimod al #Plannin g #Localizati on #Mappin g
カメラ計測とプライバシー オプトインカメラの提唱 オプトインカメラを構成する技術 紐づけ精度を高めるための技術的貢献 01 02 03 04 CONTENTS 展望とまとめ
05
01 カメラ計測とプライバシー
カメラ計測とプライバシー カメラは強力な行動計測ツール 01 広告を見たか? どの商品を手に取ったか? どこを通ったか? 何に視線を向けたか? https://cyberagent.ai/news/press/13432/ より抜粋
カメラ計測とプライバシー 映像は好き勝手撮っていいものなのか? 個人の顔などが映った映像は個人情報である 取得するには、個人情報を集めていること、及び、その利用目的を明示する必要がある 第三者提供する場合はさらに本人の同意が必要になる 01 「個人情報」とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述 等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定 の個人を識別することができることとなるものを含む。)をいう
https://elaws.e-gov.go.jp/document?lawid=415AC0000000057 より抜粋
カメラ計測とプライバシー モザイクをかければよいのか? 匿名加工情報であれば、本人の同意は必要なくなる(明言は必要)が、 a. 顔からわかる情報(年齢・性別・感情・視線など)は入手できなくなる b. プライバシーの問題(利用者の心理的な抵抗感)は残る 01 個人情報 匿名加工情報
カメラ計測とプライバシー カメラ計測のあるべき姿はなにか? 個人が自ら映像に残る選択を行えること = オプトイン 映ってもよいと意思表示をした人間の映像のみが詳細な分析に利用できる それ以外の人間は一切映像に残らない 01
02 オプトインカメラの提唱
オプトインカメラの提唱 超広帯域(UWB)無線通信デバイスを身につけてもらうことでオプトインの意思表示を行ってもら い、映像中からデバイス保持者を特定することで、その人だけを映像に残す(それ以外を隠蔽) 02 通常の映像データ オプトイン処理後の映像データ 無線通信による位置推定をつかったオプトインカメラ 買い物カゴにタグが取り付けられており、カゴをもった人間がオプトインしている
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 カメラとUWBアンカーデバイスを環境に固定し、オプトインする人がUWBタグデバイスを持つ 世界座標系
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 アンカーとタグが通信することでタグの座標がわかる
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory タグの座標の時系列として軌跡が得られる
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory video frame 映像に対し、object detection &
multi-object trackingを実行し、ピクセル空間における軌跡を得る
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory video frame 映像に対し、object detection &
multi-object trackingを実行し、ピクセル空間における軌跡を得る
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 ピクセル空間上の軌跡を、グローバルな3次元の座標系に投影する
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory UWBで求めた軌跡と映像から求めた軌跡をマッチングし、映像中の誰がタグをもっているかを特定
オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 opt-in tag trajectory 映像中で特定したタグ保持者以外をマスキングで消す
03 オプトインカメラを構成する技術
オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理
03
オプトインカメラを構成する技術 UWB測位とは? 電磁波をやり取りすることでデバイス間の距離や角度を計測 03 Time-of-Flight (ToF) → 距離 Angle-of-Arrival (AoA)
→ 角度
オプトインカメラを構成する技術 実装で利用したUWBデバイス NXPチップを組み込んだ開発ボード (from 村田製作所) 位置推定精度が高い&安定 2DKはボタン電池駆動可 技適あり 03 タグデバイス
2DK, 36 × 35 × 12.45 (mm) ※2 アンカーデバイス 2BP, 81 × 32 × 6.36 (mm) ※1 1. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2bp 2. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2dk 81 m m 32 mm 36 m m 35 mm
オプトインカメラを構成する技術 UWBの測定値+カルマンフィルタに基づく位置推定 タグ - アンカの距離と角度から、世界座標系における位置を取得 03
オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理
03
オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間(体&頭部)を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3.
3Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を3Dへ投影
オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間(体&頭部)を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3.
3Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を3Dへ投影
オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間(体&頭部)を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3.
3Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を3Dへ投影
オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間(体&頭部)を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3.
3Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を3Dへ投影
オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理
03
オプトインカメラを構成する技術 軌跡マッチングの方法 タグデバイスの軌跡に、映像から求めた人物の軌跡をアサインする割当問題として定式化し、 制約付き線形最適化で解く 03 距離の時間平均が小さい軌跡のペアを探す
オプトインカメラを構成する技術 紐づけ結果 03 紐づけ前 紐づけ後 magenta point:タグの推定位置 orange line:紐づけの可視化 ※ 買い物カゴにタグが取り付けられており、タグとカゴの保持者が紐づけば成功
オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理
03
オプトインカメラを構成する技術 バウンディングボックス領域の重畳 事前に用意した背景画像に、オプトインした人物のバウンディングボックス領域を重畳する 03 = + 背景画像 オプトイン処理前 オプトイン処理後
オプトインカメラを構成する技術 オプトイン映像のサンプル(再掲) 03 諸々の推定を可視化 オプトイン処理完了後
オプトインカメラを構成する技術 セグメンテーションマスクを利用した隠蔽 03 諸々の推定を可視化 オプトイン処理完了後 マゼンダ色の点と結ばれている人物がタグを持っている
04 紐づけ精度を高めるための技術的貢献
紐づけ精度を高めるための技術的貢献 実環境へのデプロイを考えたときの課題 A. 設置パラメータのキャリブレーション カメラ座標 ⇔ 世界座標 ⇔ アンカー座標の対応関係を決定する必要 B.
人体によるUWBの遮蔽による推定誤差 non-line-of-sight (NLoS) 問題への対処 04
紐づけ精度を高めるための技術的貢献 NLoS問題:遮蔽によるUWB測位精度の低下 tag - anchor間を直進するという前提で位置推定がなされる。反射してきた間接波を信じると、 位置推定誤差が生まれる 04 タグの位置が保持者から大分離れて紐づけが失敗している 人体による遮蔽 床などの構造物で反射
紐づけ精度を高めるための技術的貢献 自動キャリブレーション ① アンカーの設置パラメータを推定 ② NLoSを検出するモデルを学習 ③ カルマンフィルタの観測誤差行列Rを最適化 04 ひとりでタグを持ち、2分くらいカメラの前を歩き回る
⇒ タグの位置推定に関する擬似的な正解データが手に入る
紐づけ精度を高めるための技術的貢献 ① アンカーの設置パラメタを推定 04 アンカーの向きや角度をデータから決定する タグの推定位置と実際の位置(人のバウンディングボックス)が 一致するようなパラメタを求めればよい しかし、NLoSのときのデータを信じると間違う ⇒ NLoSのデータをノイズとして捉え、RANSACを適用
https://qiita.com/kazetof/items/b3439d9258cc85ddf66b より抜粋
紐づけ精度を高めるための技術的貢献 ② NLoSを検出するモデルを学習 04 ①で求めた設置パラメタに基づき、各データがinlier/outlierかを判定 outlierのデータはNLoSだったとみなせる 受信パケットに関するメトリクス(CIRなど)から, NLoSかどうかを判定するモデルを学習できる. 右図は,LightGBMで学習した結果 位置推定の誤差
NLoSである確率
紐づけ精度を高めるための技術的貢献 ③ カルマンフィルタの観測誤差行列Rを最適化 04 各時刻でカルマンフィルタの状態の事後分布を以下のように更新する. すなわち,LoS/NLoSでカルマンフィルタの観測誤差行列を切り替える. カルマンフィルタで推定したタグの位置(ガウス分布)と実際の位置が 一定のマハラノビス距離に収まるようにブラックボックス最適化 タグの推定位置 実際の位置
位 置 推 定 誤 差
紐づけ精度を高めるための技術的貢献 提案手法の結果 04 w/o calibration w/ calibration キャリブレーションを行うことで、位置推定の誤差を軽減でき、紐づけが成功する(右側)
紐づけ精度を高めるための技術的貢献 定量的な結果 04
紐づけ精度を高めるための技術的貢献 その他の例 19人中1人がオプトイン 04 before opt-in after opt-in ※ 実験被験者のプライバシー保護のため、顔にモザイクをかけています。
動画はこちら:https://cyberagentailab.github.io/opt-in_camera/
紐づけ精度を高めるための技術的貢献 その他の例 8人中3人がオプトイン 04 before opt-in after opt-in ※ 実験被験者のプライバシー保護のため、顔にモザイクをかけています。
動画はこちら:https://cyberagentailab.github.io/opt-in_camera/
※ サツドラホールディングス株式会社様のご協力のもと、EZOHUB TOKYOでデータ取得 動画はこちら:https://www.youtube.com/watch?v=9o7GK9-mq5I
05 展望とまとめ
展望とまとめ 展望 オプトインで広告効果の計測ができるか? タグを取り付けたオプトイン専用カゴを用意し、それを持ったユーザに対してオプトインを実施 → サイネージ視聴行動とその後の行動を分析する 大域的なトラッキングと局所的なカメラ計測の融合 カメラ計測におけるRe-IDのコストを下げられる 店内をどのような経路で移動したかという情報(無線通信技術による屋内測位)と、各地点でどのよ うな行動をとった(カメラ計測)を組みわせてリッチな分析をしていく
05
展望とまとめ まとめ 1. カメラ計測における個人情報保護・プライバシーの壁 2. オプトイン方式の映像記録の提案 3. UWBによる測位技術とCVの組み合わせによるオプトイン方式の実現 05
展望とまとめ 技術的詳細はこちらの論文にまとめているのでご参照ください 05
ご視聴ありがとうございました