WiSH:
WiFi-Based
Real-Time
Human
Detection

2019年度前期の研究室輪講での発表資料です。
This is a presentation material at the seminar on our laboratory in the spring term of 2020.

Transcript

1. 愛知県⽴⼤学 情報科学部情報科学科 神⾕幸宏研究室 ⼩久保 律樹 WiSH: WiFi-Based Real- Time Human Detection WiFiを⽤いたリアルタイム⼈検出 2019/6/12 愛知県⽴⼤学 情報科学部情報科学科 神⾕幸宏研究室 ⼩久保 律樹 2019年度前期・研究室輪講 [DRD-PR-19001] Rev. 1
2.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ໨࣍  ⽬次 ･･･ 1 1. 概要 ･･･ 2 2. 提案背景 ･･･ 6 3. 提案⼿法 ･･･ 11 4. 実験条件 ･･･ 24 5. 実験結果 ･･･ 28 6. まとめ ･･･ 33 次回予告 ･･･ 35 A. 疑問 ･･･ 39 B. 補⾜（ボツスライド） ･･･ 43 本編 Appendix
3.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  
   ֓ཁ
4.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  ຊ࿦จͷ໨త WiFi を⽤いた ⼈の存在検出 コンピュータ間で⽤いる 無線通信の実現規格 単純だが応⽤先は広い 実⽤上なるべく低コストが良い 既に機器が設置されており 多⽤されている センシング⽬的ではない しかし･･･ 実現！ 『センサ無しセンシング』 “Sensorless Sensing”
5.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  ຊ࿦จͷ৽نੑɿ࣮༻Λॏࢹͨ͠ϦΞϧλΠϜͰͷߴਫ਼౓ݕग़Λୡ੒ >98% 検出個数の精度 >80% 検出時間の精度 60倍 計算速度・従来⼿法⽐ 1Hz 60Hz
6.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  ຊ࿦จͷख๏ɾίΞͱͳΔߟ͑ํ #$ ⼈の動きがWiFiの電波の 振幅・位相に影響 相関によりこれを検知 「⼈が動いている」事を「⼈が居る」と⾒なす 「⼈が居る事象はしばらく続く」と考える ノイズによる誤判定軽減のために･･･ 1 2
7.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  
   ఏҊഎܠ
8.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ਓͷଘࡏݕग़ͷԠ༻  ⼈の存在検出 監視 / ⾒守り • 本来⼈が居ない時間に⼈が居る → 侵⼊者の発⾒ • 本来部屋に帰っている時間に居ない → ⾒守り対象者の⾝辺の異常の可能性 ⾃動化 ホームオートメーション etc • 部屋に⼈が来たが電気が点いていない → 電気を点ける • 清掃時間だがホテルの客室に客が居る → ウェイターに掃除をまだしないよう指⽰ ⼈存在検出 WiFi CSI
9.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ طଘख๏ͷ໰୊఺  8J'JΛ༻͍ͳ͍ख๏  ⾚外線 カメラ WiFi カバーできる⽅向 プライバシー保護 コスト 全⽅位 単⽅向 顔等が映る 得られるのは 電波の情報だけ 専⽤設備 専⽤設備 カメラよりはマシか･･･ 通信⽤設備を そのまま利⽤ 単⽅向 得られるのは 電波の情報だけ プライバシー保護・コストの⾯など優位性あり ⼈存在検出 WiFi CSI
10.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ طଘख๏ͷ໰୊఺  8J'JΛ༻͍ͨख๏  WiFiで得られる⼆つの情報いずれかを⽤いる マルチパスフェージングにより 存在検出の精度が安定しない RSSI 受信信号強度 CSI チャンネル状態情報 CSI ･･･ チャンネル毎の振幅と位相 チャンネル ･･･ ある周波数帯 マルチパスによる影響を検出 可能、存在検出に役⽴てる データ量が多い ⼈存在検出 WiFi CSI
11.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ طଘख๏ͷ໰୊఺  $4*Λ༻͍ͨख๏  事前学習が必要 ⾼サンプリングレート 100[Hz]〜1000[Hz] 複雑なアルゴリズム 計算量が多い 精度は良いが･･･ 既存⼿法 リソースの限られた 実装環境で リアルタイム 検出に不適 事前学習が必要 精度はそこそこで･･･ 提案⼿法 リソースの限られた 実装環境で リアルタイム 検出に適合 低サンプリングレート 20[Hz] 簡単なアルゴリズム 計算量が少ない 本⼿法の新規性 ⼈存在検出 WiFi CSI
12.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  
    ఏҊख๏
13. WiSH  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ఏҊख๏ͷશମ૾  WiFi ルータ ルータ ICMP チャンネル 状態情報 (CSI) 検出結果 イベント整形 Event filtering 閾値処理 Thresholding ⾃⼰補正 (Self calibration) アンテナ選択 Antenna selection 閾値更新 Threshold updating 絶対的正解 Ground truth 特徴抽出 Feature extraction A B C 特徴抽出 A ⼈の動きにより変化する値 を抽出・計算 閾値処理 B 抽出した値から動いている と⾒なせるかを判別 イベント整形 C 細切れの検出結果を補正 ※⼈がある程度の時間滞在している ことを前提と考える
14.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ 0'%.  OFDM CSI 特徴抽出 閾値処理 イベント整形 出典: Wikipedia フェージングの⼀つである「周波数選択 制フェージング」への対策の⼀つ 周波数選択制フェージングが強くない 低速で周波数が異なる複数の波を同時に送る
15.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ $4*ʢνϟϯωϧঢ়ଶ৘ใʣ  OFDM CSI 特徴抽出 閾値処理 イベント整形 OFDMの各サブキャリア毎の 振幅 と 位相 CSI ) 時間軸 ) () ) ) (- ) ) (. ) ･･･ - () ) - (- ) - (. ) ･･･ / () ) / (- ) / (. ) ･･･ ･･･ ･･･ ･･･ ･･･ ) / . / / 周 波 数 軸 Time Window ) / 時間軸 = 4 5 = 4 (5 ) #∠78(9:) (, ) → #$ 時刻における番⽬のサブキャリアのCSI 連続するある区間) ~/ における 1~番⽬のサブキャリアのCSIを まとめる CSI⾏列 振幅 位相
16.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ $4*ʢνϟϯωϧঢ়ଶ৘ใʣ  OFDM CSI 特徴抽出 閾値処理 イベント整形 静 ⽌ 時 動 時 時間軸(“Time index”)での全てのペアの相関をプロット 静⽌時に⽐べ 動作時は相関が低くなる
17.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ $4*ʢνϟϯωϧঢ়ଶ৘ใʣ  OFDM CSI 特徴抽出 閾値処理 イベント整形 静⽌時 動作時 ・ 平均 最⼩ 最⼤ 第⼀四分位点 第三四分位点 周波数軸(“Subcarrier index”)での全てのペアの相関をプロット 静⽌時に⽐べ 動作時は相関が低くなる
18.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ $4*ʢνϟϯωϧঢ়ଶ৘ใʣ  OFDM CSI 特徴抽出 閾値処理 イベント整形 時間軸(“Time index”)・周波数軸(“Subcarrier index”) 静⽌時に⽐べ 動作時は相関が低くなる この原理を⼈の存在検出に活⽤ 「⼈が動いている」:=「⼈が居る」と考える
19.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ $4*Ͱ༻͍Δ৘ใ  OFDM CSI 特徴抽出 閾値処理 イベント整形 ⼈が歩くと、時間軸・周波数軸それぞれで相関の分布が変化 時間軸・周波数軸それぞれの相関の分布の中央値から「MI」という値を⽣成 各 相 関 各 相 関 中 央 値 中 央 値 ̅ 4 ̅ 9 時間軸 周波数軸 MI = ̅ 4 F.) ̅ HI 時間軸相関の中央値 周波数軸相関の中央値 Motion Indicator 低 : , / Algorithm 1
20.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ .*͔Βಈ͍͍ͯΔ͔ࣝผ  OFDM CSI 特徴抽出 閾値処理 イベント整形 MI = ̅ 4 F.) ̅ HI 閾値 静⽌時 動作時 MI < の時「動いている」と識別 : “Active” Algorithm 2 (1/2)
21.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ Πϕϯτ੔ܗͷඞཁੑ  OFDM CSI 特徴抽出 閾値処理 イベント整形 MIを閾値処理した結果で既に⼈が動いていることは 検出できているが、下記理由によりまだ精度が悪い 「動いていると識別される」事象 WiFiは様々な機器で利⽤ ⾮常に混雑している CSIが急に変化しうる 1 特定の場所で⼈間の動き がCSIに与える影響が少 なくなる 2 や により⼀時的に MIが上昇/下降：細切れの 不正確な検出結果を⽣む 1 2
22.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ Πϕϯτ੔ܗͷߟ͑ํ  OFDM CSI 特徴抽出 閾値処理 イベント整形 「ある程度の時間部屋に滞在する」:＝「⼈が居る」 1秒 <1秒 「細切れの検出結果」はどれも1秒未満 こんな短い時間で⼈が居たり 居なかったりすることはあり得ない ⼈が滞在する時はある程度のまと まった時間いるはずと考える しかし･･･ よって･･･
23.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ Πϕϯτ੔ܗͷॲཧ  OFDM CSI 特徴抽出 閾値処理 イベント整形 ･･･ ･･･ + 1 + + + 1 個 < - − 2？ ･･･ ･･･ If True ･･･ ･･･ If True ･･･ ･･･ + 1 + + + 1 個 < )？
24.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ࣗݾิਖ਼  閾値処理 イベント整形 これら閾値は設置環境、チャンネルの特性、アンテナの選択に依存する 閾値はシステム設置時に決定、チャンネルはその際⾃動的に選択される
25.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  
    ࣮ݧ৚݅
26.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ 8J4)Λ࣮૷ͨ͠σόΠε  2.4 [GHz] 送信: 1 [本] 15-20 [Hz] 省電⼒ $10 使⽤周波数帯 アンテナ数 受信: 3 [本] サンプリングレート
27.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ࣮ݧ৔ॴ  教室 会議室 寮 送信機 受信機
28.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ධՁࢦඪ  ME-TP 正しい検出の割合 FA 誤検出の数 MD-TP “動”検出⼀致区間の割合 WiSH 実際 全ての”動”検出 正しい”動”検出 誤った”動”検出 正しい”動”検出の数 実際の”動”の数 誤検出の数 ”動”検出⼀致区間 ”動”検出全区間 MD-TN “静”検出⼀致区間の割合 ”静”検出⼀致区間 ”静”検出全区間 WiSH 実際 ”動”検出⼀致区間 ”静”検出⼀致区間 ”静”検出遅延 ”動”検出遅延 MBE “動”検出遅延 MEE “静”検出遅延
29.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  
    ࣮ݧ݁Ռ
30.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ શମతͳύϑΥʔϚϯεͷධՁ  実施内容 会議室で1⽇間、寮で2⽇間WiSHを稼働させた 結果 場所 ME-TP FA MD-TP MD-TN 平均MBE 平均MEE 会議室 98.83% 4回 81% 91.45% 1.46秒 2.95秒 寮 98.58% 6回 82% 94.25% 1.48秒 2.08秒 • 「動いている」と検出した回数だけ⾒ればかなりの精度 • ただ、タイミングはそこそこずれている（イベントフィルタによる） ⼈が居なくなってもしばらくはCSIへの影響が残り相関が低くなるため100%とはできない • 検出までの時間も⼗分に速くリアルタイム性があると⾔える
31.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ඃݧऀͷา͖ํ  LOS Line-Of-Sight LOSとの距離 ⼈とLOSの距離 ⼈と送信機の距離 4m×6m 送信機と受信機の距離
32.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ಛఆͷύϥϝʔλʹΑΔੑೳධՁ  リアルタイム性 受信機と送信機の距離 ⼈とLOSの距離 ⼈と送信機の距離 歩く速度 検出閾値 スライディングウィンドウサイズ イベントフィルタ閾値 サンプリングレート WiSH 60 [Hz] 他⼿法 1 [Hz] 近すぎ 3m以上 離れすぎ 2m以下 殆ど影響なし 殆ど影響なし 閾値 精度:”動” “静” 狭/広すぎ 1.2秒付近 トレードオフ 各1.1秒付近 ⾼いほど MD-TP 他殆ど変わらず 50Hz付近で⼗分
33.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ࣮ݧ݁Ռ΁ͷίϝϯτ  送受信機や⼈の位置による影響を受ける 今回の実験条件では精度⾼く判別できている たしかに閾値ははっきりと決められそう 計算速度が速くリアルタイム性がある 本⼿法の特徴である「実⽤向き」 である事が⽰された
34.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  ·ͱΊ
35.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ·ͱΊ  ⽬的 ⼿法 結果 WiFiを⽤いた ”センサ無し⼈検出”の実現 低コスト 新規性： リアルタイム性等実⽤を追求 #$ ⼈の動きが振幅・位相に影響 • 時間/周波数軸での相関低下を利⽤ • “⼈が居る”=“動いている”と考える ⼈はある程度の時間滞在する と考える：細切れの⼈検出を削減 >98% 検出個数の精度 >80% 検出時間の精度 サンプリングレート 20Hz 60倍 計算速度・従来⼿法⽐ 1Hz 60Hz 送受信機や⼈の位置が 精度に⼤きく影響 閾値の設定が事前に必要
36.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ 
37.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  次 回 WiSH論⽂の続き
38.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  次 回 WiSH論⽂の続き 別の論⽂(関連論⽂？) の紹介
39. END  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ 
40.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  "QQFOEJY
41.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  "
    ٙ໰
42.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ <ٙ໰>
    ᮢ஋ͷิਖ਼  For both detection algorithm and event filter, thresholds need to be determined preliminarily through training when the system is deployed. Considering that the environment settings might vary and channel properties also change, the value of thresholds might need to be recalibrated over a few days. A heuristic approach is to exploit the data collected after midnight (e.g., 3:00 a.m.–4:00 a.m.) for recalibration because moving entities are hardly present. - p620 §3.4 WiSH can automatically achieve antenna selection via detection accuracy comparison when recalibrating the thresholds. -p620-621 §3.4 [Q1] 閾値の決定がシステム設置時に必要であり「Training」を通して決定されるとあるが、この意味が分かりかねる Trainingと⾔うと機械学習の学習を想起するが、実験結果から⼈が判断して決めているようにしか⾒えなかった。これが「Training」と⾔う事なのか？そ れとも、実際にはWiSHがシステム設置時に機械学習的な⽅法で決定するのか？ [Q2] 閾値の補正が必要になると明記されているものの、肝⼼の⽅法が書かれていない 深夜帯に⼈はまず居ないために、その時間帯のデータを利⽤するとかかれているがどう利⽤するかがよく分からない。 “Self-”と付いているので⾃律的に補正を⾏ってくれるものだと予測できるが、実験では閾値の決定を⼈が判断して⾏っているのでどうも⾃律的に⾏える とは思えない。確認のために⽤いているデータはカメラの画像なのでそこから⾃動的に判断させて正解データとするには信頼性に⽋けるように思われる。 また、これを補正に⽤いるとすると、それはわざわざWiFiを⽤いるメリットが無くなってしまう。 [Q3] アンテナの選択を⾃動的に⾏えると明記されているものの、肝⼼の⽅法が書かれていない
43.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ <ٙ໰>
    .*ͷࣜ  A coefficient of 0.1 and the exponential operator are used to accommodate the noisy fluctuation of frequency correlation. We employ training data to determine the most suitable coefficient. - p620 §3.4 [Q4] 周波数軸相関中央値はノイズの影響を受けるために⼩さくして反映 させているようだが、これの効果が本当にあるのか疑わしい 時間軸の⽅が複数の周波数の情報を含んでいるのに対し、周波数軸の⽅は単⼀の周波 数についての情報しか含んでいないためにノイズの影響を受けやすいからMIへの影 響を少なくするというのには納得できる。ただ、このMIの計算⽅法を⾒ると、周波 数軸相関中央値の⽅の影響が限定されすぎていて、もはや時間軸相関中央値だけでも 良いような気がする。以下の⽂の通り、周波数軸については⼀部だけしか使っていな いようだし、ますます怪しい。 ̅ 4 ̅ 9 In particular, when we calculate cross-correlation in frequency, we do not have to calculate all the cross- correlations between every subcarrier. Instead, we randomly select some subcarriers from all subcarriers and only calculate their cross-correlation.
44.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ <ٙ໰>
    ҙຯ͕෼͔Βͳ͔ͬͨ୯ޠ  “Temporal Dynamics” “Dynamics” Received Signal Strength Indicator (RSSI) has been adopted in indoor localization systems. However, in complex situations, it suffers from dramatic performance degradation because of multipath fading and temporal dynamics. - p615 §1
45.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़  #
    ิ଍ʢϘπεϥΠυʣ
46.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ .#&ͱ.&&ͷੑ࣭ͷҧ͍  累 積 分 布 関 数 時間 [秒] MEE >> MBE CSIにすぐ影響 相関が低くなる “動”とすぐ検出される CSIへの影響が残る 相関はしばらく⾼いまま “静”とすぐには検出されない MEEは負になりうる 細かい動きは無視されてしまうため
47.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ϦΞϧλΠϜੑ  15分のCSIを⼊⼒して処理にかかる時間を⽐較 FIMD 0.8911 [秒] 1.12 [Hz] 以下で動作 WiSHはリアルタイム性が優れている WiSH 0.0145 [秒] 68.96 [Hz] 以下で動作 PADS 1.7765 [秒] 0.56 [Hz] 以下で動作
48.  ʲྠߨɾલɾখٱอʳ8J'JΛ༻͍ͨϦΞϧλΠϜਓݕग़ ݕग़ᮢ஋  閾値処理 “動”検出される確度が上がる ME-TP, MD-TP上昇 “静”検出される確度が上がる FA, MD-TN上昇 適切な閾値は1に近いところ → 静⽌時は相関が⾮常に⾼く、安定している ME-TP、MD-TPの⽅は緩やかに変化 → 動作時の相関の落ち⽅はわりとばらつきがある？