[FUN Open Campus 2021] State-of-the Art Sensing Technologies

2021年8月1日
公立はこだて未来大学オープンキャンパス模擬授業

Transcript

1. FUNオープンキャンパス2021 模擬授業 ⾒えぬもので，⾒えちゃいます ⽯⽥ 繁⺒ <ish@fun.ac.jp> 公⽴はこだて未来⼤学 システム情報科学部 情報アーキテクチャ学科 准教授 Aug 01, 2021
2. ⾒えぬもので，⾒えちゃいます Aug 01, 2021 15
3. ⾒えぬもので，⾒えちゃいます Aug 01, 2021 16
4. 今⽇のテーマはセンシング n 無線センシング p 今⽇は無線LAN (Wi-Fi)に関して n ⾳響センシング →これらのセンシング技術 p 及び，これらを応⽤するちょっと怖い話 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 17 こっちがメイン
5. そのアクセスポイント(AP)， 信頼できますか？ Wi-Fi盗聴編 Aug 01, 2021 18
6. オープンネットワーク n パスワード不要のWi-Fi p ホテル p カフェ p 空港 p … →とあるソフトで通信を 盗聴できます p 通信の盗聴は違法です l 絶対にやらないこと！ FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 19 ⽯⽥の部屋で観測されるWi-Fi AP 実験のために設置した オープンネットワーク
7. オープンネットワークの盗聴 n Amazon! p 暗号化されているhttps通信をしていても 暗号化されない通信もある p 接続するだけで⾃分のPC情報を送信している FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 20 ※本実験では故意に発⽣させた通信を観測しています 通信の盗聴は違法です！ これも調べるとamazon
8. 鍵付きなら安⼼？ n 鍵が共通なら盗聴される p WPA2-PSK (AES)を盗聴した例 n 通信の中⾝は暗号化される場合が多い p HTTPS, TLS FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 21 amazon google 通信の盗聴は違法です！ ※本実験では故意に発⽣させた通信を観測しています
9. まとめると… n オープンネットワークは論外 n 鍵付きでも意味がない場合もある p HTTPSやTLSなどは暗号化して通信している ので通信の中⾝は分からない p どこと通信しているのかは分かる n マシン名は暗号化されない p 「Shigemi ISHIDAのMacBook Air」などのマ シン名を晒しているかも FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 22
10. 通信を盗聴されなければ安⼼？ Wi-Fi CSIセンシング編 Aug 01, 2021 23
11. Wi-Fiを使ったセンシング n Wi-Fi通信の伝搬路の変化でセンシング p センシング対象物の変化で回折, 反射などの 状態が変化 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 24 回折，反射して到達 障害物の位置や⼤きさに よって回折，反射状態は 変化 センシング対象は 機器なしでOK
12. 伝搬路の変化は簡単に傍受可能 n Wi-Fi (IEEE 802.11a/g/n/ac) p 周波数がわずかに異なるたくさんの電波を同時送信 → 各電波のチャネル応答を取得 CSI (Channel State Information) p 送信信号がどう歪んだか 25 ࡶԻn E[k] n R[k] E[k] R[k] H ௨৴࿏ʢνϟωϧʣ H 送信 信号 受信 信号 Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Hl = 2 6 6 4 h11 h12 · · · h1j h21 h22 · · · h2j · · · · · · · · · · · · hi1 hi2 · · · hij 3 7 7 5 <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> RXΞϯςφ਺ TXΞϯςφ਺ 𝑅 𝑘 = 𝐻! 𝐸 𝑘 + 𝑛 𝑙: サブキャリア番号
13. こんなことができます Aug 01, 2021 26
14. 浴室内⾏動認識[zhang’19] n 浴室内センシング p カメラが使えない！ n センシング対象 p 危機的状況を検出したい！ l 転倒していないか l 呼吸しているか n 結果 p F値(精度) ≃ 89.5% FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 27 [zhang’19] Danger-pose detection system using commodity Wi-Fi for bathroom monitoring, Sensors, vol.19, no.4. https://doi.org/10.3390/s19040884 CSI Illustration by Storyset
15. Neural Networkで呼吸数を推定 n 振幅と周波数を学習 n 平均エラー: 0.0073Hz p 0.44 呼吸/分 の誤差 p 関連研究WiBreath [ravichandran’15] の誤差: 2.16 呼吸/分 l CSIは未使⽤ FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 28 [ravichandran'15] WiBreathe: estimating respiration rate using wireless signals in natural settings in the home, IEEE PerCom. https://doi.org/10.1109/PERCOM.2015.7146519 𝑓[] = 𝑓1,1 ⋯ 𝑓1,2𝑘 + 1 ⋮ ⋱ ⋮ 𝑓60,1 ⋯ 𝑓60,2𝑘 + 1 呼吸数 shape: (60, 2k+1, timing) shape: (60, 2k+1) Convolve Full Connect Full Connect 振幅 周波数
16. 室内の⼈数推定[松本’20] n 室内に何⼈いるか p 監視されたくない場所 でも⼈数カウントしたい！ n センシング対象 p 研究室内にいる⼈間の数 n 結果 p 4クラスの分類で精度95.9% l 0⼈, 1~5⼈, 6~10⼈, 11⼈以上 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 29 [松本’20] 無線LANを⽤いたデバイスフリー室内混雑度推定の初期評価, IPSJ全国⼤会, 6W-07. CSI Illustration by Storyset
17. ⾞両検出[折原’20] n 交通調査 p どんな⾞両がどれくらい通過しているか p 従来⼿法: 超⾳波センサ, 地⾯埋め込みセンサ n センシング対象 p ⾞両の通過 p ⾞両区分 l ⾃転⾞, バイク, 普通⾞, … FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 30 [折原’20] Wi-Fi信号を⽤いた⾃動⾞・⾃転⾞検出⼿法の設計と評価, IPSJ研究報告, vol.2020-ITS-80, no.3. CSI
18. 実験 n 九州⼤学内の道路 p 端末⾼: 2m(脚⽴の上に設置) p 送受信機間距離: 15m p 通信間隔: 10ms n 正解データ p カメラで取得 p 1台の⾞両が通過している 区間でCSIサンプルを抽出 l 156台(⾃転⾞:18, バイク:54, バス:22, 普通⾞:62) l none(⾞両がいない区間): 189区間 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 31 送信機 1 Ξϯςφ਺ 受信機 3 検出範囲
19. ⾞両区分の推定結果 n 機械学習 p Random Forest p 10分割交差検証×10回 l ランダムにunder sampleしてバランス n 分類性能 p F値: 84.2% FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 32 真値 推定値
20. ⼈間位置推定[ishida’21a] n ⼈間検出 p ⼈間がどこにいるか n センシング対象 p ⼈間の有無 p ⼈間の位置 p 可能なら複数⼈を 対象として… FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 33 [ishida’21a] IEEE 802.11ac-based outdoor device-free human localization, Sensors and Materials, vol.33, no.1. https://doi.org/10.18494/SAM.2021.2987 CSI Illustration by Storyset
21. 九⼤キャンパス 評価実験 n ⾒通しのいい場所 p CSI測定: 4箇所 p 36m2×9エリア p ⼈のいるエリアを 推定 n ⾒通せない場所 p CSI測定: 4箇所 p 約30m2×11エリア FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 34 WLAN AP CSI Measuring Stations CSI Monitoring Station 1 4 7 2 5 8 3 6 9 CSI Measuring Station STA1 WLAN AP CSI Monitoring Station 30m 6m 6m Label 0: no human 30m CSI Measuring Station STA3 CSI Measuring Station STA2 4.6m 4.6m 5.9m 7.0m 6.9m 6.9m 7.0m 2.3m 1 2 3 4 5 6 7 8 9 10 11 STA2 CSI Measuring Station STA1 WLAN AP CSI Monitoring Station Label 0: no human STA4 STA3 Wall Pillar
22. ⼈間位置推定結果 n 機械学習 p Random Forest, SVM, XGBoost, DNN [wang’19] p 5分割交差検証×10回 n 分類性能 p ⾒通しのいい場所 l 99.02% p ⾒通せない場所 l 98.74% FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 35 [wang’19] Joint activity recognition and indoor localization with WiFi fingerprints, IEEE Access, vol.7. https://doi.org/10.1109/ACCESS.2019.2923743 分類器 ⾒通し ⾮⾒通し Random Forest 93.51 92.65 SVM 99.02 96.02 XGBoost 97.86 97.70 DNN [wang+19] 99.00 98.74 エリア推定の平均精度
23. こんな怖い研究も… Aug 01, 2021 36
24. Wi-Fiで盗聴 n ART [wei’15] p スピーカの振動をWi-Fiでセンシングして盗聴 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 37 [wei’15] Acoustic eavesdropping through wireless vibrometry, ACM MobiCom. https://doi.org/10.1145/2789168.2790119 海外での研究事例 Illustration by Storyset CSI
25. Wi-Fiで⾏動センシング n WiSee [pu’13] p 9つのジェスチャを認識 l ⾒通し，⾮⾒通し，壁越し p 平均精度94% FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 38 [pu’13] Whole-home gesture recognition using wireless signals, ACM MobiCom. https://doi.org/10.1145/2500423.2500436 海外での研究事例 rithm in more detail and show how to make it applicable to existing 802.11 frames. (b) How can we deal with other humans in the environment? A typical home may have multiple people who can affect the wireless signals at the same time. WiSee uses the MIMO capability that is inherent to 802.11n, to focus on gestures from a particular user. MIMO provides throughput gains by enabling multiple transmitters to concurrently send packets to a MIMO receiver. If we consider the wireless reflections from each human as signals from a wireless transmitter, then they can be separated using a MIMO receiver. Traditional MIMO decoding, however, relies on estimating the channel between the transmitter and receiver antennas. These channels are typically estimated by sending a distinct known preamble from each transmitter. Such a known signal structure is not available in our system since the human body reflects the same 802.11 transmitter’s signals. Our solution to this problem is inspired by the trigger approach taken by many multi-user games that use Xbox Kinect, in which a user gains control of the interface by performing a specific gesture pattern. In WiSee the target human performs a repetitive gesture, which we use as that person’s preamble. A WiSee receiver leverages this preamble to estimate the MIMO channel that maximizes the energy of the reflections from the user. Once the receiver locks on to this channel, the user performs normal (non-repetitive) gestures that the receiver classifies using the Doppler shifts. In §3.3, we explore this idea further and show how to ex- tract the preamble without requiring the human to perform gestures at a pre-determined speed. The WiSee proof-of-concept is implemented in GNURadio using the USRP-N210 hardware. We classify the gestures from the Doppler shifts using a simple pattern-matching Figure 1—Gesture sketches: WiSee can detect and clas- sify these nine gestures in line-of-sight, non-line-of-sight, and through-the-wall scenarios with an average accuracy of 94%. gestures. However, the classification accuracy reduces as we further increase the number of interfering users. This is a limitation of WiSee: Given a fixed number of trans- mitters and receiver antennas, the accuracy reduces with the number of users. However, since typical home scenar- 認識している9つのジェスチャ[pu’13] Figure 8—Scenario layouts. (c) LOS-txrxfar: Here a receiver and a transmitter are placed 19.7 feet away from each other. The user performs gestures in line-of-sight to the receiver. (d) Through-the-Wall: Here a receiver and a transmitter are placed next to each other close to a wall. The user performs gestures in the room adjacent to the wall. (e) Through-the-Corridor: Here a receiver and a transmitter gesture in the direction of the device she wants to control. We compute the average Doppler SNR at each location by having each user repeat the gesture ten times. Results: Figs. 9(a)-(f) plot the average Doppler SNR as a function of distance, for the six scenarios. The plots show the results for different number of antennas at the receiver. They show the following: (a) Versus distance: In scenarios (a), (b), (d), and (e), as the distance between the user and the receiver increases, the average Doppler SNR reduces. This is expected because the strength of the signal reflections from the human body reduces with distance. However, the received Doppler SNR is still about 3 dB at 12 feet, which is sufficient to identify gestures. In scenarios (c) and (f), however, the Doppler SNR does not significantly reduce with the distance from the re- ceiver. This is because in both these scenarios, as the user moves away from the receiver, she gets closer to the trans- mitter. Thus, while the human reflections get weaker as the user moves away from the receiver; since the user moves closer to the transmitter, the transmitted signals arrive at the user with a higher power, thus, increasing the energy in the reflected signals. As a result, the Doppler SNR is as high as 15 dB at distances of about 25 feet. 対象としているシチュエーション[pu’13]
26. 様々な⾏動センシング n Smokey [zheng’16] p Wi-Fi信号で喫煙動作を検出 n SignFi [ma’18] p Wi-Fi信号で⼿話を認識 n CRAM [wang’15] p Wi-Fiで⾏動センシング n WiKey [ali’15] p Wi-Fiでキーボード⼊⼒を認識 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 39 [zheng’16] Smokey: Ubiquitous smoking detection with commercial WiFi infrastructures, IEEE INFOCOM. [ma’18] SignFi: sign language recognition using WiFi, ACM IMWUT. [wang’14] Understanding and modeling of WiFi signal based human activity recognition, ACM MobiCom. [ali’15] Keystroke recognition using WiFi signals, ACM MobiCom. 海外での研究事例
27. ⾃分，無線とか使わないんで ⼤丈夫っス Aug 01, 2021 40
28. 伝搬路の変化は簡単に傍受可能 n Wi-Fi (IEEE 802.11a/g/n/ac) p 周波数がわずかに異なるたくさんの電波を同時送信 → 各電波のチャネル応答を取得 CSI (Channel State Information) p 送信信号がどう歪んだか 41 ࡶԻn E[k] n R[k] E[k] R[k] H ௨৴࿏ʢνϟωϧʣ H 送信 信号 受信 信号 Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Hl = 2 6 6 4 h11 h12 · · · h1j h21 h22 · · · h2j · · · · · · · · · · · · hi1 hi2 · · · hij 3 7 7 5 <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> <latexit sha1_base64="rp1Xu21+xBCNxKf1oM4LDSrS2sg=">AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==</latexit> RXΞϯςφ਺ TXΞϯςφ਺ 𝑅 𝑘 = 𝐻! 𝐸 𝑘 + 𝑛 𝑙: サブキャリア番号 再掲 勝⼿に通信して センシングされるかも!?
29. ⾃分，電波は遮断するんで ⼤丈夫っス ⾳センシング Aug 01, 2021 42
30. マイクによる⾞両検出[uchino’20] n ⾳の到来⽅向の変化で⾞を検出 p 歩道にステレオ マイクを設置 p ⾳の到達時間差 の変化に基づい て⾞両を検出 n ⽚側2⾞線道路 で実験 p F値: 0.83 43 [uchino’20] Initial Design of Two-Stage Acoustic Vehicle Detection System for High Traffic Roads, PerVehicle, IEEE PerCom Workshop. https://doi.org/10.1109/PerComWorkshops48775.2020.9156248 Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA D/2 M1 M2 x O d2 d1 D/2 L ౸དྷํ޲ͷมԽΛఆࣜԽ Time t Sound delay Δt ϩόετਪఆʹΑΔ ϑΟοςΟϯά Sound Mapper Vehicle Detector M 2 M 1 Sound Retriever LPFs Out Sound Map 2441 2442 2443 2444 2445 2446 Time [s] −1.5 −1.0 −0.5 0.0 0.5 1.0 1.5 Sound Delay [ms] ֶ ੜ F஋0.83Ͱਐߦํ޲Λࣝผ͠ͳ͕Βं྆Λݕग़
31. ⾞両種別推定[dawton’20] n ⾳で⾞両区分を推定 p 圧縮センシング技術を応⽤して特徴量抽出 n 九⼤内道路で評価 p 平均精度: 86.2%@3kHzサンプリング FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 44 [dawton’20] Proposal for a Compressive Measurement-Based Acoustic Vehicle Detection and Identification System, IEEE VTC2020-Fall. https://doi.org/10.1109/VTC2020-Fall49728.2020.9348569 ⾞両⾛⾏⾳のスペク トログラム(⾞両区 分判定には10kHz程 度の帯域幅が必要)
32. スマートスピーカによる⾏動推定 [ishida’21b] 1. ⾳を分析して「間取り」を推定 2. 声の⽅向からユーザのいる部屋を認識 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 45 [ishida’21b] スマートスピーカを⽤いた間取り推定⼿法の初期的評価, IPSJ DICOMO. 部屋の⽅向
    
    
     
    
     ＋ ＝ ♪ ♪ ♪ ♪ 部屋の種別 間取り ＝ ＋
    ユーザがどの部屋で 何をしているのか推定
33. 実験環境: 九⼤スマートハウス 46 
     
     
    
    
    
    
                
     Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
34. スマートハウス 評価実験 n 評価環境 p キッチンにマイクを4台設置 p ⽣活⾏動をして⾳を取得 n 結果 p 部屋の⽅向: 精度85.0% p 部屋の種類推定: 精度71.4% n ⾏動推定は先⾏研究あり FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 47 
        
     
     
    
    
    
    
                
    
35. こんな怖い研究も… Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA 48
36. スマホでキー⼊⼒認識[liu’15] n スマートフォンのマイク p ノイズ対策のため複数搭載されている p キー⼊⼒⾳の⽅向でキー⼊⼒を推定 n カフェなどでスマホを 机に置いている⼈ p キー⼊⼒を 盗んでいる!? FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 49 [liu’15] Snooping keystrokes with mm-level audio ranging on a single phone, ACM MobiCom. 海外での研究事例
37. まとめ Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA 50
38. センシングは表裏⼀体 n 通信の盗聴 p 暗号化，⼤事 n Wi-Fiセンシング p 暗号化，意味なし l ⼈間の⾏動や⾞の種別をWi-Fi通信で推定 n ⾳響センシング p もはや防げない l 部屋の種別や部屋での⾏動を推定 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 51
39. とはいえ，便利です n 新しい技術のおかげで⽣活は便利に p 技術の悪⽤，ダメ，絶対 p 新しい技術を作ることにぜひ興味を！ n 悪⽤する⼈から⾝を守る p 「知っていること」が⼤切 p 新しい技術に対して常にアンテナを張ろう n 連絡先 p メール : ish@fun.ac.jp p Web : https://www.lab-ish.com/ FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA Aug 01, 2021 52
40. © 2021 Shigemi ISHIDA, distributed under CC BY-NC 4.0