Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[FUN Open Campus 2021] State-of-the Art Sensing Technologies

[FUN Open Campus 2021] State-of-the Art Sensing Technologies

2021年8月1日
公立はこだて未来大学オープンキャンパス模擬授業

Shigemi ISHIDA

August 01, 2021
Tweet

More Decks by Shigemi ISHIDA

Other Decks in Education

Transcript

  1. FUNオープンキャンパス2021 模擬授業
    ⾒えぬもので,⾒えちゃいます
    ⽯⽥ 繁⺒
    公⽴はこだて未来⼤学 システム情報科学部
    情報アーキテクチャ学科 准教授
    Aug 01, 2021

    View full-size slide

  2. ⾒えぬもので,⾒えちゃいます
    Aug 01, 2021 15

    View full-size slide

  3. ⾒えぬもので,⾒えちゃいます
    Aug 01, 2021 16

    View full-size slide

  4. 今⽇のテーマはセンシング
    n 無線センシング
    p 今⽇は無線LAN (Wi-Fi)に関して
    n ⾳響センシング
    →これらのセンシング技術
    p 及び,これらを応⽤するちょっと怖い話
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    17
    こっちがメイン

    View full-size slide

  5. そのアクセスポイント(AP),
    信頼できますか?
    Wi-Fi盗聴編
    Aug 01, 2021 18

    View full-size slide

  6. オープンネットワーク
    n パスワード不要のWi-Fi
    p ホテル
    p カフェ
    p 空港
    p …
    →とあるソフトで通信を
    盗聴できます
    p 通信の盗聴は違法です
    l 絶対にやらないこと!
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    19
    ⽯⽥の部屋で観測されるWi-Fi AP
    実験のために設置した
    オープンネットワーク

    View full-size slide

  7. オープンネットワークの盗聴
    n Amazon!
    p 暗号化されているhttps通信をしていても
    暗号化されない通信もある
    p 接続するだけで⾃分のPC情報を送信している
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    20
    ※本実験では故意に発⽣させた通信を観測しています
    通信の盗聴は違法です!
    これも調べるとamazon

    View full-size slide

  8. 鍵付きなら安⼼?
    n 鍵が共通なら盗聴される
    p WPA2-PSK (AES)を盗聴した例
    n 通信の中⾝は暗号化される場合が多い
    p HTTPS, TLS
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    21
    amazon
    google
    通信の盗聴は違法です!
    ※本実験では故意に発⽣させた通信を観測しています

    View full-size slide

  9. まとめると…
    n オープンネットワークは論外
    n 鍵付きでも意味がない場合もある
    p HTTPSやTLSなどは暗号化して通信している
    ので通信の中⾝は分からない
    p どこと通信しているのかは分かる
    n マシン名は暗号化されない
    p 「Shigemi ISHIDAのMacBook Air」などのマ
    シン名を晒しているかも
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    22

    View full-size slide

  10. 通信を盗聴されなければ安⼼?
    Wi-Fi CSIセンシング編
    Aug 01, 2021 23

    View full-size slide

  11. Wi-Fiを使ったセンシング
    n Wi-Fi通信の伝搬路の変化でセンシング
    p センシング対象物の変化で回折, 反射などの
    状態が変化
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    24
    回折,反射して到達
    障害物の位置や⼤きさに
    よって回折,反射状態は
    変化
    センシング対象は
    機器なしでOK

    View full-size slide

  12. 伝搬路の変化は簡単に傍受可能
    n Wi-Fi (IEEE 802.11a/g/n/ac)
    p 周波数がわずかに異なるたくさんの電波を同時送信
    → 各電波のチャネル応答を取得
    CSI (Channel State Information)
    p 送信信号がどう歪んだか
    25
    ࡶԻn
    E[k]
    n
    R[k]
    E[k] R[k]
    H
    ௨৴࿏ʢνϟωϧʣ
    H
    送信
    信号
    受信
    信号
    Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Hl =
    2
    6
    6
    4
    h11 h12
    · · · h1j
    h21 h22
    · · · h2j
    · · · · · · · · · · · ·
    hi1 hi2
    · · · hij
    3
    7
    7
    5
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    RXΞϯςφ਺
    TXΞϯςφ਺
    𝑅 𝑘 = 𝐻!
    𝐸 𝑘 + 𝑛
    𝑙: サブキャリア番号

    View full-size slide

  13. こんなことができます
    Aug 01, 2021 26

    View full-size slide

  14. 浴室内⾏動認識[zhang’19]
    n 浴室内センシング
    p カメラが使えない!
    n センシング対象
    p 危機的状況を検出したい!
    l 転倒していないか
    l 呼吸しているか
    n 結果
    p F値(精度) ≃ 89.5%
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    27
    [zhang’19] Danger-pose detection system using commodity Wi-Fi for bathroom monitoring, Sensors, vol.19, no.4.
    https://doi.org/10.3390/s19040884
    CSI
    Illustration by Storyset

    View full-size slide

  15. Neural Networkで呼吸数を推定
    n 振幅と周波数を学習
    n 平均エラー: 0.0073Hz
    p 0.44 呼吸/分 の誤差
    p 関連研究WiBreath [ravichandran’15] の誤差: 2.16 呼吸/分
    l
    CSIは未使⽤
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    28
    [ravichandran'15] WiBreathe: estimating respiration rate using wireless signals in natural settings in the home,
    IEEE PerCom. https://doi.org/10.1109/PERCOM.2015.7146519
    𝑓[] =
    𝑓1,1
    ⋯ 𝑓1,2𝑘 + 1
    ⋮ ⋱ ⋮
    𝑓60,1
    ⋯ 𝑓60,2𝑘 + 1
    呼吸数
    shape: (60, 2k+1, timing)
    shape: (60, 2k+1)
    Convolve
    Full
    Connect
    Full
    Connect
    振幅
    周波数

    View full-size slide

  16. 室内の⼈数推定[松本’20]
    n 室内に何⼈いるか
    p 監視されたくない場所
    でも⼈数カウントしたい!
    n センシング対象
    p 研究室内にいる⼈間の数
    n 結果
    p 4クラスの分類で精度95.9%
    l 0⼈, 1~5⼈, 6~10⼈, 11⼈以上
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    29
    [松本’20] 無線LANを⽤いたデバイスフリー室内混雑度推定の初期評価, IPSJ全国⼤会, 6W-07.
    CSI
    Illustration by Storyset

    View full-size slide

  17. ⾞両検出[折原’20]
    n 交通調査
    p どんな⾞両がどれくらい通過しているか
    p 従来⼿法: 超⾳波センサ, 地⾯埋め込みセンサ
    n センシング対象
    p ⾞両の通過
    p ⾞両区分
    l ⾃転⾞, バイク, 普通⾞, …
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    30
    [折原’20] Wi-Fi信号を⽤いた⾃動⾞・⾃転⾞検出⼿法の設計と評価, IPSJ研究報告, vol.2020-ITS-80, no.3.
    CSI

    View full-size slide

  18. 実験
    n 九州⼤学内の道路
    p 端末⾼: 2m(脚⽴の上に設置)
    p 送受信機間距離: 15m
    p 通信間隔: 10ms
    n 正解データ
    p カメラで取得
    p 1台の⾞両が通過している
    区間でCSIサンプルを抽出
    l 156台(⾃転⾞:18, バイク:54,
    バス:22, 普通⾞:62)
    l none(⾞両がいない区間): 189区間
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    31
    送信機
    1
    Ξϯςφ਺
    受信機
    3
    検出範囲

    View full-size slide

  19. ⾞両区分の推定結果
    n 機械学習
    p Random Forest
    p 10分割交差検証×10回
    l ランダムにunder sampleしてバランス
    n 分類性能
    p F値: 84.2%
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    32
    真値
    推定値

    View full-size slide

  20. ⼈間位置推定[ishida’21a]
    n ⼈間検出
    p ⼈間がどこにいるか
    n センシング対象
    p ⼈間の有無
    p ⼈間の位置
    p 可能なら複数⼈を
    対象として…
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    33
    [ishida’21a] IEEE 802.11ac-based outdoor device-free human localization, Sensors and Materials, vol.33, no.1.
    https://doi.org/10.18494/SAM.2021.2987
    CSI
    Illustration by Storyset

    View full-size slide

  21. 九⼤キャンパス 評価実験
    n ⾒通しのいい場所
    p CSI測定: 4箇所
    p 36m2×9エリア
    p ⼈のいるエリアを
    推定
    n ⾒通せない場所
    p CSI測定: 4箇所
    p 約30m2×11エリア
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    34
    WLAN AP
    CSI Measuring
    Stations
    CSI Monitoring
    Station
    1 4 7
    2 5 8
    3 6 9
    CSI Measuring
    Station STA1
    WLAN AP CSI
    Monitoring
    Station
    30m
    6m
    6m
    Label 0:
    no human
    30m
    CSI Measuring
    Station STA3
    CSI Measuring
    Station STA2
    4.6m
    4.6m
    5.9m 7.0m 6.9m 6.9m 7.0m 2.3m
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    STA2
    CSI Measuring
    Station STA1
    WLAN AP
    CSI Monitoring
    Station
    Label 0:
    no human
    STA4
    STA3
    Wall
    Pillar

    View full-size slide

  22. ⼈間位置推定結果
    n 機械学習
    p Random Forest, SVM, XGBoost, DNN [wang’19]
    p 5分割交差検証×10回
    n 分類性能
    p ⾒通しのいい場所
    l 99.02%
    p ⾒通せない場所
    l 98.74%
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    35
    [wang’19] Joint activity recognition and indoor localization with WiFi fingerprints, IEEE Access, vol.7.
    https://doi.org/10.1109/ACCESS.2019.2923743
    分類器 ⾒通し ⾮⾒通し
    Random Forest 93.51 92.65
    SVM 99.02 96.02
    XGBoost 97.86 97.70
    DNN [wang+19] 99.00 98.74
    エリア推定の平均精度

    View full-size slide

  23. こんな怖い研究も…
    Aug 01, 2021 36

    View full-size slide

  24. Wi-Fiで盗聴
    n ART [wei’15]
    p スピーカの振動をWi-Fiでセンシングして盗聴
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    37
    [wei’15] Acoustic eavesdropping through wireless vibrometry, ACM MobiCom.
    https://doi.org/10.1145/2789168.2790119
    海外での研究事例
    Illustration by Storyset
    CSI

    View full-size slide

  25. Wi-Fiで⾏動センシング
    n WiSee [pu’13]
    p 9つのジェスチャを認識
    l ⾒通し,⾮⾒通し,壁越し
    p 平均精度94%
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    38
    [pu’13] Whole-home gesture recognition using wireless signals, ACM MobiCom.
    https://doi.org/10.1145/2500423.2500436
    海外での研究事例
    rithm in more detail and show how to make it applicable to
    existing 802.11 frames.
    (b) How can we deal with other humans in the environment?
    A typical home may have multiple people who can affect
    the wireless signals at the same time. WiSee uses the MIMO
    capability that is inherent to 802.11n, to focus on gestures
    from a particular user. MIMO provides throughput gains by
    enabling multiple transmitters to concurrently send packets
    to a MIMO receiver. If we consider the wireless reflections
    from each human as signals from a wireless transmitter, then
    they can be separated using a MIMO receiver.
    Traditional MIMO decoding, however, relies on estimating
    the channel between the transmitter and receiver antennas.
    These channels are typically estimated by sending a distinct
    known preamble from each transmitter. Such a known signal
    structure is not available in our system since the human body
    reflects the same 802.11 transmitter’s signals.
    Our solution to this problem is inspired by the trigger
    approach taken by many multi-user games that use Xbox
    Kinect, in which a user gains control of the interface by
    performing a specific gesture pattern. In WiSee the target
    human performs a repetitive gesture, which we use as that
    person’s preamble. A WiSee receiver leverages this preamble
    to estimate the MIMO channel that maximizes the energy
    of the reflections from the user. Once the receiver locks on
    to this channel, the user performs normal (non-repetitive)
    gestures that the receiver classifies using the Doppler shifts.
    In §3.3, we explore this idea further and show how to ex-
    tract the preamble without requiring the human to perform
    gestures at a pre-determined speed.
    The WiSee proof-of-concept is implemented in GNURadio
    using the USRP-N210 hardware. We classify the gestures
    from the Doppler shifts using a simple pattern-matching
    Figure 1—Gesture sketches: WiSee can detect and clas-
    sify these nine gestures in line-of-sight, non-line-of-sight, and
    through-the-wall scenarios with an average accuracy of 94%.
    gestures. However, the classification accuracy reduces as
    we further increase the number of interfering users. This
    is a limitation of WiSee: Given a fixed number of trans-
    mitters and receiver antennas, the accuracy reduces with
    the number of users. However, since typical home scenar-
    認識している9つのジェスチャ[pu’13]
    Figure 8—Scenario layouts.
    (c) LOS-txrxfar: Here a receiver and a transmitter are placed
    19.7 feet away from each other. The user performs gestures
    in line-of-sight to the receiver.
    (d) Through-the-Wall: Here a receiver and a transmitter are
    placed next to each other close to a wall. The user performs
    gestures in the room adjacent to the wall.
    (e) Through-the-Corridor: Here a receiver and a transmitter
    gesture in the direction of the device she wants to control.
    We compute the average Doppler SNR at each location by
    having each user repeat the gesture ten times.
    Results: Figs. 9(a)-(f) plot the average Doppler SNR as a
    function of distance, for the six scenarios. The plots show
    the results for different number of antennas at the receiver.
    They show the following:
    (a) Versus distance: In scenarios (a), (b), (d), and (e),
    as the distance between the user and the receiver increases,
    the average Doppler SNR reduces. This is expected because
    the strength of the signal reflections from the human body
    reduces with distance. However, the received Doppler SNR
    is still about 3 dB at 12 feet, which is sufficient to identify
    gestures. In scenarios (c) and (f), however, the Doppler SNR
    does not significantly reduce with the distance from the re-
    ceiver. This is because in both these scenarios, as the user
    moves away from the receiver, she gets closer to the trans-
    mitter. Thus, while the human reflections get weaker as the
    user moves away from the receiver; since the user moves
    closer to the transmitter, the transmitted signals arrive at
    the user with a higher power, thus, increasing the energy in
    the reflected signals. As a result, the Doppler SNR is as high
    as 15 dB at distances of about 25 feet.
    対象としているシチュエーション[pu’13]

    View full-size slide

  26. 様々な⾏動センシング
    n Smokey [zheng’16]
    p Wi-Fi信号で喫煙動作を検出
    n SignFi [ma’18]
    p Wi-Fi信号で⼿話を認識
    n CRAM [wang’15]
    p Wi-Fiで⾏動センシング
    n WiKey [ali’15]
    p Wi-Fiでキーボード⼊⼒を認識
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    39
    [zheng’16] Smokey: Ubiquitous smoking detection with commercial WiFi infrastructures, IEEE INFOCOM.
    [ma’18] SignFi: sign language recognition using WiFi, ACM IMWUT.
    [wang’14] Understanding and modeling of WiFi signal based human activity recognition, ACM MobiCom.
    [ali’15] Keystroke recognition using WiFi signals, ACM MobiCom.
    海外での研究事例

    View full-size slide

  27. ⾃分,無線とか使わないんで
    ⼤丈夫っス
    Aug 01, 2021 40

    View full-size slide

  28. 伝搬路の変化は簡単に傍受可能
    n Wi-Fi (IEEE 802.11a/g/n/ac)
    p 周波数がわずかに異なるたくさんの電波を同時送信
    → 各電波のチャネル応答を取得
    CSI (Channel State Information)
    p 送信信号がどう歪んだか
    41
    ࡶԻn
    E[k]
    n
    R[k]
    E[k] R[k]
    H
    ௨৴࿏ʢνϟωϧʣ
    H
    送信
    信号
    受信
    信号
    Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Hl =
    2
    6
    6
    4
    h11 h12
    · · · h1j
    h21 h22
    · · · h2j
    · · · · · · · · · · · ·
    hi1 hi2
    · · · hij
    3
    7
    7
    5
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ==
    RXΞϯςφ਺
    TXΞϯςφ਺
    𝑅 𝑘 = 𝐻!
    𝐸 𝑘 + 𝑛
    𝑙: サブキャリア番号
    再掲
    勝⼿に通信して
    センシングされるかも!?

    View full-size slide

  29. ⾃分,電波は遮断するんで
    ⼤丈夫っス
    ⾳センシング
    Aug 01, 2021 42

    View full-size slide

  30. マイクによる⾞両検出[uchino’20]
    n ⾳の到来⽅向の変化で⾞を検出
    p 歩道にステレオ
    マイクを設置
    p ⾳の到達時間差
    の変化に基づい
    て⾞両を検出
    n ⽚側2⾞線道路
    で実験
    p F値: 0.83
    43
    [uchino’20] Initial Design of Two-Stage Acoustic Vehicle Detection System for High Traffic Roads, PerVehicle, IEEE
    PerCom Workshop. https://doi.org/10.1109/PerComWorkshops48775.2020.9156248
    Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    D/2
    M1
    M2
    x
    O
    d2
    d1
    D/2
    L
    ౸དྷํ޲ͷมԽΛఆࣜԽ
    Time t
    Sound delay Δt
    ϩόετਪఆʹΑΔ
    ϑΟοςΟϯά
    Sound
    Mapper
    Vehicle
    Detector
    M
    2
    M
    1
    Sound Retriever
    LPFs
    Out
    Sound Map
    2441 2442 2443 2444 2445 2446
    Time [s]
    −1.5
    −1.0
    −0.5
    0.0
    0.5
    1.0
    1.5
    Sound Delay [ms]
    ֶ

    F஋0.83Ͱਐߦํ޲Λࣝผ͠ͳ͕Βं྆Λݕग़

    View full-size slide

  31. ⾞両種別推定[dawton’20]
    n ⾳で⾞両区分を推定
    p 圧縮センシング技術を応⽤して特徴量抽出
    n 九⼤内道路で評価
    p 平均精度: 86.2%@3kHzサンプリング
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    44
    [dawton’20] Proposal for a Compressive Measurement-Based Acoustic Vehicle Detection and Identification
    System, IEEE VTC2020-Fall. https://doi.org/10.1109/VTC2020-Fall49728.2020.9348569
    ⾞両⾛⾏⾳のスペク
    トログラム(⾞両区
    分判定には10kHz程
    度の帯域幅が必要)

    View full-size slide

  32. スマートスピーカによる⾏動推定
    [ishida’21b]
    1. ⾳を分析して「間取り」を推定
    2. 声の⽅向からユーザのいる部屋を認識
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    45
    [ishida’21b] スマートスピーカを⽤いた間取り推定⼿法の初期的評価, IPSJ DICOMO.
    部屋の⽅向



    + =


    ♪ ♪
    部屋の種別 間取り



    ユーザがどの部屋で
    何をしているのか推定

    View full-size slide

  33. 実験環境: 九⼤スマートハウス
    46

















    Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA

    View full-size slide

  34. スマートハウス 評価実験
    n 評価環境
    p キッチンにマイクを4台設置
    p ⽣活⾏動をして⾳を取得
    n 結果
    p 部屋の⽅向: 精度85.0%
    p 部屋の種類推定:
    精度71.4%
    n ⾏動推定は先⾏研究あり
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    47




















    View full-size slide

  35. こんな怖い研究も…
    Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    48

    View full-size slide

  36. スマホでキー⼊⼒認識[liu’15]
    n スマートフォンのマイク
    p ノイズ対策のため複数搭載されている
    p キー⼊⼒⾳の⽅向でキー⼊⼒を推定
    n カフェなどでスマホを
    机に置いている⼈
    p キー⼊⼒を
    盗んでいる!?
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    49
    [liu’15] Snooping keystrokes with mm-level audio ranging on a single phone, ACM MobiCom.
    海外での研究事例

    View full-size slide

  37. まとめ
    Aug 01, 2021 FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    50

    View full-size slide

  38. センシングは表裏⼀体
    n 通信の盗聴
    p 暗号化,⼤事
    n Wi-Fiセンシング
    p 暗号化,意味なし
    l ⼈間の⾏動や⾞の種別をWi-Fi通信で推定
    n ⾳響センシング
    p もはや防げない
    l 部屋の種別や部屋での⾏動を推定
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    51

    View full-size slide

  39. とはいえ,便利です
    n 新しい技術のおかげで⽣活は便利に
    p 技術の悪⽤,ダメ,絶対
    p 新しい技術を作ることにぜひ興味を!
    n 悪⽤する⼈から⾝を守る
    p 「知っていること」が⼤切
    p 新しい技術に対して常にアンテナを張ろう
    n 連絡先
    p メール : [email protected]
    p Web : https://www.lab-ish.com/
    FUNオープンキャンパス2021 模擬授業 © 2021 Shigemi ISHIDA
    Aug 01, 2021
    52

    View full-size slide

  40. © 2021 Shigemi ISHIDA, distributed under CC BY-NC 4.0

    View full-size slide