IEICE-SRW研究会 招待講演 屋外Wi-Fi CSIセンシング， 屋外⾳響センシングの 現状と課題 ⽯⽥ 繁⺒ 公⽴はこだて未来⼤学 June 21, 2021

本資料について n 2021年6⽉IEICE SRW研究会における発表 資料の⼀部を割愛したものです Ishida Lab, Future University Hakodate June 21, 2021 2

本⽇のメインテーマ 1. 屋外はつらいよ 2. 教師データづくりはつらいよ →CSIセンシング(, ⾳響センシング)とともに 9 June 21, 2021 Ishida Lab, Future University Hakodate

CSIセンシング 10 June 21, 2021 Ishida Lab, Future University Hakodate

CSIセンシングの基本 n Wi-Fi通信の伝搬路の変化でセンシング p センシング対象物の変化で回折, 反射などの 状態が変化 Ishida Lab, Future University Hakodate June 21, 2021 11 回折，反射して到達 障害物の位置や⼤きさに よって回折，反射状態は 変化

伝搬路情報(CSI)の取得 n Wi-Fi (IEEE 802.11a/g/n/ac) p 周波数がわずかに異なるサブキャリアを同時に送信 → 各サブキャリアのチャネル応答を取得 p 送信信号がどう歪んだか 12 ࡶԻn E[k] n R[k] E[k] R[k] H ௨৴࿏ʢνϟωϧʣ H 送信 信号 受信 信号 CSI (Channel State Information) June 21, 2021 Ishida Lab, Future University Hakodate Hl = 2 6 6 4 h11 h12 · · · h1j h21 h22 · · · h2j · · · · · · · · · · · · hi1 hi2 · · · hij 3 7 7 5 AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ== AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ== AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ== AAACs3icdVFRS9xAEN5E22pq21MffVk8LD5dk0BRCgXBFx8VPBUuMWw2k7utm03YnRSOkB/os0/+Gzd3UdTDgYWPb775ZnYmraQw6PuPjru2/unzl41N7+vWt+8/Bts7V6asNYcxL2Wpb1JmQAoFYxQo4abSwIpUwnV6d9rlr/+DNqJUlzivIC7YVIlccIaWSgb3Z4mkf2kkIceJF6UwFaphWrN522gbrTdLmiBo6U/agbADEc9KND3zr6VR1InCZ1G4IgqXohfqQ7B0Es9OYsVJ9E6gsn5KL9JiOsPYSwZDf+Qvgq6CoAdD0sd5MniIspLXBSjkkhkzCfwKY2uLgkuwxrWBivE7NoWJhYoVYOJmsfKWHlgmo3mp7VNIF+zrioYVxsyL1CoLhjPzPteRL7mDN60wP44boaoaQfFlp7yWFEvaHZBmQgNHObeAcS3ssJTPmGYc7Zm7LQTv/7wKrsJR4I+CC3948qffxwbZI/vkkATkiJyQM3JOxoQ7v5yxc+sk7m934qZutpS6Tl+zS96EWzwBZ0nNoQ== RXΞϯςφ਺ TXΞϯςφ਺ 𝑅 𝑘 = 𝐻! 𝐸 𝑘 + 𝑛 𝑙: サブキャリア番号

CSIの取得⽅法 n Linux 802.11n CSI Toolの利⽤が⼀般的 p Intel Wireless Link 5300 NICが必須 l 送受信機ともに搭載する必要あり p 500本近い論⽂で利⽤されている n 802.11acのCSI取得システムも提案されて いる[murakami+18] [murakami+19] Ishida Lab, Future University Hakodate June 21, 2021 13 [murakami+18] Wireless LAN-Based CSI Monitoring System for Object Detection, Electronics, vol.7, no.11. https://doi.org/10.3390/electronics7110290 [murakami+19]無線LAN電波を活⽤した⿃獣検知システム, NTT技術ジャーナル, vol.31, no.4. https://www.ntt.co.jp/journal/1904/JN20190436_h.html

機械学習によるセンシング n CSIデータ p データ数(次元) l 送信アンテナ数 ×受信アンテナ数 ×サブキャリア数 p 情報 l 振幅 – どのくらい減衰したか l 位相 – どのくらい変化したか → 特徴量を抽出して教師あり学習 Ishida Lab, Future University Hakodate June 21, 2021 14 特徴量の例 平均値(mean) 標準偏差(std) 最⼩値(min) 最⼤値(max) 第⼀四分位数(25%) 中央値(50%=median) 第三四分位数(75%) 尖度(kurtosis) 歪度(skewness) 平均絶対偏差(mad) 四分位範囲(iqr) ⼆乗平均平⽅根(rms)

屋内⾏動認識[zhang+19] n 浴室内センシング p カメラが使えない！ n センシング対象 p 危機的状況を検出したい！ l 転倒していないか l 呼吸しているか Ishida Lab, Future University Hakodate June 21, 2021 15 [zhang+19] Danger-Pose Detection System Using Commodity Wi-Fi for Bathroom Monitoring, Sensors, vol.19, no.4. https://doi.org/10.3390/s19040884 CSI Illustration by Storyset

転倒状態検知 n 機械学習のためのデータ収集 p シャワー : 119,324 samples p 浴槽に浸かる : 288,291 samples p 転倒状態(検知対象) : 21,572 samples p サンプリングレート : 20 samples/s n 結果 p Precision ≃ 83.6% (低いと誤検知が多い) p Recall ≃ 96.2% (低いと未検知が多い) p F値 ≃ 89.5% (総合的な精度) Ishida Lab, Future University Hakodate June 21, 2021 16

呼吸数推定 n 連続ウェーブレット変換(CWT)を⽤いて, 時間領域と周波数領域を両⽅同時に分析 Ishida Lab, Future University Hakodate June 21, 2021 17 連続的に⾒えているの で呼吸に関係してそう 関係してなさそう

Neural Networkで呼吸数を推定 n 振幅と周波数を学習 n 平均エラー: 0.0073Hz p 0.44 呼吸/分 の誤差 p 関連研究WiBreath [ravichandran+15] の誤差: 2.16 呼吸/分 l CSIは未使⽤ Ishida Lab, Future University Hakodate June 21, 2021 18 [ravichandran+15] WiBreathe: Estimating respiration rate using wireless signals in natural settings in the home, IEEE PerCom. 𝑓[] = 𝑓1,1 ⋯ 𝑓1,2𝑘 + 1 ⋮ ⋱ ⋮ 𝑓60,1 ⋯ 𝑓60,2𝑘 + 1 呼吸数 shape: (60, 2k+1, timing) shape: (60, 2k+1) Convolve Full Connect Full Connect 振幅 周波数

室内の⼈数推定[matsumoto+20] n 室内に何⼈いるか p 監視されたくない場所 でも⼈数カウントしたい！ n センシング対象 p 研究室内にいる⼈間の数 Ishida Lab, Future University Hakodate June 21, 2021 19 [matsumoto+20] 無線LANを⽤いたデバイスフリー室内混雑度推定の初期評価, IPSJ全国⼤会, 6W-07. CSI Illustration by Storyset

⼈数推定実験 n 九州⼤学伊都キャンパス内研究室 p 約100m2 p 被験者: 学⽣・教員 計16名 p 正解データはカメラで取得 n 送受信機を2組設置 p CSIデータ取得時間: 9時間 p 通信周期: 10Hz l 実際には衝突回避して遅延したり, パケットロスし たり Ishida Lab, Future University Hakodate June 21, 2021 20

⼈数推定結果 n Random Forestによる p 4クラスの分類 l 0⼈, 1~5⼈, 6~10⼈, 11⼈以上 Ishida Lab, Future University Hakodate June 21, 2021 21 Precision Recall F値 0⼈ 1.00 1.00 1.00 1~5⼈ 0.912 0.912 0.912 6~10⼈ 0.982 0.982 0.982 ≥11⼈ 0.941 0.941 0.941

阪⼤でも⼈数推定[mizutani+20] n スマホ-基地局間でCSIを取得し⼈数を推定 p 従来は端末組の位置毎にモデル構築が必要 n CSIの分散を利⽤することで, 位置毎の学習なしでも推定結果 が安定 [mizutani+20]モバイル端末のWi-Fiチャネル状態情報による⼈数推定⼿法の提案, 信学技報, SeMI2019-102. 位置依存性の低い特徴量 ガウス過程回帰を利用 別の位置 推定誤差 推定誤差 推定誤差 実験環境 既存 提案 学習データ収集位置 June 21, 2021 Ishida Lab, Future University Hakodate 22

屋内センシングは様々な関連研究 n E-eyes [wang+14] p 屋内において伝搬路の変化で⼈間の⾏動を推定 n ART [wei+15] p スピーカの振動をCSIで取得することで盗聴 n Smokey [zheng+16] p NLOS (Non LOS) 環境で喫煙の動作を検出 n SignFi [ma+18] p Wi-Fiの伝搬路変化で⼿話を認識 23 [wang+14] E-eyes: In-home device-free activity identification using fine-grained WiFi signatures, ACM MobiCom. [wei+15] Acoustic eavesdropping through wireless vibrometry, ACM MobiCom. [zheng+16] Smokey: Ubiquitous smoking detection with commercial WiFi infrastructures, IEEE INFOCOM. [ma+18] SignFi: sign language recognition using WiFi, ACM IMWUT. June 21, 2021 Ishida Lab, Future University Hakodate

屋外はつらいよ 24 June 21, 2021 Ishida Lab, Future University Hakodate

[屋外] ⾞両検出[orihara+20] n 交通調査 p どんな⾞両がどれくらい通過しているか p 従来⼿法: 超⾳波センサ, 地⾯埋め込みセンサ n センシング対象 p ⾞両の通過 p ⾞両区分 l ⾃転⾞, バイク, 普通⾞, … Ishida Lab, Future University Hakodate June 21, 2021 25 [orihara+20] Wi-Fi信号を⽤いた⾃動⾞・⾃転⾞検出⼿法の設計と評価, IPSJ研究報告, vol.2020-ITS-80, no.3. CSI

屋外のココがつらい(1) n 直接波の影響 p ⾒通しがきく場合には他のパスは無視される l Wi-Fi APは⾒通しの良い場所にある 26 遮蔽されれば検出は簡単 受信信号はほぼ変化しない 強い 弱い 理想 現実 June 21, 2021 Ishida Lab, Future University Hakodate

屋外のココがつらい(2) n マルチパスが少ない p モノによる伝搬路変化が⼩さい → ⾞，⾃転⾞，⼈の区別が困難 27 屋内 サブキャリア毎にパスが異なる 少しの環境変化で⼤きく変化 サブキャリア毎の差はほぼ無い マルチパスは少しだけ変化 屋外 June 21, 2021 Ishida Lab, Future University Hakodate

アイデア: 直接波除去 n 逆フーリエ変換(IFFT)を⽤いて直接波成分 を除去 p CSIをIFFTしてチャネル時間応答(CIR: Channel Impulse Response)を取得 p CIRの最初のピークを除去することで直接波 を概ね除去 Ishida Lab, Future University Hakodate June 21, 2021 28

⾞両検出システム概要 Ishida Lab, Future University Hakodate June 21, 2021 29

評価 n 九州⼤学内の道路 p 端末⾼: 2m(脚⽴の上に設置) p 送受信機間距離: 15m p 通信間隔: 10ms n 正解データ p カメラで取得 p 1台の⾞両が通過している 区間でCSIサンプルを抽出 l 156台(⾃転⾞:18, バイク:54, バス:22, 普通⾞:62) l none(⾞両がいない区間): 189区間 Ishida Lab, Future University Hakodate June 21, 2021 30 送信機 1 Ξϯςφ਺ 受信機 3 検出範囲

⾞両区分推定 n 機械学習 p Random Forest p 10分割交差検証×10回 l ランダムにunder sampleし てバランス n 各ブロックの有効性を 検証 p 各ブロックの有無でF値 を⽐較 n 分類性能 p F値: 84.2% Ishida Lab, Future University Hakodate June 21, 2021 31 処理 あり なし 直接波成分除去 0.835 0.813 位相補正 0.835 0.807 特徴量抽出 0.835 0.374 重要な特徴量 のみ抽出 0.842 0.835 真値 推定値

[屋外] ⼈間位置推定[ishida+21a] n ⼈間検出 p ⼈間がどこにいるか n センシング対象 p ⼈間の有無 p ⼈間の位置 p 可能なら複数⼈を 対象として… Ishida Lab, Future University Hakodate June 21, 2021 32 [ishida+21a] IEEE 802.11ac-Based Outdoor Device-Free Human Localization, Sensors and Materials, vol.33, no.1. https://doi.org/10.18494/SAM.2021.2987 CSI Illustration by Storyset

アイデア: たくさん集める n 複数の受信機でCSIを収集 p CSIの影響は場所によって異なる p 影響が出やすい場所 のデータのみに着⽬ してセンシング → データを⼤量に集め ることで実現 p 802.11acの圧縮CSIを 使ったため, ひと⼯夫 を⼊れている Ishida Lab, Future University Hakodate June 21, 2021 33

九州⼤学キャンパス内 評価実験 n LOS (Line-of-Sight) p CSI測定: 4箇所 p 36m2×9エリア p ⼈のいるエリアを 推定 n NLOS (Non LOS) p CSI測定: 4箇所 p 約30m2×11エリア Ishida Lab, Future University Hakodate June 21, 2021 34 WLAN AP CSI Measuring Stations CSI Monitoring Station 1 4 7 2 5 8 3 6 9 CSI Measuring Station STA1 WLAN AP CSI Monitoring Station 30m 6m 6m Label 0: no human 30m CSI Measuring Station STA3 CSI Measuring Station STA2 4.6m 4.6m 5.9m 7.0m 6.9m 6.9m 7.0m 2.3m 1 2 3 4 5 6 7 8 9 10 11 STA2 CSI Measuring Station STA1 WLAN AP CSI Monitoring Station Label 0: no human STA4 STA3 Wall Pillar

⼈間位置推定 n 機械学習 p Random Forest, SVM, XGBoost, DNN [wang+19] p 5分割交差検証×10回 n 分類性能 p LOS : 99.02% p NLOS : 98.74% → ⼤量のデータを集めれば屋外でも⾼精度なセン ングを実現できる Ishida Lab, Future University Hakodate June 21, 2021 35 [wang+19] Joint Activity Recognition and Indoor Localization With WiFi Fingerprints, IEEE Access, vol.7. https://doi.org/10.1109/ACCESS.2019.2923743 分類器 LOS環境 NLOS環境 Random Forest 93.51 92.65 SVM 99.02 96.02 XGBoost 97.86 97.70 DNN [wang+19] 99.00 98.74 エリア推定の平均精度

課題: 環境変化に弱い n 環境が変化するとCSIが変化 p 環境変化すると精度が著しく低下 p 数⽇単位で使うだけで精度が低下していく n CSIだけで完結したシステムの構築 p 環境変化も含めたデータを使った学習 または p 環境変化に追随して再学習 →他のアプローチを併⽤して半⾃動的に学 習する必要があるのでは？ Ishida Lab, Future University Hakodate June 21, 2021 36

⾳響センシング 37 June 21, 2021 Ishida Lab, Future University Hakodate

マイクによる⾞両検出[uchino+20] n ⾳の到来⽅向の変化で⾞を検出 p 歩道にステレオ マイクを設置 p ⾳の到達時間差 の変化に基づい て⾞両を検出 n ⽚側2⾞線道路 で実験 p F値: 0.83 38 [uchino+20] Initial Design of Two-Stage Acoustic Vehicle Detection System for High Traffic Roads, PerVehicle, IEEE PerCom Workshop. https://doi.org/10.1109/PerComWorkshops48775.2020.9156248 D/2 M1 M2 x O d2 d1 D/2 L ౸དྷํ޲ͷมԽΛఆࣜԽ D/2 L x AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB23icZVBNS8NAEJ3Urxqr1rOXxVLwVDZe9Ch48VjBfkAbymazadduNmF3IpTQP+BJ8CD+Ly/+G7cfiG0fDDzem2FmXpQraZHSH6+yt39weFQ99k9q/unZeb3WtVlhuOjwTGWmHzErlNSigxKV6OdGsDRSohdNHxZ+71UYKzP9jLNchCkba5lIztBJ7VG9QVt0CbJLgjVpwBqj+vcwzniRCo1cMWsHAc0xLJlByZWY+81hYUXO+JSNxcBRzVJhw3J555w0nRKTJDOuNJKl6v+bKFlq7SyNXGfKcGK3vYX4522uwuQuLKXOCxSarzYlhSKYkcXXJJZGcFQzRxg30l1L+IQZxtFl47sUgu2fd0n3phXQVvBEoQqXcAXXEMAt3MMjtKEDHGJ4gw/vxXv3PldpVbx1bBewAe/rFxbhiow= AAAB33icZVDLSgNBEOz1Gdeo0auXwRDwFGa96FHw4jEB84BkCbOT3mTI7OwyMyuGJV/gTfQg/pYX/8bJAzFJQUNR1U13V5RJYSylP97O7t7+wWHpyD8un5yeVc7LbZPmmmOLpzLV3YgZlEJhyworsZtpZEkksRNNHuZ+5xm1Eal6stMMw4SNlIgFZ9ZJzZdBpUrrdAGyTYIVqcIKjUHluz9MeZ6gslwyY3oBzWxYMG0Flzjza/3cYMb4hI2w56hiCZqwWFw6IzWnDEmcalfKkoXq/5soWGLMNIlcZ8Ls2Gx6c/HPW19l47uwECrLLSq+3BTnktiUzP8mQ6GRWzl1hHEt3LWEj5lm3Lp0fBdDsPn0Nmnf1ANaD5oUSnAJV3ANAdzCPTxCA1rAAeEV3uHDk96b97kMbMdbJXcBa/C+fgGx6Iv9 AAAB33icZVDLSgNBEOz1Gdeo0auXwRDwFGa96FHw4jEB84BkCbOT3mTI7OwyMyuGJV/gTfQg/pYX/8bJAzFJQUNR1U13V5RJYSylP97O7t7+wWHpyD8un5yeVc7LbZPmmmOLpzLV3YgZlEJhyworsZtpZEkksRNNHuZ+5xm1Eal6stMMw4SNlIgFZ9ZJzZdBpUrrdAGyTYIVqcIKjUHluz9MeZ6gslwyY3oBzWxYMG0Flzjza/3cYMb4hI2w56hiCZqwWFw6IzWnDEmcalfKkoXq/5soWGLMNIlcZ8Ls2Gx6c/HPW19l47uwECrLLSq+3BTnktiUzP8mQ6GRWzl1hHEt3LWEj5lm3Lp0fBdDsPn0Nmnf1ANaD5oUSnAJV3ANAdzCPTxCA1rAAeEV3uHDk96b97kMbMdbJXcBa/C+fgGx6Iv9 AAAB6nicZVBNS8NAEJ3Urxq/qh69LJZCTyXxoseCF48t2A9oQ9lsJ+3SzSbsbsRS+gu8iR7Eqz/Ji//GbRvEtg8GHu/NMDMvTAXXxvN+nMLO7t7+QfHQPTo+OT0rnV+0dZIphi2WiER1Q6pRcIktw43AbqqQxqHATji5X/idJ1SaJ/LRTFMMYjqSPOKMGis1nwelslfzliDbxM9JGXI0BqXv/jBhWYzSMEG17vleaoIZVYYzgXO30s80ppRN6Ah7lkoaow5my0vnpGKVIYkSZUsaslTdfxMzGms9jUPbGVMz1pveQvzz1leZ6C6YcZlmBiVbbYoyQUxCFn+TIVfIjJhaQpni9lrCxlRRZmw6ro3B33x6m7Rvar5X85teuV7NAynCFVxDFXy4hTo8QANawADhBd7g3RHOq/PhfK5aC04+cwlrcL5+AcEajTQ= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= d1 = s✓ x + D 2 ◆2 + L2 AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== M1 Vehicle O Time t Sound delay Δt ϩόετਪఆʹΑΔ ϑΟοςΟϯά Sound Mapper Vehicle Detector M 2 M 1 Sound Retriever LPFs Out Sound Map 2441 2442 2443 2444 2445 2446 Time [s] −1.5 −1.0 −0.5 0.0 0.5 1.0 1.5 Sound Delay [ms] ֶ ੜ F஋0.83Ͱਐߦํ޲Λࣝผ͠ͳ͕Βं྆Λݕग़ June 21, 2021 Ishida Lab, Future University Hakodate

⾞両区分の推定[dawton+20a] n ⾞両のいる⽅向の⾳を強調しながら解析 p ⾞両の⾳を教師あり 学習で分類 l バイク, 普通⾞, バス などを判定 n 九⼤内道路で評価 p 平均精度: 95.01% Ishida Lab, Future University Hakodate June 21, 2021 39 [dawton+20a] Initial Evaluation of Vehicle Type Identification using Roadside Stereo Microphones, IEEE SAS. https://doi.org/10.1109/SAS48726.2020.9220076 Vehicle Sound t t t t Left Right Vehicle sound arrives at slight different time depending on vehicle location Compensate the time difference Emphasized Sound ∆t ∆t

低周波でデータ処理[dawton+20b] n サブナイキスト周波数で⾞両区分を推定 p 圧縮センシング技術を応⽤して特徴量抽出 n 九⼤内道路で評価 p 平均精度: 86.2%@3kHzサンプリング p Filter-lessにする⼿法を 検討中 Ishida Lab, Future University Hakodate June 21, 2021 40 [dawton+20b] Proposal for a Compressive Measurement-Based Acoustic Vehicle Detection and Identification System, IEEE VTC2020-Fall. https://doi.org/10.1109/VTC2020-Fall49728.2020.9348569 ⾞両⾛⾏⾳のスペク トログラム(⾞両区 分判定には10kHz程 度の帯域幅が必要)

教師データづくりはつらいよ June 21, 2021 Ishida Lab, Future University Hakodate 41

学習ベースセンシング技術の課題 n センシングは教師あり学習 p 教師データ(ラベル付きデータ)が必須 n 教師データは⼿動でラベル付け p ⼿動でない場合はノイズにより精度が低下 n 例 p CSI屋外⾞両区分推定 l 約4000サンプル@⾞両区分×5 p CSI屋外⼈間位置推定 l 約6000サンプル×観測端末4台@エリア×9または11 p ⾳響⾞両センシング l 4⾞線道路, 60分間録⾳, 合計609台, ⼿動でラベル付け (めっちゃ時間かかりました!) Ishida Lab, Future University Hakodate June 21, 2021 42

教師データなしで センシングできないか？ 43 あるいは 環境などに依存せずに使える教師データのみで センシングできないか？ June 21, 2021 Ishida Lab, Future University Hakodate

マイクによる⾞両検出[uchino+20] n ⾳の到来⽅向の変化で⾞を検出 p 歩道にステレオ マイクを設置 p ⾳の到達時間差 の変化に基づい て⾞両を検出 n ⽚側2⾞線道路 で実験 p F値: 0.83 44 [uchino+20] Initial Design of Two-Stage Acoustic Vehicle Detection System for High Traffic Roads, PerVehicle, IEEE PerCom Workshop. https://doi.org/10.1109/PerComWorkshops48775.2020.9156248 D/2 M1 M2 x O d2 d1 D/2 L ౸དྷํ޲ͷมԽΛఆࣜԽ D/2 L x AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB23icZVBNS8NAEJ3Urxqr1rOXxVLwVDZe9Ch48VjBfkAbymazadduNmF3IpTQP+BJ8CD+Ly/+G7cfiG0fDDzem2FmXpQraZHSH6+yt39weFQ99k9q/unZeb3WtVlhuOjwTGWmHzErlNSigxKV6OdGsDRSohdNHxZ+71UYKzP9jLNchCkba5lIztBJ7VG9QVt0CbJLgjVpwBqj+vcwzniRCo1cMWsHAc0xLJlByZWY+81hYUXO+JSNxcBRzVJhw3J555w0nRKTJDOuNJKl6v+bKFlq7SyNXGfKcGK3vYX4522uwuQuLKXOCxSarzYlhSKYkcXXJJZGcFQzRxg30l1L+IQZxtFl47sUgu2fd0n3phXQVvBEoQqXcAXXEMAt3MMjtKEDHGJ4gw/vxXv3PldpVbx1bBewAe/rFxbhiow= AAAB33icZVDLSgNBEOz1Gdeo0auXwRDwFGa96FHw4jEB84BkCbOT3mTI7OwyMyuGJV/gTfQg/pYX/8bJAzFJQUNR1U13V5RJYSylP97O7t7+wWHpyD8un5yeVc7LbZPmmmOLpzLV3YgZlEJhyworsZtpZEkksRNNHuZ+5xm1Eal6stMMw4SNlIgFZ9ZJzZdBpUrrdAGyTYIVqcIKjUHluz9MeZ6gslwyY3oBzWxYMG0Flzjza/3cYMb4hI2w56hiCZqwWFw6IzWnDEmcalfKkoXq/5soWGLMNIlcZ8Ls2Gx6c/HPW19l47uwECrLLSq+3BTnktiUzP8mQ6GRWzl1hHEt3LWEj5lm3Lp0fBdDsPn0Nmnf1ANaD5oUSnAJV3ANAdzCPTxCA1rAAeEV3uHDk96b97kMbMdbJXcBa/C+fgGx6Iv9 AAAB33icZVDLSgNBEOz1Gdeo0auXwRDwFGa96FHw4jEB84BkCbOT3mTI7OwyMyuGJV/gTfQg/pYX/8bJAzFJQUNR1U13V5RJYSylP97O7t7+wWHpyD8un5yeVc7LbZPmmmOLpzLV3YgZlEJhyworsZtpZEkksRNNHuZ+5xm1Eal6stMMw4SNlIgFZ9ZJzZdBpUrrdAGyTYIVqcIKjUHluz9MeZ6gslwyY3oBzWxYMG0Flzjza/3cYMb4hI2w56hiCZqwWFw6IzWnDEmcalfKkoXq/5soWGLMNIlcZ8Ls2Gx6c/HPW19l47uwECrLLSq+3BTnktiUzP8mQ6GRWzl1hHEt3LWEj5lm3Lp0fBdDsPn0Nmnf1ANaD5oUSnAJV3ANAdzCPTxCA1rAAeEV3uHDk96b97kMbMdbJXcBa/C+fgGx6Iv9 AAAB6nicZVBNS8NAEJ3Urxq/qh69LJZCTyXxoseCF48t2A9oQ9lsJ+3SzSbsbsRS+gu8iR7Eqz/Ji//GbRvEtg8GHu/NMDMvTAXXxvN+nMLO7t7+QfHQPTo+OT0rnV+0dZIphi2WiER1Q6pRcIktw43AbqqQxqHATji5X/idJ1SaJ/LRTFMMYjqSPOKMGis1nwelslfzliDbxM9JGXI0BqXv/jBhWYzSMEG17vleaoIZVYYzgXO30s80ppRN6Ah7lkoaow5my0vnpGKVIYkSZUsaslTdfxMzGms9jUPbGVMz1pveQvzz1leZ6C6YcZlmBiVbbYoyQUxCFn+TIVfIjJhaQpni9lrCxlRRZmw6ro3B33x6m7Rvar5X85teuV7NAynCFVxDFXy4hTo8QANawADhBd7g3RHOq/PhfK5aC04+cwlrcL5+AcEajTQ= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= AAAB6nicZVDLSgNBEOyNr7i+oh69DIZATmFXBD0GvHhMwDzALGF20psMmZ1dZmbFsOQLvIkexKuf5MW/cfJATFLQUFR1090VpoJr43k/TmFre2d3r7jvHhweHZ+UTs/aOskUwxZLRKK6IdUouMSW4UZgN1VI41BgJxzfzfzOEyrNE/lgJikGMR1KHnFGjZWaz/1S2at5c5BN4i9JGZZo9EvfvUHCshilYYJq/eh7qQlyqgxnAqdupZdpTCkb0yE+WippjDrI55dOScUqAxIlypY0ZK66/yZyGms9iUPbGVMz0uveTPzzVleZ6DbIuUwzg5ItNkWZICYhs7/JgCtkRkwsoUxxey1hI6ooMzYd18bgrz+9SdpXNd+r+c3rcr26DKQIF3AJVfDhBupwDw1oAQOEF3iDd0c4r86H87loLTjLmXNYgfP1C8JajTg= d1 = s✓ x + D 2 ◆2 + L2 AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== AAACGnicZVDJSgNBEO1xjXGLevTSGAKRQJwJgl6EgB48eIhgFsgkoafTkzTpWeyuEcMwn+HNP/EmehCvufg3dhbEJA8KHu9VUVXPCQVXYJo/xsrq2vrGZmorvb2zu7efOTisqSCSlFVpIALZcIhigvusChwEa4SSEc8RrO4Mrsd+/YlJxQP/AYYha3mk53OXUwJa6mTOuh0LX2FbPUqIbcFcyD8XbFcSGt8kcSmxJe/14bRdwgV81y4lnUzWLJoT4GVizUgWzVDpZEZ2N6CRx3yggijVtMwQWjGRwKlgSTpnR4qFhA5IjzU19YnHVCuefJbgnFa62A2kLh/wRE3/m4iJp9TQc3SnR6CvFr2x+OfNrwL3shVzP4yA+XS6yY0EhgCPc8JdLhkFMdSEUMn1tZj2ic4FdJppHYO1+PQyqZWKllm07s+z5fwskBQ6Ricojyx0gcroFlVQFVH0gt7QB/o0Xo1348v4nrauGLOZIzQHY/QLZnCe9g== M1 Vehicle O Time t Sound delay Δt ϩόετਪఆʹΑΔ ϑΟοςΟϯά Sound Mapper Vehicle Detector M 2 M 1 Sound Retriever LPFs Out Sound Map 2441 2442 2443 2444 2445 2446 Time [s] −1.5 −1.0 −0.5 0.0 0.5 1.0 1.5 Sound Delay [ms] ֶ ੜ F஋0.83Ͱਐߦํ޲Λࣝผ͠ͳ͕Βं྆Λݕग़ 再掲 June 21, 2021 Ishida Lab, Future University Hakodate

列⾞乗⾞位置推定[hori+20] n 磁励⾳の変化に着⽬して, ユーザの前に何 両⽬が停⾞したかを推定 n 鉄道駅で磁励⾳を収集 p 何両⽬の前であるかを推定 p 正解率: 78% Ishida Lab, Future University Hakodate June 21, 2021 45 [hori+20]主電動機磁励⾳を⽤いた鉄道乗⾞位置推定⼿法の設計と評価, IPSJ研究報告, vol.2020-ITS-80, no.1. ここで停⾞ ここで停⾞

部屋の間取り推定[ishida+21b] n スマートスピーカなどのVUI (Voice User Interface) p どちらの⽅向に部屋があるかを推定 l ⾳の到来⽅向から教師なし学習 p 各部屋の種類 を推定 l ⼀般的な⾏動⾳ から教師あり学習 n 九⼤内の住宅模擬環境で 評価実験 p 部屋⽅向正解率 : 85.0% p 部屋種別推定精度 : 47.4% Ishida Lab, Future University Hakodate June 21, 2021 46 [ishida+21b]スマートスピーカを⽤いた間取り推定⼿法の初期的評価, IPSJ DICOMO (will appear) スマートスピーカ ♪ ♪ ♪ 音の到来方向情報 部屋毎に異なる到来方向情報から 部屋を分類・推定

まとめ 47 June 21, 2021 Ishida Lab, Future University Hakodate

まとめ n CSIを使ったセンシング p 浴室内センシング, 混雑度センシング p ⾞両センシング, ⼈センシング →屋外はつらいよ n ⾳を使ったセンシング p ⾞両検出, 電⾞乗⾞位置推定, 部屋の間取り推定 → 教師データを使わない⼿法を模索中 n 連絡先 p メール : [email protected] p Web : https://pman0214.netlify.app/ Ishida Lab, Future University Hakodate June 21, 2021 48

© 2021 Shigemi ISHIDA, distributed under CC BY-NC 4.0