連合学習を用いた複数ドメインにまたがるCSIベースの位置推定システムに関する初期検討

Wi-Fiチャネル状態情報（Channel State Information: CSI）を利用した非接触型センシングは，プライバシー保護の観点から注目されている技術である．特に，CSIを用いた位置推定は，GPSなどの衛星測位システム（GNSS）が利用できない屋内環境において有効な手段として期待されている．しかし，CSIベースの位置推定モデルは，運用環境の変化により性能が著しく低下することがあり，この点が学習モデルのドメイン汎化における課題となっている．本研究では，CSIベースの屋内位置推定モデルのドメイン汎化に対して，連合学習を活用したアプローチを行う．具体的には，ドメイン構造を階層的にモデル化し，同一ドメイン内に存在する多様なサブドメインを捉えることができる学習手法を設計する．本稿では，その初期検討として，単一ドメインにおける複数のサブドメインに特化した学習モデルを構築する手法を提案する．結果として，ベースラインモデルと比較して，特定のサブドメインの平均精度が最大で14.9ポイント向上し，ドメイン全体の平均精度が8.5ポイント向上することを確認した．

Non-contact sensing using Wi-Fi Channel State Information (CSI) is a technology that has gained attention for its privacy protection capabilities. In particular, location estimation using CSI is expected to be an effective method in indoor environments where satellite positioning systems (GNSS) such as GPS cannot be used. However, CSI-based location estimation models often suffer significant performance degradation due to changes in the operational environment, presenting a challenge for the domain generalization of learning models. In this study, we propose an approach that leverages federated learning to address the domain generalization of CSI-based indoor location estimation models. Specifically, we design a learning method that hierarchically models the domain structure, allowing the capture of diverse subdomains within the same domain. As an initial exploration, this paper proposes a method for constructing a learning model specialized for multiple subdomains within a single domain. As a result, we confirmed that compared to the baseline model, the average accuracy for specific subdomains improved by up to 14.9 points, and the average accuracy for the entire domain improved by 8.5 points.

Transcript

1. 原田 海斗1 峰野 博史2 1 静岡大学大学院総合科学技術研究科情報学専攻 2 静岡大学グリーン科学研究所 2024年6月27日 DICOMO 2024 シンポジウム 連合学習を用いた 複数ドメインにまたがる CSIベースの位置推定システムに関する 初期検討 4F-1
2. 背景
3. 3 背景 ◼ チャネル状態情報（Channel State Information: CSI） ◼ 無線電波の「受信強度」や「到来角度」の情報 受信機 送信機 CSI Ping 受信強度 到来角度 𝜃 ◼ 無線電波がセンシングのためのセンサとして使用される未来を想定 ◼ 無線センシングのための規格：IEEE 802.11bfの施策 特に，CSIを用いた無線センシング技術において位置推定技術が注目 送信機 受信機 Ping CSI 干渉 CSIの変化を学習 無線センシングが可能
4. 4 背景 ◼ CSIを用いた位置推定技術 ◼ GPSなどの衛星測位システム（GNSS）が利用できない屋内で有効 CSIによる位置推定技術が抱える課題 ドメインシフト（運用環境の変化） に対しての汎化性能が低い [1] ◼ 先行研究 [2]：データ拡張によるアプローチ ◼ 先行研究 [3]：転移学習によるアプローチ ドメインシフトに対して頑健なCSIベースの位置推定モデルの構築が重要 運用場所，通信規格，デバイス，設置位置の違い など [1] A csi-based indoor positioning system using single uwb ranging correction, 2021. [2] Data augmen-tation techniques for cross-domain wifi csi-based humanactivity recognition, 2024. [3] Transfer learning-enhanced instantaneous multi-person indoor localization by csi, 2024. ドメインごとに有効なデータ拡張手法が異なるため，一貫した適用が難しい 事前学習済みモデルの作成コスト，事前学習モデルの汎用性に依存
5. 5 背景 ◼ 連合学習によるアプローチ [4] [4] A three-level federated learning framework for csi fingerprint based indoorlocalization in multiple servers environment, 2024. データを一か所に集め，中央集権的に学習モデルを構築するのではなく，複数のエンドデバ イスやサーバー間で学習モデルを分散的に構築する手法 連合学習（Federated Learning: FL） ◼ 事前学習モデル不要，一貫した適用が可能 ◼ 2種類のドメイン（場所）に対して汎化性能の向上が報告 同一ドメインにおいて，多岐にわたるサブドメインを捉えることのできる 連合学習手法の開発を目指す 連合学習によるアプローチの課題点 設置条件の変化など より詳細なドメインシフトに脆弱 同じ部屋であっても，デバイスの設置位置が変わればCSIデータ特性は変化 細かいドメインの違いを事前に知ることは難しい
6. 提案手法
7. 7 提案手法 ◼ 全体概要図 サーバー イアント ウンド ウンド モデル学習 モデル学習 モデル学習 モデル学習 モデル集 ① ② ③ ① ② ③ ゼロサブキャリア除去 閾値フィルタ hampelフィルタ 階差フィルタ k-shape FedProxアルゴリズム 確率的量子化 モデルパラメータ抽出 標準化 距離計算 階層的クラスタリング 集
8. 8 ウンド モデル学習 モデル学習 モデル集 モデル学習 モデル学習 サーバー イアント 提案手法 ◼ 連合平均化（Federated Averaging: FedAvg）[5] ◼ 一般的な連合学習のアルゴリズムの一つ ◼ サーバーは，モデルパ メータの配布・集約を行う ◼ 学習に参加する イアントは，各 ウンドで ンダムに決定される [5] Communication-efficient learning of deep networks fromdecentralized data, 2016. FedAvgの集約ルール 𝑤𝑡+1 = 𝑤𝑡 + ൘ ෍ 𝑘=1 𝐾 𝑛𝑡 ∆𝑤𝑡 𝑘 𝐾 ∆𝑤 𝑡 (𝑘) : 𝑡 ウンド目の イアント𝑘の 学習パ メータ差分 𝑛 𝑡 (𝑘) : 𝑡 ウンド目の イアント𝑘の 学習データ量 𝐾: イアント数 各クライアントが学習したデータ量を重みとした重み付き平均で統合
9. 9 提案手法 ◼ 連合近位最適化（Federated Proximal Optimization: FedProx）[6] ◼ 非独立同一分布な イアントの影響を抑えることが可能 [6] Federatedoptimization in heterogeneous networks, 2020. 連合学習においては，あるクライアントの持つデータ分布が，全クライアントの データ分布と一致しないような状況を指す 非独立同一分布（Non-Independent and Identically Distributed: Non-IID） ◼ FedAvgの損失関数（ミニバッチ勾配降下）に正則化項を加える 集 前のグローバルモデルと大きく乖離するのを抑制 𝑤 1 (0) 𝑤 1 (1) 𝑤0 𝑤1 FedProxの損失関数 𝑤𝑡: 𝑡 ウンド目のグローバルモデル 𝛼: 正則化の強さ 𝐿(𝑤): FedAvgの損失関数（MB-SGD） 𝐿 𝑤 ′ = 𝐿 𝑤 + 𝛼||𝑤 − 𝑤𝑡 ||2 𝑤1 ′ 𝑤 1 (0)′ 𝑤 1 (1)′
10. 10 提案手法 ◼ 連合圧縮ローカル学習（Federated Compressed and Local Training FedComLoc）[7] ◼ 連合学習は，通信コストがボトルネッ ◼ 確率的量子化によってモデルパ メータを圧縮 [7] Fedcomloc: Communication-efficient dis-tributed training of sparse and quantized models, 2024. 連続値をある閾値に近い場合に， 確率に基づいて上下の離散値に マッピングすることで，データ 圧縮を行う手法 確率的量子化 確率的量子化の計算式 ∆𝑤𝑚𝑖𝑛, 𝑚𝑎𝑥: モデルパ メータの最大値，最小値 ∆𝑤𝑖: モデルパ メータの要素𝑖 ෪ ∆𝑤𝑖 = ቐ ∆𝑤𝑚𝑎𝑥 𝑤𝑖𝑡ℎ 𝑃 ∆𝑤𝑖 ∆𝑤𝑚𝑖𝑛 𝑤𝑖𝑡ℎ 1 − 𝑃(∆𝑤𝑖 ) 𝑃(∆𝑤𝑚𝑎𝑥 ) = ∆𝑤𝑖 − ∆𝑤𝑚𝑖𝑛 ∆𝑤𝑚𝑎𝑥 − ∆𝑤𝑚𝑖𝑛 ∆𝑤 ෪ ∆𝑤 32bit浮動小数点数で表現されるモデルパラメータを2bitに圧縮可能
11. 11 提案手法 ◼ モデルクラスタリング ◼ モデルパ メータ（重み・バイアス）を標準化 ◼ 階層 スタリングを繰り返すことでサブドメインを捉えることを期待 ◼ Permutation Invariant対策の距離尺度が必要 任意のクラスタ数を設定し，上限に達するまでクラスタを分割する 入力データの順序が変わっても結果が変わらない性質を指し、データの順序に依 存しないこと Permutation Invariant ◼ 距離尺度にはEMDを使用 ある分布から別の分布に変換するため に必要な最小の労力（質量の移動量） を測定する距離尺度 EMD（Earth Mover’s Distance）
12. 実験
13. 13 実験 ◼ データ収集 ◼ 観測機 ：RaspberryPi4 ModelB ◼ 観測ツール ：Nexmon CSI ◼ 通信規格 ：IEEE 802.11n ◼ 教師信号 ：A, B, C, D ◼ 収集データ量：4800 [Packet/Subset] 約6.0m 約5.0m B C A D 6種類のサブドメインに対して，5つのデータサブセットを作成 ドメイン（部屋） サブドメイン①（受信機の位置） サブドメイン⑥（受信機の位置） … データサブセット
14. 14 実験 ◼ 各サブドメインに対する精度比較 ◼ ベース イン：各データサブセットのみで学習したAccuracyの平均と標準偏差 ◼ 比較手法 ：FedAvg，FedProx，FedComLocと比較 学習手法 サブドメイン 平均 1 2 3 4 5 6 ベースライン 92.9(±1.4) 55.4(±0.7) 69.6(±1.5) 71.9(±4.6) 80.9(±1.5) 75.5(±3.3) 74.3 FedAvg [5] 87.2(±0.2) 44.1(±0.4) 69.3(±0.4) 58.7(±0.9) 77.5(±2.8) 76.8(±1.8) 68.9 FedProx [6] 89.6(±1.0) 40.8(±5.1) 67.3(±4.1) 55.6(±2.5) 79.2(±1.7) 75.8(±3.0) 68.0 FedComLoc [7] 87.7(±2.5) 41.2(±1.8) 65.5(±5.0) 60.6(±3.5) 76.2(±1.9) 77.0(±2.0) 68.0 提案手法 95.8(±0.9) 64.2(±2.2) 84.5(±4.0) 83.0(±3.7) 89.0(±1.6) 80.6(±1.6) 82.8 各サブドメインに対する精度比較（Accuracy±標準偏差[%]） 特定のサブドメインに対して14.9ポイント ドメイン全体に対して8.5ポイント ベースラインと比較して上昇
15. 15 実験 ◼ Non-IIDなデータを持つクライアントによる精度比較 ◼ Non-IIDの定義：特定の ベルが全体の5割以上を占めている状態 ◼ Non-IIDな イアントの割合が，0～100%の20%刻みで検証 ◼ 10回ずつ試行し，Accuracyの平均値と標準偏差を算出 Non-IIDなクライアントの割合が多くなると学習方向が収束しない Accuracy サブドメイン 0%の場合と比較して 平均精度が 9ポイント減少
16. 16 実験 ◼ 確率的量子化による精度比較 ◼ 圧縮モデルと非圧縮モデルを比較 ◼ 50回ずつ試行し，Accuracyの平均値と標準偏差をサブドメインごとに算出 Accuracy サブドメイン サブドメイン p値 1 0.946 2 0.506 3 0.052 4 0.535 5 0.596 6 0.969 左図のt検定結果 確率的量子化による圧縮モデルと非圧縮モデルの精度には 有意な差がない事が定量的に示された
17. 17 実験 ◼ 設定クラスタ数による精度比較 ◼ スタリングの スタ数を2～6で比較 ◼ 10回ずつ試行し，Accuracyの平均値と標準偏差を算出 設定 クラスタ数 サブドメイン 平均 1 2 3 4 5 6 2 88.7(±2.8) 43.1(±7.7) 85.7(±6.2) 61.4(±9.1) 85.3(±1.3) 75.5(±1.3) 73.2 3 88.2(±0.5) 44.7(±1.2) 71.9(±0.7) 77.9(±2.5) 87.3(±0.5) 79.2(±1.4) 74.8 4 93.0(±0.4) 61.2(±0.6) 89.3(±0.7) 59.5(±0.3) 87.4(±1.1) 74.7(±0.7) 77.5 5 94.3(±1.9) 64.1(±1.5) 81.5(±1.9) 78.0(±2.7) 88.1(±4.1) 80.2(±0.6) 81.0 6 95.8(±0.9) 64.2(±2.2) 84.5(±4.0) 83.0(±3.7) 89.0(±1.6) 80.6(±1.6) 82.8 設定 スタ数による精度比較（Accuracy±標準偏差[%]） 特定のサブドメインに対して21.6ポイント ドメイン全体に対して9.6ポイント クラスタ数2の場合と比較して上昇
18. 考察
19. 19 考察 ◼ 最も精度向上が確認できたサブドメイン3 ◼ 約22ポイント上昇するケースも ◼ サブドメイン3はNLoS条件 ベース イン (69.5%) が送 者と受 者の間に障害物があるために直線的な視界が遮られ， が反射や屈折を することで到達する通 環境を指す 非視線方向（Non-Line of Sight: NLoS） 提案手法が，NLoS条件が混在する環境に対しても有効な手法であることを示唆 提案手法 (92.3%) サブドメイン3の設置位置 ③ 約2.0[m] NLoS 環境
20. まとめ・今後の展望
21. 21 まとめ・今後の展望 ◼ CSIベースの屋内位置推定モデルのドメイン汎化 ◼ 連合学習によるアプローチを採用 ◼ 既存の研究では，同一ドメインのサブドメインの多様性を考慮できない ◼ 多岐にわたるサブドメインを捉えるための新たな集約ルールを提案 ◼ ドメイン全体として平均精度8.5ポイント向上 提案手法がドメインの中のサブドメインを効果的に捉え効率的な学習を可能に ◼ 今後の展望 ◼ 新規 イアントの参入を考慮した学習アーキテ チャの拡張 ◼ ドメインの規模や イアント数に応じた可変 スタ設定・評価指標の検討 ◼ 連合能動学習（Federated Active Learning）半教師連合学習（Federated Semi- Supervised Learning）の導入 ◼ 異なるドメイン間での提案手法の有効性検証
22. 22 参考文献（1/2） 1. Keliu Long, Darryl Franck Nsalo Kong, Kun Zhang,Chuan Tian, and Chong Shen. A csi-based indoor posi-tioning system using single uwb ranging correction. Sen-sors, Vol. 21, No. 19, 2021. 2. Julian Strohmayer and Martin Kampel. Data augmen-tation techniques for cross-domain wifi csi- based humanactivity recognition, 2024. 3. Zhiyuan He, Ke Deng, Jiangchao Gong, Yi Zhou, andDesheng Wang. Transfer learning-enhanced instanta-neous multi-person indoor localization by csi, 2024. 4. Jun Yan, Yibo Cui, and Wei Wang. A three-level feder-ated learning framework for csi fingerprint based indoorlocalization in multiple servers environment. IEEE Com-munications Letters, pp. 1–1, 2024. 5. H. Brendan McMahan, Eider Moore, Daniel Ram-age, Seth Hampson, and Blaise Ag¨uera y Arcas.Communication-efficient learning of deep networks fromdecentralized data, 2016. 6. Tian Li, Anit Kumar Sahu, Manzil Zaheer, Maziar San-jabi, Ameet Talwalkar, and Virginia Smith. Federatedoptimization in heterogeneous networks, 2020. 7. Kai Yi, Georg Meinhardt, Laurent Condat, and Pe-ter Richt´arik. Fedcomloc: Communication-efficient dis-tributed training of sparse and quantized models, 2024. 8. Defeng David Huang and Khaled Ben Letaief. Carrierfrequency offset estimation for ofdm systems using nullsubcarriers. IEEE Transactions on Communications,Vol. 54, pp. 813–823, 2006. 9. Ronald K. Pearson, Yrj¨o Neuvo, Jaakko Astola, andMoncef Gabbouj. The class of generalized hampel filters.In EUSIPCO, pp. 2501–2505, 2015. 10. John Paparrizos and Luis Gravano. k-shape: Efficientand accurate clustering of time series. SIGMOD Rec.,Vol. 45, pp. 69–76, 2016.
23. 23 参考文献（2/2） 11. Francesco Gringoli, Matthias Schulz, Jakob Link, andMatthias Hollick. Free your csi: A channel state infor-mation extraction platform for modern wi-fi chipsets. pp.21–28, 2019. 12. Jin-Hyun Ahn, Yeeun Ma, Seoyun Park, and CheolwooYou. Federated active learning (f-al): An efficient an-notation strategy for federated learning. IEEE Access,Vol. 12, pp. 39261–39269, 2024. 13. Wonyong Jeong, Jaehong Yoon, Eunho Yang, andSung Ju Hwang. Federated semi-supervised learning withinter-client consistency disjoint learning, 2021.