[SITA2025 Workshop] 空中計算による高速・低遅延な分散回帰分析

発表日：2025年11月26日(水)20:00-22:00
発表先：第48回情報理論とその応用シンポジウム(SITA2025) ワークショップ「機械学習・深層展開・量子計算がもたらす
無線通信システム設計の未来」
発表会場：電気通信大学
プログラム ：https://www.ieice.org/ess/sita/SITA2025/event.html#workshop

Transcript

1. ワークショップ: 機械学習・深層展開・量子計算がもたらす 無線通信システム設計の未来 -空中計算による高速・低遅延な分散回帰分析- 第48回情報理論とその応用シンポジウム 2025年11月26日(水) 佐藤光哉 電気通信大学 k_sato@ieee.org ※本資料は発表当日に使用したスライドの一部を削除・修正したものである
2. (自己紹介) 佐藤の研究テーマの派生例と成果あれこれ 2 電波マップの多次元内挿 分散機械学習のための通信/学習一体設計 ... Result of local training or regression 基地局 ノード 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 800 1000 °100 °80 °60 AirComp GPR (Perfect CSI) 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 °60 Ground Truth 回帰結果(電波マップ, 1D) 5G 5G 5G 5G センシング+空間内挿による 電波マップ構築 観測データの学習 を効率化したい 内挿に関する理論を最適化で活用できそう 電波伝搬と両輪 で電波マップを 深めたい 無線基地局の自動設計 イメージセンサ活用 RGB images ・ ・ ・ Depth images ・ ・ ・ Point clouds ・ ・ ・ Integrated point cloud Semantic segmentation based on PointNet++ Semantic-segmented point cloud ICP Ray tracing with approximated cuboids (a) RGB-D image acquisition (b) 3D reconstruction and semantic segmentation (c) Cuboid approximation for indoor room Received Signal Power Transmitter (d) Ray tracing Point Cloud for objects Cuboid approximation for objects Cuboids Cuboid approximation for walls, ceilings, and floors Modeled indoor information Cuboids Plane estimation Conversion 測位系に低依存な回帰分析 センシングコストを下げたい • IEEE TCCN (2017), IEEE WCL (2019), 他 • IEEE TVT (2021), IEEE Access (2019), 他 • IEEE WCL (2025), IEEE Access (2023), 他 • JST ACT-X「AI活用」領域 • IEEE TCCN (2021, 2025), IT研招待講演 (2022), 他 • IEEE Sens. Lett. (2024), GLOBECOM Wkshps (2025) 他 • JST さきがけ「ICT基盤強化」領域 • IEEE Netw. Lett. (2024) 他 シミュレータの 連携
3. 本講演の主題 3 • センサ類の観測情報からいかに低遅延・高精度で回帰分析するかの話題です • 分散センサの観測値の加重平均に焦点をあてた問題提起・具体例について話します • Koya Sato and Koji Ishibashi, "Adaptively Weighted Averaging Over-the-Air Computation and Its Application to Distributed Gaussian Process Regression," IEEE Trans. Cogn. Commun. Netw., 2025 (Early Access). Ø 元ネタの元ネタ:佐藤光哉, "空中計算を用いた分散ガウス過程回帰の低遅延化に関する検討," SITA2022, 2022年11月. ... Result of local training or regression 基地局 ノード 0 200 400 600 800 1000 °100 °80 Signal Power[dBm] 600 800 1000 °100 °80 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 Signal Power[d °100 °80 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) °100 °80 °60 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample °100 °75 °50 °25 0 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample °100 °75 °50 °25 0 1000 0 200 400 600 800 1000 °100 °80 1000 600 800 1000 °100 °80 °60 Path Loss 1000 PR ample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 1000 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 1000 0 200 400 600 800 1000 °100 1000 600 800 1000 °100 °80 °60 Path Loss 1000 GPR ample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 1000 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] Ground Truth °100 °80 °60 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) °100 °80 °60 °25 0 Bm] Node 1 °25 0
4. (広めの背景)デジタルツイン時代におけるセンシングとデータ処理 4 あらゆる事象のデジタル化で期待される応用例 • 無線の超高効率な周波数利用 • 車両の経路最適化 • 建物の超省エネ化 これらを実現するには • 無数のセンサを稠密配置，常時稼働 • センシング内容をサーバで解析 現行のセンサ類を稠密配置した場合… • 周波数リソースの食いつぶし • データ収集・解析に要する通信遅延 引用: 東京都デジタルツイン実現プロジェクト https://info.tokyo-digitaltwin.metro.tokyo.lg.jp/ 分散データを低遅延・高精度で分析するには？
5. 加重平均はセンシングとデータ処理の基本 5 !" !" !" センサ 観測値, 重み係数 ... 1 2 M サーバ 例1: 環境データの空間内挿 例2: 連合機械学習におけるモデル合成 内挿地点からの距離に応じた重み設計 学習データ数に応じた重み設計 各センサの観測値と重み係数 ここでの所望の計算 加重平均
6. 通信遅延と空中計算 (AirComp: Over-the-Air Computation) 6 • AirComp: アナログ信号の重畳を駆使した通信/計算一体処理技術 • 大規模センサネットワーク等での高効率演算が期待 アナログ変調 (AirComp) • アナログ信号の重畳で直接計算 Øセンサ台数によらず1スロット • 加算以外の計算も可 (例: 相乗平均) !" 5 !" 8 !" 1 振幅変調 !" 一斉送信 14 ディジタル変調 !" 5 0101 !" 8 1000 !" 1 0001 二値化 変調&送信 加算 0101 0001 1000 !" 復調 • A. Şahin and R. Yang, "A Survey on Over-the-Air Computation," in IEEE Communications Surveys & Tutorials, vol. 25, no. 3, pp. 1877-1908, third quarter 2023. • 直交通信で重み係数と観測値を集約 Øセンサ台数に比例して通信遅延増
7. AirCompによる加重平均と計算誤差の影響 7 ※簡単のため，AirCompにおける加算結果の誤差を実数𝑧! とする 重み係数がサーバ側で既知 重み係数がサーバ側で未知 雑音強調の原因 1. AirCompで加重和を計算 2. サーバ側で重みの総和を除算 1. AirCompで加重和を計算 2. AirCompで重みの総和を計算 • 既存のAirCompに関する話題は基本的に重み係数既知 Ø未知だとどうなるか？
8. 加重平均処理における雑音強調の例 8 • 受信電力の回帰分析タスク (電波マップ構築)を対象に検証 • 分散ガウス過程回帰 (後述)により動作検証 • AWGN通信路でも演算結果が発散するおそれ Øフェージング通信路ではさらに精度劣化 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Ground Truth °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR °15 °10 °5 0 5 10 Received Signal Power [dBm] °10 °5 0 5 10 Received Signal Power [dBm] (a) Ground truth. (c) Proposed (PSNR: 70dB). (b) Pure weighted averaging (PSNR: 70dB). °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 (a) Ground truth. (b) Pure weighted averaging (PSNR: 70dB). (e) Noiseless distributed GPR. (f) Pure weighted averaging (PSNR: 10dB). °1 °1 ° 1 Received Signal Power [dBm] °1 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 (a) Ground truth. (b) Pure weighted averaging (PSNR: 70dB). (e) Noiseless distributed GPR. (f) Pure weighted averaging (PSNR: 10dB). °1 °1 ° 1 Received Signal Power [dBm] °1 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 分散GPR (理想) 分散GPR (AirComp) Ground Truth • ノード数: 4 • 総データ数: 128 • AWGN Channels ここをなんとかしたい
9. 9 加重平均適応化の具体例のご紹介…
10. ... AirComp: 信号モデル 10 ℎ! フェージング係数 ̅ 𝛾! 平均通信路利得 𝐦𝒊 メッセージベクトル 𝐱𝒊 送信信号ベクトル 𝑃 #$% 最大送信電力 (≥ ||𝐱𝒊 ||& &) 𝐲 受信信号ベクトル 𝐳 AWGNベクトル 基地局 ノード 仮定 • 全ノード単一アンテナ ・重み係数および観測値の確率分布はサーバ側で既知 • 時間同期は正確 ・サーバ側で各メッセージの𝐿! ノルム既知 (電力制御用) • 完全CSI メッセージベクトル𝐦𝒊 の加算演算について述べる Ø“メッセージ”: 重み係数ベクトル or 観測値ベクトル に近づくようDec, Encを設計
11. AirComp: 電力制御と変復調 (完全CSI) 11 ノード: 送信信号生成 基地局: 電力制御用定数の計算 (全ノード共通) 基地局: 計算結果の推定 • 瞬時SNRが最小のノードが最大電力で送信 • 他は受信SNRを揃えるよう電力を落とす • 振幅の重畳がそのまま加算結果を表現する よう，位相&振幅双方を補償 • 電力制御用の係数で受信信号を除算 • 雑音が十分小さいとき，誤差ゼロに近づく
12. AirComp: 重み係数のばらつきと送信電力の関係 12 基地局: 電力制御用定数の計算 (全ノード共通) • ノード間でメッセージベクトルの ノルムに差があると？ • ノード間で重み係数のばらつきを抑えると平均送信電力向上→雑音強調対策に？ 10°5 10°4 10°3 10°2 10°1 100 101 102 103 ±max 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 Average Transmission Power [mW] Adaptive Weight g(w) Constant Weight Pure Weight 0 2 4 6 8 10 w 0 2 4 6 8 10 w0 w0 = ±min w0 = ±max Pure Weight (w0 = w) Adaptive Weight g(w) 重み係数のクリップ関数 平均送信電力特性 定数重み (単純平均) 無歪み重み 幅を調整 ※重み係数: 指数分布で生成
13. 提案：重み係数を適応化するAirComp 13 • チャネルの統計情報に応じて重み係数を適応的に鈍らせる Ø適応化関数をAirCompに先立ちサーバ側で最適化 Ø最適化された関数はノード間でシェア 0 2 4 6 8 10 w 0 2 4 6 8 10 w0 w0 = ±min w0 = ±max Pure Weight (w0 = w) Adaptive Weight g(w) 提案関数による演算内容 : 単純平均 : 純粋な加重平均 計算条件に応じて加重の戦略を適応化 この関数の意味
14. 提案：重み係数最適化の概要 14 AirCompに先立ちサーバ側でMSE最小化 同等の通信路・加重平均でのエミュレーションとベイズ最適化により探索 AirCompの結果 計算対象 センサ配置 (固定 or 可変) °4 °2 0 2 4 x °4 °2 0 2 4 y Sensor Placement Test Point 同環境を模擬 するデータ生成 °4 °2 0 2 4 x °4 °2 0 2 4 y Sensor Placement Test Point °1.8 °1.2 °0.6 0.0 0.6 1.2 1.8 2.4 3.0 Environmental Information °4 °2 0 2 4 x °4 °2 0 2 4 y Sensor Placement Test Point °1.8 °1.2 °0.6 0.0 0.6 1.2 1.8 2.4 3.0 Environmental Information °4 °2 0 2 4 x °4 °2 0 2 4 y Sensor Placement Test Point °1.8 °1.2 °0.6 0.0 0.6 1.2 1.8 2.4 3.0 Environmental Information °4 °2 0 2 4 x °4 °2 0 2 4 y Sensor Placement Test Point °1.8 °1.2 °0.6 0.0 0.6 1.2 1.8 2.4 3.0 Environmental Information 疑似データごとにAirCompを オフラインエミュレーション 評価結果の入出力を記録 次のパラメータ{𝛿"#$ , 𝛿"%& }を探索 十分に繰り返す 𝑓~GP(𝝁, 𝐊) 環境情報 の模擬 𝝁: 平均関数 𝐊: 共分散 • 環境モニタリングにおけるヒートマップ生成での実装例
15. 具体例：分散ガウス過程回帰への応用 15 0 200 400 600 800 1000 °100 °80 Signal Power[dBm] 600 800 1000 °100 °80 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] Ground Truth 0 200 400 600 °100 °80 °60 Full GPR 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) 600 800 °100 °80 °60 Path Loss 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 °100 °75 °50 °25 0 Node 2 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample 0 200 400 600 x [m] °100 °75 °50 °25 0 Node 4 cv ローカルの回帰結果 (予測平均, 4ノード) 合成結果 ローカルの回帰曲線 ローカルの予測結果の確度 ある入力点𝒙∗ でのローカルGPRの合成結果 • 確度を重み係数にローカルの回帰曲線を合成 Ø提案手法がそのまま使えそう 回帰結果の 加重平均 cv
16. 数値例 (AWGN通信路) 16 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Ground Truth 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR (a) Ground truth. (c) Proposed (PSNR: 70dB). (b) Pure weighted averaging (PSNR: 70dB). (d) Simple averaging (PSNR: 70dB). (e) Noiseless distributed GPR. (g) Proposed (PSNR: 10dB). (f) Pure weighted averaging (PSNR: 10dB). (h) Simple averaging (PSNR: 10dB). 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 0 100 200 300 400 500 x[m] °15 °10 °5 0 5 10 Received Signal Power [dBm] Training Sample Distributed GPR 加重平均 (無歪み) 単純平均 提案手法 • 低SNRでも雑音強調を回避 • 高SNRでは無歪みの加重平均に近い合成結果 ※PSNR: 最大電力使用時の平均SNR ※平均通信路利得はノード間で一定
17. 精度特性 (32ノード, 総データ数256, レイリーフェージング) 17 0 20 40 60 80 100 PSNR[dB] 0 2 4 6 8 10 12 Median RMSE[dB] Path Loss Estimation Noiseless D-GPR Pure Simple Adaptive COP 40 50 60 70 2 3 単純平均 • 低SNRでも安定 • 高SNRでは頭打ち 加重平均 (無歪み) • 低SNRで極端に精度劣化 • 高SNRでは最高性能 提案手法 • 低SNR, 高SNRとも安定した精度 • 中SNRで最高精度
18. (もう1例…) FedAvgによる画像分類タスク 18 • MNISTによる画像分類 Ø三層全結合ニューラル ネットで学習 • 1エポックごとにAirComp でローカルモデルを合成 • 分散GPRと同様の傾向 0 20 40 60 80 100 Rounds 0.80 0.82 0.84 0.86 0.88 0.90 0.92 0.94 Test Accuracy Single Training at 100 Epochs Pure Weighted Avg. Simple Avg. Adaptive Weighted Avg. 0 20 40 60 80 100 Rounds 0.80 0.82 0.84 0.86 0.88 0.90 0.92 0.94 Test Accuracy Single Training at 100 Epochs Pure Weighted Avg. Simple Avg. Adaptive Weighted Avg.