Tweet
Tweet

Slide 1

Slide 1 text

ガウス過程回帰の分散・低遅延化と その電波マップ構築への応用 2023年5月12日(金)@IEICE SR研究会 佐藤光哉 / Koya Sato 電気通信大学 人工知能先端研究センター [email protected]

Slide 2

Slide 2 text

Decentralized FLに関する宣伝 2 解説論文 [A] • 分散機械学習とは？ • 無線設計との接点や課題は？ • 関連する研究動向は？ • 本分野に興味を持った通信系B4-M1を想定しました Ø新年度のテーマ出しにいかがですか Decentralized FL向けの無線設計 [B] • 無線のパラメータを調整した際に生じる 通信速度-学習精度間のトレードオフを指摘 • 精度と速度を両立する伝送レート設計法を提案 ØPythonコードはシェアします [A] 佐藤光哉, “無線設計の問題として見る分散連合機械学習,” IEICE Fundamentals Review, vol.16, no.4, pp.7-16, 2022年7月 [B] K. Sato and D. Sugimura, "Rate-Adapted Decentralized Learning Over Wireless Networks," IEEE Trans. Cogn. Commun. Netw., vol.7, no.4, pp.1412-1429, Dec. 2021.

Slide 3

Slide 3 text

TL;DR 3 • K. Sato, "Over-the-Air Gaussian Process Regression Based on Product of Experts," IEEE GLOBECOM Workshops, Dec. 2022. • K. Sato et al., in preparation… ... Result of local training or regression 基地局 ノード 0 200 400 600 800 1000 °100 °80 Signal Power[dBm] 600 800 1000 °100 °80 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 Signal Power[d °100 °80 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) °100 °80 °60 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample °100 °75 °50 °25 0 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample °100 °75 °50 °25 0 1000 0 200 400 600 800 1000 °100 °80 1000 600 800 1000 °100 °80 °60 Path Loss 1000 PR ample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 1000 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 1000 0 200 400 600 800 1000 °100 1000 600 800 1000 °100 °80 °60 Path Loss 1000 GPR ample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 1000 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] Ground Truth °100 °80 °60 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) °100 °80 °60 °25 0 Bm] Node 1 °25 0 • ガウス過程回帰 (GPR)の分散・低遅延化 Ø特に、分散GPRが分散ノードの計算結果の和で表現される点に着目し、空中計算を導入 Ø通信遅延が観測データ数やノード数に非依存 • FLのシステム構成と互換があることから、ここではFL-Inspired GPRと呼称 回帰結果(電波マップ, 1D)

Slide 4

Slide 4 text

本講演の内容 4 • 研究背景 • ガウス過程回帰とその問題点 • ガウス過程回帰の高速化・分散化 • 空中計算 (Over-the-Air Computation)の導入による低遅延化 • 電波マップ構築への応用 • 特性評価

Slide 5

Slide 5 text

5 • 研究背景 • ガウス過程回帰とその問題点

Slide 6

Slide 6 text

研究背景 6 • 世の中のセンサ数や生み出されるデータ数は増加の一途 • 膨大なデータからいかに効率よく事象の傾向を掴むかが重要 Ø例1: 環境データの時空間での可視化と予測 Ø例2: 無線における周波数利用率や通信カバレッジ、QoSなど • 効率的な可視化には観測データを用いたモデルの当てはめ (回帰分析)が不可欠 • データの分布の解析 • 未観測領域の内挿 観測データ 解析結果

Slide 7

Slide 7 text

回帰分析手法あれこれ 7 パラメトリック回帰: 関数𝑓の形状を明示的に仮定 • 線形回帰 (単回帰, 重回帰) • 非線形回帰 (指数関数, 三角関数, …) ノンパラメトリック回帰:関数𝑓の形状が未知 • 𝑘-近傍回帰 • スプライン回帰 • ニューラルネットワーク • ガウス過程回帰 (本日の主題) • … • ガウス過程に対し理論最適 Ø少数のパラメータで高精度 • 回帰結果の不確定性の見積もりが可能 • NNとの連携など派生も多数 • 演算量や通信コストなど根深い課題 Øいずれもシンプルで学術的に面白い 入力 観測雑音 回帰対象

Slide 8

Slide 8 text

ガウス過程回帰 (GPR: Gaussian Process Regression) 8 • ガウス過程に従うデータに対する、カーネルに 基づくノンパラメトリック回帰手法 • 回帰結果の不確定性(分散)の見積りが可能 • アプリケーション例 Ø環境モニタリング Ø実験計画法 Ø電波マップ構築 ※空間統計におけるクリギングと同等 観測値 Exact curve GPR result C.M. Bishop, Pattern Recognition and Machine Learning, 2006. A.E. Gelfand et al., Handbook of Spatial Statistics, 2010. N. Srinivas et al., “Gaussian process bandits without regret: An experimental design approach,” ICML2010. S. Bi et al., “Engineering radio maps for wireless resource management,” IEEE Wireless Commun., 2019. GPRの例

Slide 9

Slide 9 text

GPRでやりたいこと 9 観測データ： 以下の加重平均の最適化をしていると考えるとわかりやすい 重み係数 おおまかな流れ 1. 学習：近傍のデータほど相関が強いという手がかりのもと共分散関数(カーネル)𝑘を調整 2. 回帰：加重平均を最適化 ただし、 推定対象： 0 2 4 6 8 10 Euclidean Distance 0 1 2 3 4 5 6 7 8 Kernel 共分散関数 (カーネル)

Slide 10

Slide 10 text

学習ステップ • カーネル中のハイパーパラメータベクトル𝜽を最適化 回帰ステップ • ある入力𝒙∗ に対する出力の平均と分散を次式に基づき計算 以下の、多変量正規分布に対する対数周辺尤度を最大化 厳密GPR (Full GPR) 10 期待値ベクトル カーネル行列 単位行列 観測雑音の分散 サーバ側でフルデータセットを用いてGPR (近似なし)

Slide 11

Slide 11 text

厳密GPRの問題点 11 複数ノードが事象を分散的にし、サーバ側で解析する環境を考える (例: 環境モニタリング) 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Ground Truth ° Signal Power[dBm] °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) ° Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 1 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 2 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 3 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 4 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 1 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 2 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 3 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 4 0 200 400 600 800 1000 x [m] °100 °80 Signal Power[dBm 0 200 400 600 800 1000 x [m] °100 °80 Signal Power[dBm 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 1 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 2 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 3 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 4 0 200 400 600 800 1000 x [m] °100 °80 Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 Signal Power[dBm] 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 1 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 2 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 3 0 200 400 600 800 1000 x [m] °100 °80 °60 Signal Power[dBm] Node 4 分散データセット 分散データの解析における厳密GPRの欠点 • サーバ側での計算コスト：総データ数が合計𝑁のとき𝑂 𝑁" • 観測データの集約に要する通信コスト 回帰対象 ノード1 ノード2 ノード3 ノード4 サーバ側 この2つをなんとかしたい

Slide 12

Slide 12 text

12 • ガウス過程回帰の高速化・分散化 • 空中計算 (Over-the-Air Computation)の導入による低遅延化

Slide 13

Slide 13 text

GPRの高速化手法の例 13 いかに逆行列演算を軽量化するかで細分化 方針1: サーバ側で全ての演算を実施 • 部分データ法 (the subset of data approximation) Ø全データの一部のみを使用 • 巨大なカーネル行列の低ランク近似 (low-rank approximation) • (軽量ではないが)GPUを使った並列化 方針2: 分散ノードの計算能力を活用 • Mixture of Experts • Product of Experts

Slide 14

Slide 14 text

学習ステップ Product of Expertsに基づく分散GPR (D-GPR) 14 ローカルデータセットに対する周辺尤度 回帰ステップ (真数領域) (対数領域) ローカルデータセットに対する Full GPRの結果より ローカルデータセットが互いに独立であると仮定し、各計算内容をローカルの計算値の和で近似 (平均) (分散) ノード1台の 計算複雑性 Full GPR 𝑂(𝑁!) D-GPR 𝑂 % 𝑁 𝑀 ! 1 𝑀 ! M. Deisenroth and J. Ng, “Distributed Gaussian Processes,” ICML2015.

Slide 15

Slide 15 text

無線ネットワークに展開すると… (学習ステップ) 15 以上を繰り返し対数尤度を最大化 • パラメータの更新則は、例えばNelder-Meadシンプレックスなど Step1: パラメータ𝜽($)を配布 Step2: ローカルの対数尤度 を計算 Step3: ローカル値をアップロード Step4: ローカル値を加算 Step5: 𝜽($&')へ更新

Slide 16

Slide 16 text

無線ネットワークに展開すると… (回帰ステップ) 16 Step1: 学習データを分割&配布 Step2: を計算 Step3: ローカル値をアップロード Step4: を計算 サーバが全データを所有している場合を示したが、以下でもOK 1. ノード側で分散観測 2. 観測エリア全体の情報を分析 この流れを前提に話を進める

Slide 17

Slide 17 text

D-GPRにおける計算&通信内容 無線ネットワークにおけるD-GPRの遅延特性とその改善に向けて 17 (学習) ノード1台の 計算複雑性 通信コスト Full GPR 𝑂(𝑁!) ∝観測データ数 D-GPR (w/ digital) 𝑂 % 𝑁 𝑀 ! ∝分散ノード数 • D-GPRで計算複雑性を改善できる一方、 通信コストがノード数に依存 Ø低遅延化できないか？ (回帰, 平均) (回帰, 分散) いずれもローカル値の総和 Ø 提案：これらへAirCompを適用

Slide 18

Slide 18 text

空中計算 (AirComp: Over-the-Air Computation) 18 • アナログ信号の重畳を活用した演算 • 合成信号に対しノモグラフィック関数に基づく変 復調を施すことで通信と演算を一括処理 Ø通信の低遅延化が可能 ノモグラフィック関数の例 • 算術平均 • 加重平均 • 𝑝-ノルム • 幾何平均 (近似) A. Sahin et al., “A Survey on OAC,” IEEE COMST, Apr. 2023. 送信側 受信側

Slide 19

Slide 19 text

信号モデル (学習/回帰ステップ共通) 19 ℎ( フェージング係数 ̅ 𝛾( 平均通信路利得 𝐬𝒊 メッセージベクトル 𝐱𝒊 送信信号ベクトル 𝑃*+, 最大送信電力 (≥ ||𝐱𝒊 ||- -) 𝐲 受信信号ベクトル 𝐳 AWGNベクトル ... Result of local training or regression ノード側 BS側 完全CSI 統計CSI BSからのブロードキャスト信号から推定 𝑀台分の通信スロットが必要 BS Nodes 仮定 • ダウンリンクは誤りなし ・時間同期は正確 • ダウンリンク-アップリンク間でチャネルの双対性 ・チャネル状態情報(CSI)は完全 or 統計

Slide 20

Slide 20 text

AirComp GPR (学習ステップ) 20 Step1: パラメータ𝜽($)と𝜌($) をブロードキャスト 電力制御用の係数 Step5: 𝜽($&') ← 𝜽($) BS Nodes Step3: 全ノード一斉送信 完全CSIにおける受信信号： • マルチスタートを伴うNelder-Mead法による繰り返し演算を考える Ø微分フリーの発見的手法 (アップリンクは対数尤度のみ) Step2: 変調 I Q I Q I Q 統計CSI 完全CSI Ø 位相&振幅 とも補償 Ø 位相のみ 補償 Step4: 復調 完全CSIの場合： 通信コスト Full GPR ∝観測データ数 D-GPR (digital) ∝ノード数 提案 一定

Slide 21

Slide 21 text

AirComp GPR (回帰ステップ) 21 Step1: 電力制御用パラメータ𝜌($) の送信 Step3: 全ノード一斉送信 Step4: 復調 • 平均と分散それぞれの計算のため、2スロットを用意 • AirCompの手順自体は学習ステップと同様 Step2: 変調 Slot 1: 分散ベクトル推定用のメッセージ Slot 2: 平均ベクトル推定用のメッセージ ※本稿では学習ステップのCSI条件によらず完全CSIのみ仮定 (多くの場合𝑛./0. ≫ 𝑀でチャネル推定のオーバヘッドは無視できるだろうとの理由より)

Slide 22

Slide 22 text

[補足] 電力制御、変復調 (完全CSI) 22 [ノード] 対数尤度からの送信信号生成 [BS] 電力制御 (全ノード共通、瞬時SNRが最小のノードが最大電力で送信するよう) [BS] 受信信号 [BS] 復調処理 対数尤度1つをアップロードするため、 ノルム1つをシェアする必要 位相&振幅双方を補償

Slide 23

Slide 23 text

[補足] クリッピングによるメッセージ生成例 (統計CSI) 23 1 2 (𝐿"#$ − 𝐿"%& ) 1 2 (𝐿"#$ − 𝐿"%& ) • 完全CSI: 電力制御のため、各端末のメッセー ジの𝐿- ノルムを都度集める必要あり • 統計CSI: ローカルの対数尤度を[𝐿*12, 𝐿*+,]で クリップ Ø最大振幅を± ' - (𝐿*+, − 𝐿*12)で抑える

Slide 24

Slide 24 text

[補足] 電力制御、変復調 (完全/統計CSI) 24 ノード: 対数尤度からの送信信号生成 BS: 送信電力制御 BS: 受信信号 BS: 復調処理 最初に1回のみ最大振幅に合わせる 位相のみ補償 振幅の影響は残る 𝐶: 不偏推定用の係数 完全CSI 統計CSI

Slide 25

Slide 25 text

[補足] 係数𝐶の決め方 25 • (ノイズが十分小さいものとして)以下を満たすよう設計 (フェージングと対数尤度が互いに独立であるため) • 以上を踏まえ、以下のように設計すればOK ※対数尤度最大化をするだけであれば、係数の除算はなくても問題ナシ

Slide 26

Slide 26 text

動作例 26 0 25 50 75 100 125 150 175 200 x °2 °1 0 1 f(x) Node 1 Node 2 Node 3 Node 4 AirComp 0 25 50 75 100 125 150 175 200 x °2 °1 0 1 f(x) Training data µpoe(x) µpoe(x) ± 1.96æpoe(x) ノード数4台、総データ数128、ノイズレス、1入力1出力 • “自信のない”領域：無難な値(平均値付近)を出力する傾向 Ø分散も高く見積もられる

Slide 27

Slide 27 text

学習に要する計算時間特性 27 25 26 27 28 29 210 Number of Data N 10°2 10°1 100 101 102 Average Training Time on A Node [s] AirComp GPR (M =4) AirComp GPR (M =8) AirComp GPR (M =16) Full GPR • 通信遅延ゼロと仮定 • ノード1台あたりの平均学習時間を評価 (1物理コア/1ノード) • AMD Ryzen 9 5950X, Ubuntu 20.04LTS, Python 3.9.12, numpy 1.21.5 高速化

Slide 28

Slide 28 text

28 • 電波マップ構築への応用 • 特性評価

Slide 29

Slide 29 text

電波マップ (Radio Map) 29 • 場所ごとの平均受信電力を可視化したマップ • 実測+空間内挿で高精度な構築 GPRの前提と平均受信電力との対応 : シャドウイング : 距離減衰係数 各ノードの流れ 1. 最小二乗法で長区間変動成分を推定&シャドウイング成分を抽出 2. シャドウイングに対しカーネルを学習 3. GPRと長区間変動成分の和をサーバへ送信 未観測領域の内挿

Slide 30

Slide 30 text

1D電波マップ構築における動作例 (完全CSI) 30 • 4ノード、128サンプルを例に 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) 600 800 1000 °100 °80 °60 Path Loss 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Signal Power[dBm] Node 3 GPR Sample 0 200 400 600 800 1000 x [m] °100 °75 °50 °25 0 Node 4 GPR Sample 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] Ground Truth 0 200 400 600 800 1000 °100 °80 °60 Full GPR 0 200 400 600 800 1000 °100 °80 °60 Signal Power[dBm] AirComp GPR (Perfect CSI) 600 800 1000 °100 °80 °60 Path Loss 0 200 400 600 800 1000 °100 °75 °50 °25 0 Signal Power[dBm] Node 1 GPR Sample 0 200 400 600 800 1000 °100 °75 °50 °25 0 Node 2 GPR Sample cv ローカルの回帰結果 • 距離減衰係数: 3 • シャドウイングの標準偏差: 8.0 [dB] • シャドウイングの相関距離: 100 [m]

Slide 31

Slide 31 text

RMSE特性 31 • 4ノードで電波マップを構築した例 • 1000mの線上での観測→テストデータへのRMSE評価を1000回繰り返した後の中央値を評価 25 26 27 28 29 210 Number of Data N 1 2 3 4 5 6 7 RMSE [dB] Perfect Path Loss Estimation AirComp GPR (Statistical CSI) AirComp GPR (Perfect CSI) Ideal DGPR-PoEs Full GPR D-GPR (通信エラーなし) 振幅変動起因 AWGN起因 BS側での厳密GPR 変数名 値 平均減衰量 -50[dB] 最大送信電力 10[dBm] ノイズフロア -90[dBm]

Slide 32

Slide 32 text

平均通信路利得のRMSEへの影響 32 4ノード、128サンプル、ノード間で平均SNR一定 °80 °70 °60 °50 °40 °30 °20 °10 0 Average Channel Gain 10 log10 ∞i [dB] 0 2 4 6 8 10 12 14 RMSE [dB] Full GPR Perfect Path Loss Estimation AirComp GPR (Statistical CSI) AirComp GPR (Perfect CSI) Ideal DGPR-PoEs 変数名 値 最大送信電力 10[dBm] ノイズフロア -90[dBm] カーネル 指数カーネル

Slide 33

Slide 33 text

ノード台数の影響 33 22 23 24 25 Number of Nodes M 0 1 2 3 4 5 6 7 RMSE [dB] Perfect Path Loss Estimation Full GPR AirComp GPR (Statistical CSI) AirComp GPR (Perfect CSI) Ideal DGPR-PoEs 22 23 24 25 Number of Nodes M 0 1 2 3 4 5 6 7 RMSE [dB] Perfect Path Loss Estimation Full GPR AirComp GPR (Statistical CSI) AirComp GPR (Perfect CSI) Ideal DGPR-PoEs (b) データ数128 (a) データ数512 近似によるギャップ

Slide 34

Slide 34 text

34 余談…

Slide 35

Slide 35 text

D-GPR or FL? 35 通信パラメータ数 (学習ステップ) 通信パラメータ数 (回帰ステップ) 精度 NN with FL (FedAvg) 103〜 ゼロ ○-◎ D-GPR 100〜102 (推定地点数に依存) △-○ (カーネル次第) 出力一次元の回帰を例に • D-GPR: 少数のハイパーパラメータ+学習データで回帰 指数カーネル Matern 3/2カーネル Øいずれもパラメータ数2 • 環境モニタリングなどであれば精度側のデメリット以上に低遅延性のメリットが効いてくる？

Slide 36

Slide 36 text

NNの統合による分散GPRの高精度化への期待 36 • GPRで不足する領域を軽量なニューラルネット等で補おうという検討も複数 ØD-GPRとFedAvgのハイブリッドで低遅延-高精度を両立？ カーネルへの入力をNNで表現 (DKL: Deep Kernel Learning) A. Wilson et al., “Deep Kernel Learning,” AISTATS2016. NNの出力

Slide 37

Slide 37 text

NNの統合による分散GPRの高精度化への期待 37 • GPRで不足する領域を軽量なニューラルネット等で補おうという検討も複数 ØD-GPRとFedAvgのハイブリッドで低遅延-高精度を両立？ 前処理の回帰分析をNNで実施 (NNRK: Neural Network Residual Kriging) • M. Kanevsky et al., "Artificial neural networks and spatial estimation of Chernobyl fallout", Geoinformatics, 1996. • K. Sato et al., “On the Performance of NNRK in Radio Environment Mapping,” IEEE Access, 2019. • 観測座標と観測値を入出力とした非線形回帰 • 外部データでのpre-trainingは不要 観測座標 観測値

Slide 38

Slide 38 text

おわりに 38 本発表内容 • 分散GPRへの空中計算の導入法を提案 Ø通信コストがノード&データ数に非依存 Ø精度はSNR依存 • 電波マップ構築タスクを対象に評価 Ø従来方式と比較して高精度 ØGPR関連と比較すると改善の余地 今後の方針 • AirComp GPR VS AirComp federated edge learning • カーネルのオンラインアップデートへの対応 • 雑音耐性の改善 • 統計CSIにおける精度改善