[チュートリアル] ガウス過程に基づく確率推論とその応用例

日時：2023年11月6日(月)
場所：第38回信号処理シンポジウム@京都
https://award-con.com/sips2023/special/
発表者：佐藤光哉@電気通信大学

チュートリアルセッション「通信のための確率推論の最前線」での発表資料です。
当日の資料をベースに一部修正・削除しました。

また、本資料内の誤植等は気付き次第修正します。

Transcript

1. ガウス過程に基づく確率推論とその応用例 2023年11月6日(月) IEICE 信号処理シンポジウム@京都 佐藤光哉 電気通信大学 人工知能先端研究センター E-mail: k_sato@aix.uec.ac.jp ※本資料は当日の講演資料の一部を修正・削除したものである
2. ここで取り扱う観測モデル 2 先2件の発表 • 線形観測モデル(パラメトリック) 本発表 • 形状を明示的に仮定しない (ノンパラメトリック) Øかつ形状がガウス過程に従う場合にどう扱うか 0.0 0.2 0.4 0.6 0.8 1.0 x °1.00 °0.75 °0.50 °0.25 0.00 0.25 0.50 0.75 1.00 y
3. GPの入門に向けたおすすめの書籍 3 • C. E. Rasmussen and C. K. I. Williams, Gaussian Processes for Machine Learning, The MIT Press, 2006. • 持橋大地, 大羽成征, ガウス過程と機械学習, 講談社サイエンティフィク 機械学習プロ フェッショナルシリーズ, 2019年 • 今井秀明, 松井孝太, ベイズ最適化 -適応的実験計画の基礎と実践-, 近代科学社, 2023年 • まずは以下3冊 Ø本講演内容の多くもこれらを参考にした内容となります
4. 目次 4 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化とその無線応用 (※一部削除) 5. おまけ: GPRを魔改造しよう 6. おわりに
5. 目次 5 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化とその通信応用 5. おまけ: GPRを魔改造しよう 6. おわりに
6. ガウス過程とは 6 どんな𝑁個の入力の集合 についても、対応する出力 の同時分布 が多変量ガウス分布に従うとき、 𝐱と𝐲の関係はガウス過程 (GP: Gaussian Process)に従う 定義 • 持橋大地, 大羽成征, ガウス過程と機械学習, 講談社サイエンティフィク 機械学習プロフェッショナルシリーズ, 2019年 多変量ガウス分布の確率密度関数 (PDF: Probability Density Function) 平均ベクトル: 共分散:
7. ガウス過程とは 7 共分散が指数カーネルに従う場合 • ある入力点だけ見れば1次元ガウス分布 • 複数の入力点間で、共分散の強弱に応じた拘束 (近い点ほど似た値) • “過程”とあるが時系列データに限らない Ø空間, ハイパーパラメータなどもOK Øこれらが混在していてもOK 0.0 0.2 0.4 0.6 0.8 1.0 x °1.00 °0.75 °0.50 °0.25 0.00 0.25 0.50 0.75 1.00 y
8. ガウス過程とは：極端な例 8 各サンプルが互いに独立な標準ガウス分布に従う場合、 共分散行列は𝑁×𝑁の単位行列なので、 • 多変量ガウス分布のPDFは1次元の標準ガウス分布の積で表現 ØこれもGP 0.0 0.2 0.4 0.6 0.8 1.0 x °1.00 °0.75 °0.50 °0.25 0.00 0.25 0.50 0.75 1.00 y
9. GPと無線 屋外における典型的な平均受信電力モデル (dBm軸) • A. Goldsmith, Wireless Communications, Cambridge university press, 2005 シャドウイングの性質 • 構造物による遮蔽により生じる • 対数正規分布 Ø変数W が正規分布 • 数m-数十m程度で緩やかに変動 : シャドウイング : 距離減衰係数
10. GPと無線 • 平均受信電力に空間相関 • シャドウイングは各点で対数正規分布 Ø受信電力のdB (or dBm)値が空間軸でガウス過程に従いそう 都市環境(九段下)における携帯電話基地局の受信電力の例 Ø2115MHz、無変調信号、フェージング平均化済み 1.46km 0.96km • K. Sato et al., “Space-Frequency-Interpolated Radio Map,” IEEE Trans. Veh. Technol., vol.70, no.1, pp.714-725, Jan. 2021.
11. GPと無線：シャドウイング相関の発見 11 • M. Gudmundson, “Correlation model for shadow fading in mobile radio systems, ” Electron. Lett., vol. 27, no. 7, pp. 2145–2146, Nov. 1991. 実測値 フィッティング曲線 Urban, 900MHz 2地点間のシャドウイング相関が次 式で表現できることを言及: 相関距離 (相関0.5となる距離) • 注意 Ø相関をdB軸で評価している点 Øあくまで実験式である点 (その後の再現多数)
12. GPと無線：GPと平均受信電力の対応 12 GPにおける観測モデル 共分散関数 要するに、受信電力のdBm値が受信座標上でガウス過程 対応
13. GPと無線：通信路容量とのつながり 13 SNR (Signal-to-Noise Ratio)が十分高いときの通信路容量 定数 定数 平均雑音電力[dBm/Hz] 通信路容量も面的に(ほぼ)GP！→エルゴード容量の解析が楽になることも • K. Sato et al., "Modeling the Kriging-Aided Spatial Spectrum Sharing over Log-Normal Channels," IEEE Wireless Commun. Lett., vol.8, no.3, pp.749-752, June 2019.
14. GPと無線：Sum of Sinusoids 14 特性の異なる複数の正弦波の和 • 振幅は各点で(中心極限定理により)ガウス分布 • 入力軸上で相関 • X.Cai and G. B. Giannakis, "A two-dimensional channel simulation model for shadowing processes," IEEE Trans. Veh. Technol., vol. 52, no. 6, pp. 1558-1567, Nov. 2003. 0.0 0.2 0.4 0.6 0.8 1.0 x °3 °2 °1 0 1 2 3 y Sum of Sinusoids この点に着目した低演算量な空間相関シャドウイングの生成法も GPでモデル化可
15. 目次 15 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化とその通信応用 5. おまけ: GPRを魔改造しよう 6. おわりに
16. ガウス過程回帰 (GPR: Gaussian Process Regression) 16 前提 簡単のため以下を仮定 • 観測対象はゼロ平均 • ノイズレス • カーネル関数中のハイパーパラメータは調整済み やりたいこと 任意の入力点𝐱∗ における出力の確率分布 データセット ： 観測モデル ： 推定対象の分布 ： 0.0 0.2 0.4 0.6 0.8 1.0 x °1.00 °0.75 °0.50 °0.25 0.00 0.25 0.50 0.75 1.00 y の予測 (具体的には平均と分散)
17. ガウス過程回帰 (GPR: Gaussian Process Regression) 17 データセット内の出力に推定対象を加えたベクトルとその同時分布: ベクトル𝐲が与えられた際の条件付き確率を求める 行列表記 ただし
18. ガウス過程回帰 (GPR: Gaussian Process Regression) 18 平均 分散 ガウス過程の予測分布 (ゼロ平均) この性質より以下が得られる データセット内の出力に推定対象を加えたベクトルとその同時分布: ベクトル𝐲が与えられた際の条件付き確率を求める NOTE: 2つの観測ベクトル𝐲", 𝐲𝟐 に以下の関係があるとき、 ベクトル𝐲𝟐 の条件付き確率は次式のように導出できる：
19. GPR (雑音を考慮した場合) 19 観測モデルと観測ベクトルの分布 カーネル関数を とし、前述の予測モデルを使用すればよい 条件付き確率の 連鎖律 独立なガウス分布 の畳み込み ガウス過程の予測分布 (ゼロ平均, 雑音あり)
20. GPRの動作例 20 • GPyTorch Regression Tutorial, https://docs.gpytorch.ai/en/stable/examples/01_Exact_GPs/Simple_GP_Regression.html 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y y(x) = sin(2ºx) Observed Data Mean (Est.) Mean (True) Confidence • 観測対象のノイズを加味した不確定性の見積もりが可能 • データが少ない領域は”広く”見積もる Ø自信のなさを素直に示してくれる扱いやすさ 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y y(x) = sin(2ºx) + ≤ Observed Data Mean (Est.) Mean (True) Confidence
21. GPRの動作例 (観測データ更新の影響) 21 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y N = 4 Observed Data Mean (Est.) Mean (True) Confidence 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y N = 8 Observed Data Mean (Est.) Mean (True) Confidence 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y N = 16 Observed Data Mean (Est.) Mean (True) Confidence • サンプルの増加に従い”自信のなさ”が解消 Ø少サンプルの場合も想定した信頼区間が真の特性を概ねカバー Ø基地局間の干渉管理等で大きな効果(後述) ※カーネル中のハイパーパラメータはデータ追加の都度再学習
22. NOTE: 空間統計とのつながり 22 • N. Cressie, Statistics for Spatial Data, John Wiley & Sons, Inc. Wiley Series in Probability and Statistics, 1993 入力次元を2-3次元とし、観測結果への加重平均による空間内挿を考える 例えば常クリギングでは以下の最適化問題を解くことで重み係数を決定 • 結果的にGPRと同等 • 互いに独立な進化を遂げてきたため、言葉遣いや変数定義が異なる ØGPR ⇔ Kriging Øカーネル関数 ⇔ セミバリオグラム (時々GPRとクリギングを戦わせている論文を見かけるが…)
23. NOTE: カーネル関数の例 23 複数組み合わせることも可 カーネル名 Linear Kernel Radial Basis Function (RBF) Kernel Cosine Kernel スケールさせることも可 (共分散の幅の調整)
24. NOTE: カーネル関数のチューニング 24 カーネル関数の例と各パラメータの直感的な解釈 定点での𝑓(𝐱)の分散 2地点の距離に対する 相関の減少の緩やかさ 雑音の分散 共分散行列がカーネル関数依存であることを考慮した 観測データの尤度関数 (ゼロ平均)： Ø GPRの精度を得るためには観測データに基づいた調整が不可欠
25. NOTE: カーネル関数のチューニング 25 最適化アルゴリズムの例 • 勾配ベース：Gradient Descent, Adam, L-BFGS など • ブラックボックス最適化：Nelder-Mead Simplex など ただし素朴な最尤推定は以下の問題 • 目的関数が多峰性 Ø対策例：最適化を複数回繰り返すなど • 逆行列演算を伴い演算コスト高 (𝑂(𝑁$)) Ø対策例：近似を伴った分散処理 (Product of Experts, 部分データ法 他) 対数尤度 (ゼロ平均)： Ø GPRの実施に先立ち最尤推定すればよい
26. 目次 26 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化とその通信応用 5. おまけ: GPRを魔改造しよう 6. おわりに
27. 電波マップ構築 (Radio Map Construction) 27 • 場所ごとの平均受信電力を可視化したもの • オペレータ側に持たせておくことで通信を適応化 • 屋外では、平均受信電力の対数値に対しGPRを適用することで最適精度 クラウド 送信局 位置: (xi , yi ) 受信電力: Pi 位置: (xk , yk ) 受信電力: Pk 位置: (xj , yj ) 受信電力: Pj 観測ノード 5G 5G 5G 内挿結果 観測結果 ・ガウス過程回帰 ・ニューラルネット 等により空間内挿 平均受信電力 電波マップ 共分散関数
28. 20 40 60 80 100 x [m] °70 °60 °50 °40 °30 °20 Received Signal Power [dBm] Observation Grid Averaged (ideal) 電波マップ構築 (Radio Map Construction) 28 • 実際の端末側での観測値にはマルチパスフェージングの影響が残る Øエリアをグリッドごとに区切り瞬時値のグリッド平均を取ればよい • 平均化後の受信電力値群を観測データとみなしGPRを適用する • グリッドサイズ𝐿は、相関距離に対し𝐿 ≤ 𝑑%&' であることが重要 Ø例えば屋外都市部では相関距離数十m程度なので、数m-10m程度 GPRに使用
29. 電波マップ構築 (Radio Map Construction) 29 • デモコード (Kriging): https://github.com/ksatolab-uec/radiomap-construction
30. 電波マップ連携によるSIR制約型周波数共用設計 30 • GPRの利点：受信電力推定における不確定性の見積もりが可能 • [SIR制約] K. Sato and T. Fujii, "Kriging-Based Interference Power Constraint: Integrated Design of the Radio Environment Map and Transmission Power," IEEE Trans. Cogn. Commun. Netw., vol. 3, no. 1, pp. 13-25, March 2017. • [SNRアウテージ制約を満たすレート設計] T. Kallehauge, A. E. Kalør, P. Ramírez-Espinosa, M. Guillaud and P. Popovski, "Delivering Ultra-Reliable Low-Latency Communications via Statistical Radio Maps," IEEE Wireless Commun., vol. 30, no. 2, pp. 14-20, April 2023. 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y y(x) = sin(2ºx) + ≤ Observed Data Mean (Est.) Mean (True) Confidence この幅に着目した ØSIRアウテージ制約 ØSNRアウテージ制約 の満足などが可能
31. 周波数共用モデルの概要 • PU-Tx1台とSU-Tx複数台の周波数共用 • SU-Txは最寄りのPUの保護エリア端に存在するPUへの干渉量を考慮 • 保護対象となるエリアの周辺で受信電力を事前観測 x0 xi 電波観測エリア PUの保護エリア 観測地点 SUs I dS [m] PU xP P(x0 ) P(x0 ) 所望電⼒ I ⼲渉電⼒ dS [m] PU-SUs間の距離 SU側に対する仮定 • SUの台数は既知(位置は未知) • パスロス係数やシャドウイングの分布は既知 • 最終的な合成⼲渉電⼒は未知 31
32. NOTE: システムモデルの詳細 SUは全端末等電力で通信するものと仮定 所望信号電力 合成干渉信号電力 送信電力 シャドウイング パスロス 保護規範 SIR 所望SIR 保護確率 送信電力 パスロス シャドウイング (※) 以上の条件のもとSUの送信電力PS,Tx の最大化を目指す 既知情報 設計対象 32
33. 電波マップの誤差分布に基づくSIR制約型送信電力設計 NOTE: シャドウイング環境での合成干渉電力は対数正規分布で近似可 Ø I を中央値 I [dBm], 標準偏差σsum [dB]のガウス分布でモデル化 SIRの分布 ・中央値 ・標準偏差σk 誤差項 ・中央値 のガウス分布と予測できる ・標準偏差 • A. Molisch, Wireless Communications, John Wiley & Sons, 2012. • S. S. Szyszkowicz and H. Yanikomeroglu, “A simple approximation of the aggregate interference from a cluster of many interferers with correlated shadowing, ” IEEE Trans. Wireless Commun., vol.13, no.8, pp.4415-4423, Aug. 2014. 最大許容送信電力 ・予測したSIRのCDFの形状 ・ を考慮すると 合成干渉電力の 平均伝搬損 干渉電力の不確定性 電波マップの不確定性 33
34. 観測地点の数に対するSIRアウテージ特性 誤差予測を用いない場合 提案手法 所望アウテージ確率 34 • 観測地点の増加に従い設計値に漸近 • ただし設計値を若干上回る(電波マップの誤差予測にも誤差が乗るため)
35. 観測地点の数に対するSUの平均許容送信電力 35 • 電波マップの質改善に伴い送信可能電力も増大 電波マップ(誤差なし) 提案手法 距離減衰のみ推定できる場合
36. 目次 36 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化とその通信応用 (※一部削除) 5. おまけ: GPRを魔改造しよう 6. おわりに
37. 適応的実験計画 37 以下のような状況で最適化したい例は多い • 目的関数の性質が未知 (ブラックボックス) • 目的関数の1入力ごとの計算コストが重過ぎる Ø例：深層学習におけるハイパーパラメータ Ø例：各種製造(製品設計、材料設計) • この場合、多くの場合以下のようなサイクルを回すことになる 仮説 計画 実験 検証 コスト高 • このサイクルをデータ駆動で追い込む方法が適応的実験計画 Øそのフレームワークがベイズ最適化で、GPRにより実現できる
38. ベイズ最適化による適応的実験計画 38 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y y(x) = sin(2ºx) + ≤ Observed Data Mean (Est.) Mean (True) Confidence 探索対象となるパラメータ𝐱 目的関数 手持ちの実験結果とGPR等で推定したパラメータ間の関係から以下を探索
39. ベイズ最適化による適応的実験計画 (1/3) 39 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y Observed Data Mean (Est.) Confidence 何点かで実験しデータセットを構築 目的関数の統計モデルを更新: ターゲット
40. ベイズ最適化による適応的実験計画 (2/3) 40 獲得関数: 入力点の”良さ”を確率分布に基づいて定量評価 (後述) 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y Observed Data Mean (Est.) Confidence Acquisition Function Next Sampling Point 獲得関数を最大化する候補点を選ぶ ターゲット
41. 0.0 0.2 0.4 0.6 0.8 1.0 x °2.0 °1.5 °1.0 °0.5 0.0 0.5 1.0 1.5 2.0 y Observed Data Mean (Est.) Confidence Acquisition Function Next Sampling Point Next Experimental Result ベイズ最適化による適応的実験計画 (3/3) 41 データセットを更新 以上を繰り返す ターゲット
42. NOTE: 獲得関数あれこれ 42 改善確率量 (PI: Probability of Improvement) • 改善される確率が最も高い点の選択 Ø改善度の大小は問わない 期待改善量 (EI: Expected Improvement) • 改善量の期待値が最大化される点の選択 信頼上限 (UCB: Upper Confidence Bound) それまでの時点での最高値 • PI, EIとも平均と分散から解析的に計算できる(詳細省略) • PIは消極的な選択になりがち
43. 探索の動作例 (1/4) 43 ターゲット 獲得関数 UCB • 良さそうな入力点の選択 (活用)と他領域の探索を実施 Ø探索と活用のバランスは獲得関数の設計に応じて異なる
44. 探索の動作例 (2/4) 44 ターゲット 獲得関数 UCB • 良さそうな入力点の選択 (活用)と他領域の探索を実施 Ø探索と活用のバランスは獲得関数の設計に応じて異なる
45. 探索の動作例 (3/4) 45 ターゲット 獲得関数 UCB • 良さそうな入力点の選択 (活用)と他領域の探索を実施 Ø探索と活用のバランスは獲得関数の設計に応じて異なる
46. 探索の動作例 (4/4) 46 ターゲット 獲得関数 UCB • 良さそうな入力点の選択 (活用)と他領域の探索を実施 Ø探索と活用のバランスは獲得関数の設計に応じて異なる
47. 目次 47 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化による送信局配置/電力設計の事前設計 5. おまけ: GPRを魔改造しよう 6. おわりに
48. GPRの弱点の例と派生課題 48 弱点1: 仮定とデータ間にズレが生じた場合の性能劣化 近似、魔改造しよう ゼロ平均、サンプル平均、直線など (電波伝搬においては距離減衰) 指数, RBFなど 弱点2: 逆行列演算に伴う高い演算量 • 対数尤度 (ゼロ平均) • ガウス過程の予測分布 (ゼロ平均)
49. 平均値予測への機械学習の導入 49 前処理でGPRの対象となるデータのゼロ平均への変換が重要 • 前処理の回帰分析をニューラルネットで実施することで精度向上 (NNRK: Neural Network Residual Kriging) • M. Kanevsky et al., "Artificial neural networks and spatial estimation of Chernobyl fallout", Geoinformatics, 1996. • K. Sato et al., “On the Performance of NNRK in Radio Environment Mapping,” IEEE Access, 2019. • 観測座標と観測値を入出力とした非線形回帰 • 外部データでのpre-trainingは不要
50. カーネル関数への機械学習の導入 50 カーネルへの入力をNNで表現 (DKL: Deep Kernel Learning) • A. Wilson et al., “Deep Kernel Learning,” AISTATS2016. NNの出力
51. Product of Expertsに基づく分散GPR 51 分割した部分データ(ローカルデータ)が互いに独立であると仮定し、 各計算をローカルの計算値の和で近似 • M. Deisenroth and J. Ng, “Distributed Gaussian Processes,” ICML2015. 学習ステップ ローカルデータに対する対数尤度 回帰ステップ (対数領域) ローカルデータに対する Full GPRの結果 (平均) (分散) 他の近似・高速化手法: 補助変数法、変分ベイズ法、KISS-GP法、Mixture of Experts, などなど
52. Product of Experts (学習ステップ) 52 ローカルデータセットが互いに独立であると仮定し、各計算をローカルの 計算値の和で近似 ノード1台の 計算複雑性 Full GPR 𝑂(𝑁!) D-GPR 𝑂 % 𝑁 𝑀 ! 1 𝑀 ! Step1: パラメータ𝜽())を配布 Step2: ローカルの対数尤度 を計算 Step4: ローカル値を加算 Step5: 𝜽()+")へ更新 • 高速化だけでなく、分散端末が持ち 寄ったデータの活用にも効果 • 空中計算の組み合わせも可能 • K. Sato, “Over-the-Air Gaussian Process Regression Based on Product-of-Experts,” IEEE GC Workshops, Dec. 2022.
53. 目次 53 1. ガウス過程 (GP: Gaussian Process)とは 2. 無線通信システムとGP -こんなところにGP- 3. ガウス過程回帰 (GPR: Gaussian Process Regression) 4. 無線通信システムにおけるGPR応用の具体例 Ø 電波マップ構築 (Radio Map Construction) Ø ベイズ最適化による送信局配置/電力設計の事前設計 5. おまけ: GPRを魔改造しよう 6. おわりに
54. GP関連ライブラリ: GPyTorch 54 • PyTorchベースで実装されたGP用ライブラリ ØGPU併用やニューラルネットの統合、自動微分など利用可 Øドキュメントが優秀で、ここを読むだけで具体設計の参考になる • J. R. Gardner et al., “GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration,” NeurIPS 2018. • https://gpytorch.ai/
55. GP関連ライブラリ: Optuna 55 • Preferred Networks社によるハイパーパラメータの自動最適化フレーム ワーク ØBoTorch (ベイズ最適化フレームワーク)のラッパーが実装済みで、 Optuna上からGPを活用できる Ø結果の可視化や記録、並列化といった機能も充実 • Optuna: https://optuna.org/ • Toshihiko Yanase, Optunaで始めるハイパーパラメータ最適化, 2023. URL: https://tech.preferred.jp/ja/blog/an-introduction-to-hyperparameter-optimization-with-optuna-ieice/ • BoTorch: https://botorch.org/
56. まとめ 56 ガウス過程(GP)について概説した • GPの概要と無線とのつながり • GPRの通信応用例 GPに基づく設計のメリット • ノンパラメトリックで動作 • 不確定性の見積もりが容易 • (ここでは触れなかったが)ガウス分布に関する数学的知見・資産多数 問い合わせ先 • 佐藤 光哉 (電気通信大学 助教) • E-Mail: k_sato@aix.uec.ac.jp • X (Twitter): @ksato0122