分散学習における通信コスト削減のための最適化 (IBIS 2026 企画セッション「最適化の理論と実践の最前線」)

https://ibisml.org/ibis2026/os/

1. 分散学習における通信コスト削減のための最適化 竹澤祐貴 @IBIS 2026 1
2. 分散学習 データを一カ所に集める必要がなく、プライバシーを守れる 通常の学習 全てのデータ 2 分散学習 モデルのパラメータを 通信
3. 分散学習（Distributed Learning） 連合学習 Federated Learning … 3 分散学習 Decentralized Learning
4. 分散学習 連合学習 分散学習 … ◼ 4 グラフが完全グラフのとき、分散学習は連合学習と一致する
5. 問題設定 𝑛 argmin𝒙 1 𝑓 𝒙 ≔ ෍ 𝑓𝑖 𝒙 𝑛 𝑖=1 … 𝑓1 5 𝑓2 𝑓𝑛−1 𝑓𝑛
6. 仮定 仮定１（凸関数） 𝑓𝑖 は凸関数 仮定２（平滑関数） ∇𝑓𝑖 𝒙 − ∇𝑓𝑖 𝒚 ≤𝐿 𝒙−𝒚 「良い」分散学習手法： 6 ◼ 通信は勾配の計算よりも時間がかかる ◼ 通信回数が少なくて良い手法が「良い」
7. Federated Averaging (FedAvg) 𝒙(𝑟) 7
8. Federated Averaging (FedAvg) (𝑟+1) 𝒙𝑖 = 𝒙(𝑟) − 𝜂∇𝑓𝑖 8 𝒙(𝑟)
9. Federated Averaging (FedAvg) 𝑛 (𝑟+1) 𝒙 𝒙𝑖 𝑟+1 1 (𝑟+1) = ෍ 𝒙𝑖 𝑛 𝑖=1 (𝑟+1) 𝒙𝑖 = 𝒙(𝑟) − 𝜂∇𝑓𝑖 9 𝒙(𝑟)
10. Federated Averaging (FedAvg) 仮定１（凸関数） 𝑓𝑖 は凸関数 仮定２（平滑関数） ∇𝑓𝑖 𝒙 − ∇𝑓𝑖 𝒚 ≤𝐿 𝒙−𝒚 定理（FedAvg） 𝑅 𝐿 1 (𝑟) ⋆ −𝑓 𝒙 ≤𝑂 ෍𝑓 𝒙 𝑅 𝑟=1 𝒙0 2 ⋆ −𝒙 𝑅 ◼ 通信回数 𝑹 を大きくすると最適値に収束する ◼ より通信回数 𝑹 を減らすためにはどうしたらよいか？ 10
11. ローカルステップ (𝑟+1) 𝒙𝑖 = 𝒙(𝑟) − 𝜂∇𝑓𝑖 11 𝒙(𝑟)
12. ローカルステップ For 𝑘 = 1,2, … , 𝐾 (𝑟,𝑘+1) 𝑟,𝑘 𝒙𝑖 = 𝒙𝑖 12 − 𝜂∇𝑓𝑖 𝒙𝑖 𝑟,𝑘
13. ローカルステップ 定理（ローカルステップ付きFedAvg） 任意のK に対して 𝑅 𝐾 0 ⋆ 2 𝐿 𝒙 −𝒙 1 (𝑟,𝑘) ⋆ ഥ −𝑓 𝒙 ≤𝑂 ෍෍𝑓 𝒙 𝑅𝐾 𝑅 𝑟=1 𝑘=1 ◼ ローカルステップ数 𝐾 に依存しない ローカルステップを増やしても、通信回数は減らない！ ◼ 13 むしろ、無駄な勾配の計算の分悪化している…
14. ローカルステップ For 𝑘 = 1,2, … , ∞ (𝑟,𝑘+1) 𝒙𝑖 ◼ 14 サーバは、min 𝑓𝑖 𝒙 を解こうとしている 𝒙 = 𝒙𝑖 𝑟,𝑘 − 𝜂∇𝑓𝑖 𝒙𝑖 𝑟,𝑘
15. ローカルステップ 𝒙⋆𝑖 = argmin𝒙 𝑓𝑖 𝒙 15
16. ローカルステップ 𝑛 𝒙(𝑟+1) = 1 ෍ 𝒙⋆𝑖 𝑛 𝑖=1 𝒙𝑖⋆ 𝒙⋆𝑖 = argmin𝒙 𝑓𝑖 𝒙 16
17. ローカルステップ 𝑛 𝒙(𝑟+1) = 𝒙𝑖⋆ 𝑛 1 ෍ 𝒙⋆𝑖 𝑛 𝑖=1 1 ෍ 𝒙⋆𝑖 ≠ argmin𝐱 𝑓 𝒙 𝑛 𝑖=1 𝒙⋆𝑖 = argmin𝒙 𝑓𝑖 𝒙 17
18. ローカルステップ 𝑛 𝒙(𝑟+1) = 𝒙𝑖⋆ 𝑛 1 ෍ 𝒙⋆𝑖 𝑛 𝑖=1 1 ෍ 𝒙⋆𝑖 ≠ argmin𝐱 𝑓 𝒙 𝑛 𝑖=1 𝒙⋆𝑖 = argmin𝒙 𝑓𝑖 𝒙 ◼ 各サーバが最適化問題を解き切ると、最適値に収束しない ◼ 解いてはいけない問題を解こうとしている 18
19. ローカルステップ 定理（ローカルステップ付きFedAvg） 任意のK に対して、学習率 𝜂 = 𝑂 𝑅 𝐾 1 𝐾 とすると、 𝐿 1 (𝑟,𝑘) ⋆ ഥ −𝑓 𝒙 ≤𝑂 ෍෍𝑓 𝒙 𝑅𝐾 𝑟=1 𝑘=1 ◼ 19 𝒙0 2 ⋆ −𝒙 𝑅 学習率𝜂を小さくして min 𝑓𝑖 𝒙 を解き切らないようにしている 𝒙
20. Proximal Decentralized Optimization 20
21. Proximal Decentralized Optimization (PDO) 𝒙⋆𝑖 = argmin𝒙 𝑓𝑖 𝒙 𝒙⋆ = argmin𝒙 𝑓 𝒙 21
22. Proximal Decentralized Optimization (PDO) 𝑓 𝒙 = 𝑓𝑖 𝒙 + 𝑓 𝒙 − 𝑓𝑖 𝒙 最適化できる項 22 難しい項
23. Proximal Decentralized Optimization (PDO) 𝑓 𝒙 = 𝑓𝑖 𝒙 + 𝑓 𝒙 − 𝑓𝑖 𝒙 最適化できる項 難しい項 適当な点 𝒚 でテイラー展開で近似すると ≈ 𝑓𝑖 𝒙 𝜆 +𝑓 𝒚 − 𝑓𝑖 𝒚 + ∇𝑓 𝒚 − ∇𝑓𝑖 𝒚 , 𝒙 − 𝒚 + 𝒙 − 𝒚 2 2 23
24. Proximal Decentralized Optimization (PDO) 𝑓 𝒙 = 𝑓𝑖 𝒙 + 𝑓 𝒙 − 𝑓𝑖 𝒙 最適化できる項 難しい項 適当な点 𝒚 でテイラー展開で近似すると ≈ 𝑓𝑖 𝒙 𝜆 +𝑓 𝒚 − 𝑓𝑖 𝒚 + ∇𝑓 𝒚 − ∇𝑓𝑖 𝒚 , 𝒙 − 𝒚 + 𝒙 − 𝒚 2 2 最小化に関係ない項を取り除くと min 𝑓 𝒙 ≈ min 𝑓𝑖 𝒙 + ∇𝑓 𝒚 − ∇𝑓𝑖 𝒚 , 𝒙 𝒙 24 𝒙 𝜆 + 2 𝒙−𝒚 2
25. Proximal Decentralized Optimization (PDO) 𝒙(𝑟) , ∇𝑓 𝒙(𝑟) (𝑟+1) 𝒙𝑖 = argmin𝒙 𝑓𝑖 𝒙 + ∇𝑓 𝒙(𝑟) この部分問題は解いてよい 25 − ∇𝑓𝑖 𝒙(𝑟) , 𝒙 𝜆 + 𝒙−𝒙 𝑟 2 2
26. Proximal Decentralized Optimization (PDO) 𝒙(𝑟) 26
27. Proximal Decentralized Optimization（PDO） 𝑛 ∇𝑓 𝒙(𝑟) 1 = ෍ ∇𝑓𝑖 𝒙(𝑟) 𝑛 𝑖=1 𝛻𝑓𝑖 𝒙(𝑟) 27
28. Proximal Decentralized Optimization（PDO） 𝑛 ∇𝑓 𝒙(𝑟) 𝛻𝑓 𝒙(𝑟) 28 1 = ෍ ∇𝑓𝑖 𝒙(𝑟) 𝑛 𝑖=1
29. Proximal Decentralized Optimization（PDO） 𝒙𝑖 (𝑟+1) 𝒙𝑖 = argmin𝒙 𝑓𝑖 𝒙 + 𝑟+1 ∇𝑓 𝒙(𝒓) この部分問題は解いてよい 29 − ∇𝑓𝑖 𝒙(𝒓) , 𝒙 𝜆 + 𝒙−𝒙 𝑟 2 2
30. Proximal Decentralized Optimization（PDO） 𝑛 𝒙(𝑟+1) = 1 (𝑟+1) ෍ 𝒙𝑖 𝑛 𝑖=1 𝒙𝑖 (𝑟+1) 𝒙𝑖 = argmin𝒙 𝑓𝑖 𝒙 + 𝑟+1 ∇𝑓 𝒙(𝒓) この部分問題は解いてよい 30 − ∇𝑓𝑖 𝒙(𝒓) , 𝒙 𝜆 + 𝒙−𝒙 𝑟 2 2
31. データセットの類似度 データが似ている場合 31 データが全く異なる場合
32. データセットの類似度 データが全く同じ場合（𝑓𝑖 = 𝑓）： min 𝑓𝑖 𝒙 = min𝑓 𝒙 𝒙 32 𝒙 通信する必要ない！
33. データセットの類似度 データが全く異なる場合： 何度も通信が必要そう 33
34. データセットの類似度 データが似ている場合 データが全く異なる場合 データが似ている場合は通信回数を減らせそう 34
35. データセットの類似度 定義（類似度） ℎ𝑖 𝒙 ≔ 𝑓 𝒙 − 𝑓𝑖 𝒙 としたとき、 𝑛 1 ෍ ∇ℎ𝑖 𝒙 − ∇ℎ𝑖 𝒚 2 ≤ 𝛿 2 𝒙 − 𝒚 2 ⋯ (1) 𝑛 𝑖=1 ◼ 各サーバが同じ損失関数を持つとき、 ℎ𝑖 𝒙 = 0 ◼ ◼ 35 𝛿=0 各サーバが全く異なる損失関数を持つとき 𝛿≈𝐿 ※凸かつ𝐿-平滑関数は、式(1)を満たす 𝛿 ≤ 𝐿 が存在する
36. 収束解析 定理（PDO） 𝑅 0 ⋆ 2 𝒙0 2 ⋆ −𝒙 𝜹 𝒙 −𝒙 1 (𝑟) ⋆ −𝑓 𝒙 ≤𝑂 ෍𝑓 𝒙 𝑅 𝑅 𝑟=1 定理（FedAvg） 𝑅 𝐿 1 (𝑟) ⋆ −𝑓 𝒙 ≤𝑂 ෍𝑓 𝒙 𝑅 𝑟=1 ◼ 各サーバの損失関数が似ているとき、 𝛿≪𝐿 36 𝑅 通信回数が減らせる！
37. 数値実験 ◼ 37 各サーバのデータが似ているとき、通信回数を減らせる
38. Proximal Decentralized Optimization (PDO) データが全く同じ場合（𝑓𝑖 = 𝑓）： 0になる argmin𝒙 𝑓𝑖 𝒙 + ∇𝑓 𝒙(𝑟) − ∇𝑓𝑖 𝒙(𝑟) , 𝒙 𝜆 + 𝒙−𝒙 𝑟 2 ハイパラ 𝜆 = 0 とすれば、 38 argmin𝒙 𝑓 𝒙 通信は一度も必要ない 2
39. Proximal Decentralized Optimization (PDO) データが似ている場合（𝑓𝑖 ≈ 𝑓）： argmin𝒙 𝑓𝑖 𝒙 + ∇𝑓 𝒙(𝑟) − ∇𝑓𝑖 𝒙(𝑟) , 𝒙 𝜆 + 𝒙−𝒙 𝑟 2 これが良い以下の近似となる 39 ≈ argmin𝒙 𝑓 𝒙 通信が少し必要 2
40. 小まとめ ローカルステップ： ◼ 勾配法を複数回回す手法 ◼ 通信回数を減らせない Proximal Decentralized Optimization： ◼ 適切に部分問題を設計した手法 ◼ 各サーバのデータの類似度を利用して通信回数を削減 40
41. Decentralized Learning 41
42. 非中央集権のための拡張 ◼ 枝のあるサーバ間のみ通信可 ◼ 隣接行列 𝑾 ∈ 0,1 𝑛×𝑛 の 𝑊𝑖𝑗 > 0と なるペアのみ通信可 42
43. 非中央集権のための拡張 仮定 混合行列 𝑾 ∈ 0,1 𝑛×𝑛 は • 𝑾⊤ = 𝑾かつ𝑾𝟏 = 𝟏 • 以下を満たす𝜌 ∈ [0,1)が存在する 𝑛 2 𝑛 ഥ ෍ ෍ 𝑊𝑖𝑗 𝒙𝑗 − 𝒙 𝑖=1 43 𝑗=1 𝑛 ഥ 2 ≤ 𝜌 ෍ 𝒙𝑖 − 𝒙 𝑖=1 1 ◼ 左の例では、枝の重みは 3
44. 非中央集権のための拡張 𝑛 𝒙(𝑟+1) = 1 (𝑟+1) ෍ 𝒙𝑖 𝑛 𝑖=1 𝒙𝑖 (𝑟+1) 𝒙𝑖 = argmin𝒙 𝑓𝑖 𝒙 + 𝑟+1 ∇𝑓 𝒙(𝒓) 非中央集権では計算できない 44 − ∇𝑓𝑖 𝒙(𝒓) , 𝒙 𝜆 + 𝒙−𝒙 𝑟 2 2
45. Gossipアルゴリズム 連合学習： 𝑛 𝒙(𝑟+1) = 1 (𝑟+1) ෍ 𝒙𝑖 𝑛 𝑖=1 Gossipアルゴリズム： 𝑛 1 (𝑟+2) (𝑟+1) 𝒙𝑖 = ෍ 𝑊𝑖𝑗 𝒙𝐽 𝑖=1 1 ※完全グラフ（𝑊𝑖𝑗 = , ∀𝑖, 𝑗）のとき一致する 𝑛 45
46. Gradient Tracking 連合学習： 𝛻𝑓 𝒙(𝑟) − ∇𝑓𝑖 𝒙(𝑟) Gradient Tracking： 𝑛 (𝑟+1) 𝒈𝑖 = ෍ 𝑊𝑖𝑗 𝑖=1 (𝑟) 𝒈𝑖 + ∇𝑓𝑖 1 ※完全グラフ（𝑊𝑖𝑗 = , ∀𝑖, 𝑗）のとき一致する 𝑛 46 𝒙(𝑟) − ∇𝑓𝑖 𝒙(𝑟)
47. 収束解析 定理（PDO） Gossipアルゴリズムを毎回 1 𝛿 log 1−𝜌 6𝐿 回繰り返すと、 𝑅 𝜹 1 (𝑟) ⋆ −𝑓 𝒙 ≤𝑂 ෍𝑓 𝒙 𝑅 𝑟=1 2 0 ⋆ 𝜹 𝒙 −𝒙 𝛿 𝐿 𝒙0 2 ⋆ −𝒙 𝑅 ◼ トータルで、𝑂 ◼ 各サーバの損失関数が似ているとき、通信回数が減らせる！ 47 1−𝜌 𝑅 log 回の通信が必要
48. まとめ ◼ ◼ 通信回数を減らせる手法を紹介 ⚫ ローカルステップ、PDO ⚫ 部分問題を適切に設計することが重要 非中央集権化のための手法を紹介 ⚫ Gossipアルゴリズム、Gradient Tracking 参考文献 ◼ Takezawa et. al., Exploiting Similarity for Computation and Communication-Efficient Decentralized Optimization, ICML 2025 ◼ Jiang et. al., Stabilized Proximal-Point Methods for Federated Optimization, NeurIPS 2024 48