Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning

MLプライバシー論文読み会（2022-08-23）で読んだ論文です。

A. Bietti+, "Personalization Improves Privacy-Accuracy Tradeoffs in Federated", ICML 2022

Transcript

1. "Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning" A. Bietti+, ICML 2022 2022-08-23 Reader: Tatsuya Shirakawa MLプライバシー論文読み会
2. 白川 達也 Tatsuya Shirakawa Full Stack Data Scientist at Beatrust 多言語オープンドメイン教師なしキーフレーズ抽出 双曲空間での機械学習 日本心理学会チュートリアル Graph Convolution 顔検出・認識 BeatrustでFull Stack Data Scientistしてます。 Selected Posts @s_tat1204 社員インタビュー https://note.com/beatrust/n/ne63297b9c546
3. この論文に興味を持った背景 + この論文の背景
4. Beatrustのプロダクト Products & Privacy Beatrust People ビートラスト ピープル Beatrust Ask ビートラスト アスク 従業員のプロフィール情報の蓄積・可視化 プロフィールをもとにしたお悩みxエキスパートマッチング 主に大企業にむけて、組織内個人のプロフィール情報を蓄積・可視化するサービスや、そのプロフィールをもとにした 人と人、人と情報のマッチングサービスを提供しています。 それらのいくつかは機械学習をもとにしていますが、サービス内のデータは秘密情報・プライバシー情報が満載のた め、それを用いて学習するためにはプライバシー保護技術が必須になり、研究開発を行っています。
5. やりたいこと 組織A のデータ 組織B のデータ 組織C のデータ ... 組織は多様な業態・業種に渡り、データにはドメイン固有な情報の他社内 情報なども含まれる。そのため、組織ごとに個別最適化したい 組織内のデータ量が不十分でなこともあり、モデルやデータは共有したい プロダクトの保守性の観点からも、モデルの共有を行いたい データにはSensitive情報が多く含まれるので他の組織へ情報を漏らせない
6. よろしい、ならば差分プライバシー（Differential Privacy）だ モデルの学習方法Mが(ε, δ)-DPであるとは、1レコードだけ異なる任意の入力対D, D'に たいして、学習済みモデルから入力がDとD'のどっちだったかを判別できない（レコー ド違いによる感度が十分小さい）こと。 判別不可能性の保証の強さ →（ε, δ）※ 小さい方が保証が強い 様々な汎用性のある実現方法が提案されており、機械学習への繰り込みもしやすい！ 定式化がエレガントで理論解析がしやすい！ ※ 以降、「メカニズム(M) ↔ モデルの学習方法 」と読み替えて説明します
7. (ε, δ)ってどう決めるの？
8. プライバシー保護のためには (ε, δ) は小さくしないと危ない！ N. Hoshino, "A Firm Foundation of Statistical Disclosure Control", 2020 （アプリケーションによりそうだけど） ε=2〜3あたりから有効性が怪しい…？
9. 精度を確保するためには(ε, δ) を大きくしたい！ 当然だけど、(ε, δ) を小さくすると精度が出にくい （ただし↓のケースだと、そこそこ大きいεでも精度劣化はだいぶ大きそう…） D. Yu+, "Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning", ICLR 2021
10. Privacy-Accuracy Tradeoff プライバシー保護のために (ε, δ) は十分に小さくしておきたい 精度確保のために (ε, δ) はなるべく大きくしておきたい どうする？
11. でもこれはレコード単位の隠蔽 本当にやりたいのはユーザー単位の隠蔽
12. User-level DP 個別のユーザーのデータが入力に含まれていたかが事後的に判別できないことを保証 すべてのユーザーについて、そのユーザー用の学習済みモデルをみてもそのユーザーの データが含まれているか判別できないことを保証 　→ 各ユーザーのデータの存在が、他のユーザーの学習済みモデルから推測できない 　 だけでいいのでは？
13. Joint DP User-level JDP 自分のアウトプットを開示しない限り、他のユーザーがどう結託しても自分のデー タの存在有無が特定できないことを保証 Personalizationによる精度向上の可能性 User-level JDPだと保証の際に自身のモデルは他人に明かさなくて良いので、DPな 学習とは別にユーザー個別のPersonalizationを秘密に行う事はできる！
14. プライバシー保護のために (ε, δ) は十分に小さくしておきたい 精度確保のために (ε, δ) はなるべく大きくしておきたい Personalizationを許容すると、どこまでTradeoffを両立させられる？ PersonalizationによるPrivacy-Accuracy Tradeoffの両立可能性
15. "Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning" Paper PersonalizationがUser-level JDPのPrivacy-Accuracy Tradeoffをどこまで改善するかをFederated Learningの文脈 で調べた BillboardモデルでGlobal/Localのトレードオフを取りながら DP-SGDを実施するAlgorithm PPSGDを提案し理論解析 PPSGDを人工データやリアルデータに適用し、 PersonalizationによりPrivacy-Accuracy Tradeoffがどう改善 されるかを示した Accepted at ICML 2022 (Poster)
16. Server Billboard ModelはServer-sideがDPならJDP Update global params (user-level DP) Update private params (personalization) Billboard Lemma Serverサイドのアルゴリズムが(user- levelで) (ε, δ)-DPであれば、Billboard Modelは (ε, δ)-JDP Private local info Global info
17. Server 提案手法PPSGD -- サーバーサイドでDP-SGDするBillboard Modelな学習 ③ DP-SGD: w ① SGD: θ_i ② g_w w ① Local paramのSGD ② Global paramの clipped gradientを送信 ③ Global paramの DP-SGD モデルはGlobal Param. wとユーザーごとのLocal Param. {θ_i}からなるとする α: Personalizationのコントロールパラメータ （小さいほどPersonalizeが強い） 重み: 1 重み: α
18. Server Personalizeの度合いをコントロールするパラメータα ③ DP-SGD: w ① SGD: θ_i ② g_w w α = 0 ユーザーサイドでのみ更新 = ローカル学習 α→∞ サーバーサイドでのみ更新 = グローバル学習 重み: 1 重み: α ① Local paramのSGD ② Global paramの clipped gradientを送信 ③ Global paramの DP-SGD α: Personalizationのコントロールパラメータ （小さいほどPersonalizeが強い）
19. PPSGDの理論解析
20. PPSGDの理論解析 Billboard Lemmaからサーバー側の計算（DP- SGD部分）が (ε, δ)-DP であれば、全体が (ε, δ)-JDP になる DP-SGDは(4)のときに (ε, δ)-DPになることが 知られている ① Local paramのSGD ② Global paramの clipped gradientを送信 ③ Global paramの DP-SGD M. Abadi+, "Deep Learning with Differential Privacy", 2016
21. より単純化されたケースでの 詳細な理論解析
22. 理論解析における前提 最適解の有界性 関数が凸かつL-smooth 勾配が有界 → 勾配をClippingしなくて良い
23. PP-SGDの理論解析 細かいところは省きますが、PP-SGDのExcess risk（最適解か らのギャップ）は下記でバウンドされます。 ノイズによらない バイアス O(1/n) ノイズに依存した バリアンス O(1/√Nn) n = ユーザーサンプルサイズ N = ユーザー数
24. さらにAdditive Modelの場合に挙動を観察します w, θの間に定数ベクターの任意性があるので状況に応じて適当に パラメトライズします (w, θ) ↔ (w+Δ, θ-Δ)
25. Additive model での Local Learning (α=0) Excess risk（最適解からのギャップ）のバウンド α=0、解はz*=(0, θ*)の形とする ◀ Privacy（ε, δ）に関する項がなくなる もしすべてのiでθ*_i = v*ととれたら？ ◀ 遅い収束O(1/√n)。ユーザー数を増やしても インパクトはない n = ユーザー毎のサンプルサイズ N = ユーザー数
26. Additive model での Global Learning (α→∞) Excess risk（最適解からのギャップ）のバウンド n = ユーザー毎のサンプルサイズ N = ユーザー数 α→∞、解はz*=(v*, 0)の形とする O(1/√N)な バリアンス項 O(1/N)な プライバシー項 ◀ バリアンス項、プライバシー項はユーザー数が 増えると減るが、ユーザーごとのサンプルサイズ を増やしてもプライバシー項は変化しない。 強い秘匿性（小さいε, δ）を求めようとすると プライバシー項が大きくなる。
27. Additive model での Personalization benefit （homogeneous users） 大雑把には、Additive modelでノルム最小の解を試行する時、 ある種の単純化された状況では（バリアンス項だけをみたら）下 記の相転移がおきます。 ユーザー毎のサンプルサイズが十分大きい時 → αを小さくしたほうが分散が減る = Local Learning がよい そうでないとき → αを大きくしたほうが分散が減る = Global Learning がよい 最適解がHomogeneous (θ*_1 = ... = θ*_N)のとき
28. でも実際はUserによって使えるデータサイズちがうよね？
29. ユーザーごとにサンプルサイズが異なる場合のPPSGD ◀ ベルヌーイ分布に基づき、パラメータをアップデート するユーザーを選択 ◀ ユーザーごとに異なるミニバッチサイズm_iを使用 ユーザーごとにサンプルサイズは異なるが、どのユーザーにも同 じレベルの秘匿性の保証を与えたい場合のPPSGD
30. Client sampling なし Client sampling あり バイアス O(1/イテレーション数) O(1/イテレーション数) バリアンス O(1/√使用データ数) O(1/√使用データ) プライバシー O(G/N) O(G_m/M) PP-SGD with Client samplingの理論解析 T = イテレーション数 N = ユーザー数 M = ミニバッチ数の和 ≦ + ユーザーサンプリング のバリアンス Client samplingのバリアンスが加わり、プライバシー項もデー タ数最大のユーザーに依存して増加するようになります
31. Experiments
32. Tasks ① Synthetic 人工的に生成されたデータに対する線形回帰 ② Stackoverflow tag prediction Stackoverflowの500ユーザーのそれぞれ数百の質問に対して、質問につけられたタグを予測 ③ Federated MNIST N=1000ユーザーによる手書き文字認識
33. Experiment setup モデルはAdditive modelに限定。ロスは二乗誤差。 δ=10^-4で固定 ミニバッチサイズm=10で固定 イテレーション毎にサンプリングするユーザー数Qは10人で固定 DP-SGDのGaussian Noise σは数パターンを用意 勾配のClipping閾値 Cは数パターンを用意 学習率ηは数パターンを用意 下記の設定を全通り試し、精度とMoments accountantで保証されるεの推移を観測 DP-SGDのように連続的に適用される一連のDPなメカニズムにた いして、そのプロセス全体（結合されたメカニズム）がどの程度 の強度のDPなのかについて、Tightな評価を与えるテクニック。 詳しくはこちら M. Abadi+, "Deep Learning with Differential Privacy", 2016
34. Synthetic ユーザー毎に微妙に異なるGauss分布に対する線形回帰（データの作り方の詳細は論文参照） local learningに近い（α=0に近い）ほうが精度がよく、privacy noiseを強くするほどその傾 向は顕著。
35. Stackoverflow tag prediction Stackoverflowの500ユーザーのそれぞれ数百程度の質問に対し、質問につけられたタグを予測 privacyの考慮をしない状況（σ=0）では中程度のα（α=10）がよい privacy noiseが増えると、αが大きい場合の精度劣化が著しくなる 設定によって最適なαは異なる
36. Federeated EMNIST Federated EMNISTのsubset Local learningはいずれのケースで精度が出ない（ユーザーのデータ間の共通性が高い？） αをうまくとると精度向上する ◀ CNNは共通にもち、last layerを personalize可能にしたモデル
37. Accuracy-Privacy Tradeoffの挙動 StackoverflowとEMNISTでLocal/Globalの挙動が全く異なる 最適なPersonalizationをすると、Local/Globalをともに上回る精度を出せる。 EMNISTはprivacyを強めるといずれのケースでも精度劣化が激しい。
38. "Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning" Paper PersonalizationがUser-level JDPのPrivacy-Accuracy Tradeoffをどこまで改善するかをFederated Learningの文脈 で調べた BillboardモデルでGlobal/Localのトレードオフを取りながら DP-SGDを実施するAlgorithm PPSGDを提案し理論解析 PPSGDを人工データやリアルデータに適用し、 PersonalizationによりPrivacy-Accuracy Tradeoffがどう改善 されるかを示した Accepted at ICML 2022 (Poster)
39. 感想 PersonalizationでAccuracy-Privacy Tradeoffを改善できるというのは実用的で良かった。 ただしこの辺は気になる どの程度Personalizeさせればよいのかの指針（αの決め方） もっと複雑なモデル・タスクだとどうなるのか Personalizationの効果はモデルによって違いはあるのか PublicデータでのPretrainingを前提にしたときにどうなるのか知りたい。 Globalなノイジーな学習がかえってPretrained modelを破壊したりしない…？ EMNISTのようにPrivacyを強めに保護しようとすると急激に精度が落ちるケースだと、やは りPersonalizeでも実用上厳しそう。こういうケースでどう考えるべきかを知りたい。 DPをペロッと気軽に実用するのはやはり簡単ではなさそうだなぁ うちではうまく実用できてるよっていう人いたら教えて！
40. Beatrust on note Beatrust techBlog Beatrust のオフィシャルメディア Our official media Twitter @jp_beatrust Facebook LinkedIn note.com/beatrust 社員のバックグラウンドや、 働き方に関する記事をアップデート しています。 tech.beatrust.com Beatrust の開発者チームによる取り 組みと技術に込めた想いを掲載して いる開発者ブログです。 Beatrust のメンバーに関する記事、開発メンバーの取り組み、最新ニュースリリースなどを随時更新しています。 facebook.com/beatrust.official linkedin.com/company/beatrust
41. おしまい