プライバシーに配慮した新たな技術動向 ~Federated Learningを中⼼に~ ※ 本資料は2021年10⽉28⽇に開催したコンピュータセキュリティシンポジウム2021の企画セッション 「PWS企画③ AIにおけるプライバシー」での講演を再構成したものです。 Tsubasa Takahashi ML Privacy Team / Trustworthy AI Team LINE Corp. 

Table of Contents • Federated Learning • Overview • バリエーション • 類似技術 • Privacy Issues in FL & Solutions • Privacy Risks in FL • Local Differential Privacy in FL • Privacy Amplification via Shuffling • PPDS (Privacy-preserving Data Synthesis) 2 

Federated Learning 3 

Federated Learning︓Overview Non-participants of FL Global Model 4 

Federated Learning︓Overview Non-participants of FL Global Model Raw data never leaves the device. Low-cost communication Tailor-made Personalization Orchestrating FL procedure Learning global model via aggregation Mitigating cold start issues Free from storing huge clients’ data Immediate Adaptation 5 

FLのバリエーション 6 Cross Device型 Cross Silo型 クライアント︓多数 データサイズ︓⼩ 通信回線︓従量課⾦ / wifiなど クライアント︓少数 データサイズ︓⼤ 通信回線︓専⽤線など 

Federated Learning︓Notations • Evaluate the base model at client ! • "#$ = ∇' ((*# ; ,$ ) • Update the model from . reports • ̅ "$ = 0 1 ∑#∈ 1 "#$ • ,$40 = ,$ − 6$ ̅ "$ Notation - ,: global (base) model - *# : local data of client ! - H: #clients - I: #rounds - .:#participants/round 7 , . … H *# ,0 ,J "#0 "#J ̅ "0 ̅ "J 

類似した思想の技術︓FIDO (出典) https://fidoalliance.org/fidoの仕組み/?lang=ja (出典) https://fidoalliance.org/fidoの特⻑/?lang=ja 8 

似ている技術︓FLoC Non-participants of FLoC Hash値 Cohort毎の 情報推薦 Cohort⾮依存な 情報推薦 Hash値をクラスタリング è クラスタ = Cohort k-匿名性の保証に関する議論あり これまでの広告等のターゲティング ＝ 個々⼈の追跡 è FLoCは集団(Cohort)を追跡 ※ FLoC (Federated Learning of Cohort) は⼀般的なFLとは⽬的や枠組みの点で乖離がある è 本発表では扱わない 9 

Privacy Issues & Solutions 10 

Privacy Risks in Federated Learning • Evaluate the base model at client ! • "#$ = ∇'((*#; ,$) • Update from . reports • ̅ "$ = 0 1 ∑#∈ 1 "#$ • ,$40 = ,$ − 6$ ̅ "$ Notation - ,: global (base) model - *# : local data of client ! - H: #clients - I: #rounds - .:#participants/round , . … H *# ,0 ,J "#0 "#J ̅ "0 ̅ "J 訓練データの推定・再構成 モデルの世代間の差異から 訓練データを推定 ,J ,0 11 

Inverting Gradients (出典) “Inverting Gradients - How easy is it to break privacy in federated learning?” https://arxiv.org/abs/2003.14053 勾配から訓練データ (画像) を 復元できるか︖ 12 

Possible Solutions 13 Cross Device型 Cross Silo型 Local Differential Privacy Central DP and/or MPC ※ 本発表では割愛 

FL with Local Differential Privacy Non-participants of FL + + Differential Privacy Differential Privacy + + + + + + + + Possible Solutions • Local Differential Privacy • LDP + Shuffling (後半で紹介) 14 ノイズ を加算することで 出⼒の差異を制限 (どんな⼊⼒でも出⼒がほぼ同じに⾒える) ノイズの⼤きさは⼊⼒が出⼒に 与える影響の⼤きさに依存 (ここでは勾配のL2ノルム) 多数のレポートを集約することで ノイズを打ち消し合う効果がある 

Experiments: LDP下でどの程度FLが有効か︖ データセット • MNIST 訓練データ︓60,000件（10クラス） FLの設定 • クライアント数︓12,000 • サンプル数/クライアント︓5 • 集計バッチサイズ︓1,000 LDP Mechanism • Fed. DP-SGD︓ガウスノイズによる⼿法 • LDPを保証するようにDP-SGDを調整 • LDP-SGD︓Randomized Responseによる⼿法 • Duchiらの⼿法。勾配の向きをランダムに反転 + + Differential Privacy Differential Privacy + + + + + + + + 15 + https://arxiv.org/abs/1604.02390v2 https://arxiv.org/abs/2001.03618 

Experiments: LDP下でどの程度FLが有効か︖ 考察 • ⼗分なバッチサイズ (≧1000) で集約できれば、ε=1,2でも学習できることを確認 • ただし、LDP-SGD / Fed. DP-SGD ともにノイズの影響で性能がイマイチ " = 1 " = 2 " = 4 プライバシ強度︓強 プライバシ強度︓弱 LDP-SGD Fed. DP-SGD 課 題 16 

Privacy Amplification via Shuffling + Differential Privacy + + +++ Shuffler Swap / Remove Identifiers Anonymized Shuffler should be a “trusted” entity. Sub-sampling Ex.) ! = 10% , & = 10'のとき () = 8 à ( = 2.7 (.-LDP at client (-CDP 17 Shuffling効果とSub-sampling効果を勘案して/を導出 

Shufflingの課題 • Shufflerを信⽤する必要がある • マルチパーティ計算やセキュアハードウェアを⽤いる⽅法も提案されている • ⼤きい参加者数(!) or ⼩さいサンプリングレート(!/#)が必要 • !が⼩さ過ぎると平均化によるノイズ打ち消し効果が不⼗分に • Privacy Compositionが未成熟でルーズ（もっと増幅するはず） • ⽇進⽉歩でタイトな計算⽅法が提案され続けている（難解。。。） • 社会実装されたプラクティスが不⾜ 18 

まとめ FLは近年注⽬されているプライバシー保護型協調学習の⼀つ • ⽣データはクライアント外に送信せず、評価結果だけサーバーとやりとり • 様々なバリエーションが研究されている FLにおけるプライバシー保護の話題 • (L)DPの適⽤がスタンダード • 秘密計算や、秘密計算+CDP/LDPも議論されている • LDPではPrivacy Amplificationの議論がホット オープンイシュー • FLのバリデーションはどう実施したらよいか︖特にDP下ではどうすべきか︖ • FLで保証したセキュリティ・プライバシをどう説明するか︖ 19 様々なPPMLの⼒を 結集する必要がありそう 

Privacy Preserving Data Synthesis 20 

Data Synthesis as a Data Sharing ⽬的︓⽣データの代わりに⽣成モデル (Generative Model) をシェアしたい Train Generative Model 21 Generative Model Synthesize Data Holder Data User Deliver 乱数から合成データを⽣成 データから⽣成モデルを訓練 Q︓データ共有に資するプライバシーに配慮した⽣成モデルをいかに構築するか︖ 

Privacy Preserving Data Synthesis ⽬的︓⽣データの代わりにプライバシー保護した⽣成モデルをシェアしたい 実⽤的なPPDSのハードル • DP下ではイテレーション (データ参照回数) が制限される • ⽣成モデルの学習は複雑さが⾼く、ノイズの影響を受けやすい Train with Generative Model Synthesize ナイーブ法 VAE+DP-SGD P3GM (ours) ICDE2021 ε=1.0 ε=0.2 PEARL (ours) arXiv:2106.04590 ε=1.0 ε=1.0 実⽤的なプライバシー基準(ε≦1)下で ⽐較的⾼い近似性能を達成 22 ※ ここではDifferential Privacy (DP) の保証を考える 

テーブルデータも近似できるようになってきた 23 Adult (元データ) PEARL (ours) DP-MERF (ベースライン)