Federated Learning with Differential Privacy

プライバシーに配慮した新たな技術動向~Federated Learningを中心に~
高橋 翼（LINE株式会社 ML Privacy チーム / Trustworthy AI チーム マネージャー）

コンピュータセキュリティシンポジウム2021 (CSS)における「PWS企画③ AIにおけるプライバシー」での登壇資料です。
https://www.iwsec.org/css/2021/program.html#pws3

Transcript

1. プライバシーに配慮した新たな技術動向
   ~Federated Learningを中⼼に~
   ※ 本資料は2021年10⽉28⽇に開催したコンピュータセキュリティシンポジウム2021の企画セッション
   「PWS企画③ AIにおけるプライバシー」での講演を再構成したものです。
   Tsubasa Takahashi
   ML Privacy Team / Trustworthy AI Team
   LINE Corp.
   

   View Slide

2. Table of Contents
   • Federated Learning
   • Overview
   • バリエーション
   • 類似技術
   • Privacy Issues in FL & Solutions
   • Privacy Risks in FL
   • Local Differential Privacy in FL
   • Privacy Amplification via Shuffling
   • PPDS (Privacy-preserving Data Synthesis)
   2
   

   View Slide

3. Federated Learning
   3
   

   View Slide

4. Federated Learning︓Overview
   Non-participants of FL
   Global Model
   4
   

   View Slide

5. Federated Learning︓Overview
   Non-participants of FL
   Global Model
   Raw data never
   leaves the device.
   Low-cost
   communication
   Tailor-made
   Personalization
   Orchestrating
   FL procedure
   Learning global model
   via aggregation
   Mitigating cold
   start issues
   Free from storing
   huge clients’ data
   Immediate
   Adaptation 5
   

   View Slide

6. FLのバリエーション
   6
   Cross Device型 Cross Silo型
   クライアント︓多数
   データサイズ︓⼩
   通信回線︓従量課⾦ / wifiなど
   クライアント︓少数
   データサイズ︓⼤
   通信回線︓専⽤線など
   

   View Slide

7. Federated Learning︓Notations
   • Evaluate the base model at
   client !
   • "#$
   = ∇'
   ((*#
   ; ,$
   )
   • Update the model from .
   reports
   • ̅
   "$
   = 0
   1
   ∑#∈ 1
   "#$
   • ,$40
   = ,$
   − 6$
   ̅
   "$
   Notation
   - ,: global (base) model
   - *#
   : local data of client !
   - H: #clients
   - I: #rounds
   - .:#participants/round
   7
   ,
   .
   …
   H
   *#
   ,0
   ,J
   "#0
   "#J
   ̅
   "0
   ̅
   "J
   

   View Slide

8. 類似した思想の技術︓FIDO
   (出典) https://fidoalliance.org/fidoの仕組み/?lang=ja (出典) https://fidoalliance.org/fidoの特⻑/?lang=ja
   8
   

   View Slide

9. 似ている技術︓FLoC
   Non-participants of FLoC
   Hash値
   Cohort毎の
   情報推薦
   Cohort⾮依存な
   情報推薦
   Hash値をクラスタリング
   è クラスタ = Cohort
   k-匿名性の保証に関する議論あり
   これまでの広告等のターゲティング
   ＝ 個々⼈の追跡
   è FLoCは集団(Cohort)を追跡
   ※ FLoC (Federated Learning of Cohort) は⼀般的なFLとは⽬的や枠組みの点で乖離がある è 本発表では扱わない
   9
   

   View Slide

10. Privacy Issues & Solutions
    10
    

    View Slide

11. Privacy Risks in Federated Learning
    • Evaluate the base model at
    client !
    • "#$ = ∇'((*#; ,$)
    • Update from . reports
    • ̅
    "$ = 0
    1
    ∑#∈ 1
    "#$
    • ,$40 = ,$ − 6$ ̅
    "$
    Notation
    - ,: global (base) model
    - *#
    : local data of client !
    - H: #clients
    - I: #rounds
    - .:#participants/round ,
    .
    …
    H
    *#
    ,0
    ,J
    "#0
    "#J
    ̅
    "0
    ̅
    "J
    訓練データの推定・再構成
    モデルの世代間の差異から
    訓練データを推定
    ,J ,0
    11
    

    View Slide

12. Inverting Gradients
    (出典)
    “Inverting Gradients - How easy is it to break privacy
    in federated learning?”
    https://arxiv.org/abs/2003.14053
    勾配から訓練データ (画像) を
    復元できるか︖
    12
    

    View Slide

13. Possible Solutions
    13
    Cross Device型 Cross Silo型
    Local Differential Privacy Central DP and/or MPC
    ※ 本発表では割愛
    

    View Slide

14. FL with Local Differential Privacy
    Non-participants of FL
    + +
    Differential Privacy
    Differential Privacy
    +
    +
    +
    +
    +
    +
    +
    +
    Possible Solutions
    • Local Differential Privacy
    • LDP + Shuffling (後半で紹介)
    14
    ノイズ を加算することで
    出⼒の差異を制限
    (どんな⼊⼒でも出⼒がほぼ同じに⾒える)
    ノイズの⼤きさは⼊⼒が出⼒に
    与える影響の⼤きさに依存
    (ここでは勾配のL2ノルム)
    多数のレポートを集約することで
    ノイズを打ち消し合う効果がある
    

    View Slide

15. Experiments: LDP下でどの程度FLが有効か︖
    データセット
    • MNIST 訓練データ︓60,000件（10クラス）
    FLの設定
    • クライアント数︓12,000
    • サンプル数/クライアント︓5
    • 集計バッチサイズ︓1,000
    LDP Mechanism
    • Fed. DP-SGD︓ガウスノイズによる⼿法
    • LDPを保証するようにDP-SGDを調整
    • LDP-SGD︓Randomized Responseによる⼿法
    • Duchiらの⼿法。勾配の向きをランダムに反転
    + +
    Differential Privacy
    Differential Privacy
    +
    +
    +
    +
    +
    +
    +
    +
    15
    +
    https://arxiv.org/abs/1604.02390v2
    https://arxiv.org/abs/2001.03618
    

    View Slide

16. Experiments: LDP下でどの程度FLが有効か︖
    考察
    • ⼗分なバッチサイズ (≧1000) で集約できれば、ε=1,2でも学習できることを確認
    • ただし、LDP-SGD / Fed. DP-SGD ともにノイズの影響で性能がイマイチ
    " = 1 " = 2 " = 4
    プライバシ強度︓強 プライバシ強度︓弱
    LDP-SGD
    Fed. DP-SGD
    課 題
    16
    

    View Slide

17. Privacy Amplification via Shuffling
    +
    Differential Privacy
    +
    +
    +++
    Shuffler
    Swap / Remove
    Identifiers
    Anonymized
    Shuffler should be
    a “trusted” entity.
    Sub-sampling
    Ex.) ! = 10%
    , & = 10'のとき
    ()
    = 8 à ( = 2.7
    (.-LDP
    at client
    (-CDP
    17
    Shuffling効果とSub-sampling効果を勘案して/を導出
    

    View Slide

18. Shufflingの課題
    • Shufflerを信⽤する必要がある
    • マルチパーティ計算やセキュアハードウェアを⽤いる⽅法も提案されている
    • ⼤きい参加者数(!) or ⼩さいサンプリングレート(!/#)が必要
    • !が⼩さ過ぎると平均化によるノイズ打ち消し効果が不⼗分に
    • Privacy Compositionが未成熟でルーズ（もっと増幅するはず）
    • ⽇進⽉歩でタイトな計算⽅法が提案され続けている（難解。。。）
    • 社会実装されたプラクティスが不⾜
    18
    

    View Slide

19. まとめ
    FLは近年注⽬されているプライバシー保護型協調学習の⼀つ
    • ⽣データはクライアント外に送信せず、評価結果だけサーバーとやりとり
    • 様々なバリエーションが研究されている
    FLにおけるプライバシー保護の話題
    • (L)DPの適⽤がスタンダード
    • 秘密計算や、秘密計算+CDP/LDPも議論されている
    • LDPではPrivacy Amplificationの議論がホット
    オープンイシュー
    • FLのバリデーションはどう実施したらよいか︖特にDP下ではどうすべきか︖
    • FLで保証したセキュリティ・プライバシをどう説明するか︖
    19
    様々なPPMLの⼒を
    結集する必要がありそう
    

    View Slide

20. Privacy Preserving Data Synthesis
    20
    

    View Slide

21. Data Synthesis as a Data Sharing
    ⽬的︓⽣データの代わりに⽣成モデル (Generative Model) をシェアしたい
    Train
    Generative Model
    21
    Generative Model
    Synthesize
    Data Holder Data User
    Deliver
    乱数から合成データを⽣成
    データから⽣成モデルを訓練
    Q︓データ共有に資するプライバシーに配慮した⽣成モデルをいかに構築するか︖
    

    View Slide

22. Privacy Preserving Data Synthesis
    ⽬的︓⽣データの代わりにプライバシー保護した⽣成モデルをシェアしたい
    実⽤的なPPDSのハードル
    • DP下ではイテレーション (データ参照回数) が制限される
    • ⽣成モデルの学習は複雑さが⾼く、ノイズの影響を受けやすい
    Train
    with
    Generative Model
    Synthesize
    ナイーブ法
    VAE+DP-SGD
    P3GM (ours)
    ICDE2021
    ε=1.0
    ε=0.2
    PEARL (ours)
    arXiv:2106.04590
    ε=1.0 ε=1.0
    実⽤的なプライバシー基準(ε≦1)下で
    ⽐較的⾼い近似性能を達成
    22
    ※ ここではDifferential Privacy (DP) の保証を考える
    

    View Slide

23. テーブルデータも近似できるようになってきた
    23
    Adult (元データ) PEARL (ours) DP-MERF (ベースライン)
    

    View Slide