JP - Baruch et al. A Little is Enough: Circumventing Defenses For Distributed Learning

Slide for "TFUG - Neural network paper with alcohol". Talk about the security of distributed learning.

Transcript

1. A Little Is Enough Circumventing Defenses For Distributed Learning 2020/01/22 @Google – TFUG NN論文を肴に酒を飲む会 Shuntaro OHNO
2. About Me Shuntaro OHNO • Twitter: @doraneko_b1f • GitHub: @doraneko94 • Website: https://ushitora.net ✓ Neuro-Scientist : Ph.D student in Toyama Univ. ✓ Memory, Learning, Artificial Intelligence ✓ Data science in Python & Neuro-Simulation in Rust ➢ 今回は、人工知能の世論を操作する方法と、 その防御手法について話します。
3. What is “Distributed Learning”? Data chunk Setの内容は全員異なる
4. What is “Distributed Learning”? Gradients 送られてきたgradients を統合して学習
5. What is “Distributed Learning”? Gradients 悪意ある参加者が 結果を改変しようとする
6. Byzantine participants Control the devices themselves Man-In-The-Middle
7. Conventional Attack Q. 大統領が500円をネコババしたことについて、どう思いますか？ 平均
8. Conventional Attack Q. 大統領が500円をネコババしたことについて、どう思いますか？ 平均
9. Conventional Attack Q. 大統領が500円をネコババしたことについて、どう思いますか？ 平均 距離
10. Conventional Defense Trimmed Mean 中央値 中央値から最も遠い m 人を取り除いて平均する 1. 2m 人を取り除く 2. 最も大きい m 人と、最も少ない m 人を取り除く などの手法もある
11. Conventional Defense Krum 他の n - m - 2 人との距離が最小になる人 のデータのみを用いる この人のデータだけ抽出
12. Conventional Defense Bulyan (Trimmed Mean + Krum) 1. Krum を繰り返して、n - m 人からなる Selection Set を作る 2. Selection Set の中で Trimmed Mean を行う Selection Set
13. 前提の見直し Q. Distributed Learningの結果を操作するには、 真の平均から大きく乖離したデータを与える必要があるのか？ A. 正常の分散の範囲内でも、結果を変えることができる！
14. Proposed Attack (Preventing Convergence) ⚫ n : 総人数 ⚫ m : 敵対者の人数 ⚫ s : Supporter の人数 ずらしてもバレない大きさ z を求め、その範囲で動かす 例） 50人中24人が敵対者の場合、 最低 s = 2 人の Supporter が必要。 このとき、z = 1.43 までバレない → 真の平均から 1.43 σ だけずらす Supporter は 2/26 （正常例に占める割合） これは上位 1.43σ に位置
15. Proposed Attack (Backdooring) ⚫ n : 総人数 ⚫ m : 敵対者の人数 ⚫ s : Supporter の人数 Algorithm 3 で求めた範囲内で、 攻撃者の望む結果になるよう訓練する
16. Result Z = 1/2 でも十分に結果を操作できる
17. Result
18. Conclusion Byzantine Participants は、こわい。
19. Advertisement ✓ 総務省主催の、地理空間情報ハッカソン ✓ 地理空間情報の活用法を学び、 ２日でサービス開発を行います ✓ 参加登録は connpass から！ ➢ 愛知会場： 2020年02月01日（土）～2020年02月02日（日） ✓ モビリティについての課題解決 ➢ 富山会場： 2020年02月08日（土）～2020年02月09日（日） ✓ 地理空間情報を用いたゲーム開発（Unity） ➢ 東京会場： 2020年02月15日（土）～2020年02月16日（日） ✓ 防災についての課題解決 ➢ 沖縄会場： 2020年02月22日（土）～2020年02月23日（日） ✓ モビリティ・リゾテック等についての課題解決