Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Toward the Realization of Trustworthy AI

Toward the Realization of Trustworthy AI

信頼できるAIの実現に向けて
髙橋 翼(LINE株式会社 Machine Learning Researchチーム/Trustworthy AIチーム マネージャー)
CCSE2021での発表資料です
https://ccse.jp/2021/

Avatar for LINE Developers

LINE Developers

December 17, 2021
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. A. Domain Knowledge with Certificates What types of experts do

    you trust? 3 Domain Knowledge Certificate
  2. A. Domain Knowledge with Quality Assuarance What types of AI

    do you trust? 4 Domain Knowledge Quality Assurance
  3. Towards Trustworthy AI 5 Domain Knowledge Quality Assurance How to

    get sensitive dataset for training domain expert AI? How to evaluate AI’s quality including ethical issues?
  4. Towards Trustworthy AI 6 How to get sensitive dataset for

    training domain expert AI? How to evaluate AI’s quality including ethical issues? Data Synthesis Federated Learning Ethics Test Evidence-based Verification
  5. Data Synthesis as a Data Sharing ⽬的︓⽣データの代わりに⽣成モデル (Generative Model) をシェアしたい

    Train Generative Model 8 Generative Model Synthesize Data Holder Data User Deliver 乱数から合成データを⽣成 データから⽣成モデルを訓練 Q︓データ共有に資するプライバシーに配慮した⽣成モデルをいかに構築するか︖
  6. Privacy Preserving Data Synthesis ⽬的︓⽣データの代わりにプライバシー保護した⽣成モデルをシェアしたい 実⽤的なPPDSのハードル • DP下ではイテレーション (データ参照回数) が制限される

    • ⽣成モデルの学習は複雑さが⾼く、ノイズの影響を受けやすい Train with Generative Model Synthesize ナイーブ法 VAE+DP-SGD P3GM (ours) ICDE2021採択 インターンとの共同研究 ε=1.0 ε=0.2 PEARL (ours) arXiv:2106.04590 ε=1.0 ε=1.0 実⽤的なプライバシー基準(ε≦1)下で ⽐較的⾼い近似性能を達成 9 ※ ここではDifferential Privacy (DP) の保証を考える
  7. PEARL [Liew+, 2021] • (1) (2) differentially private embeddings from

    sensitive data through characteristic function representations • (3) train generator while (4) optimizing a critic to distinguish between the real and generated data 10 No limitation in learning iterations Well-reconstruction capability by critic PEARL: Private Embedding & Adversarial Reconstruction Learning
  8. Inverting Gradients (出典) “Inverting Gradients - How easy is it

    to break privacy in federated learning?” https://arxiv.org/abs/2003.14053 勾配から訓練データ (画像) を 復元できるか︖ 14
  9. FL with Local Differential Privacy Non-participants of FL + +

    Differential Privacy Differential Privacy + + + + + + + + 15 ノイズ を加算することで出⼒の 差異を制限 (どんな⼊⼒でも出⼒がほぼ同じに⾒える) ノイズの⼤きさは⼊⼒が出⼒に与える 影響の⼤きさに依存 (ここでは勾配のL2ノルム) 多数のレポートを集約することで ノイズを打ち消し合う効果がある Local Differential Privacy クライアントのプライバシと サーバーのユーティリティを両⽴
  10. Experiments: FL + LDP + Shuffling 16 データセット • MNIST

    FLの設定 • クライアント数︓10,000,000 • サンプル数/クライアント︓5 • 集計バッチサイズ︓1,000 LDP Mechanism • Fed. DP-SGD︓ガウスノイズによる⼿法 • LDPを保証するようにDP-SGDを調整 • !" = 8 • Subsampling w/ Shuffler • ノイズ加算後に匿名性を担保する仕組み • 8-Local DP à 2.7-Central DP 92%のAccuracyを達成
  11. 18 Ethics Test for Language Model AI Risk Assessment Counter

    measures Language Model Update xxxx 5PYJDJUZ 1SJWBDZ 'BJSOFTT 3PCVTUOFTT ⼤規模⾔語モデルの信頼性担保のため テストツール・対策技術の確⽴を狙う
  12. Adversarial Trigger [Wallance+, 2019] • ⾔語モデルに有害表現を誘発させるTriggerをAIで探索する技術 19 Trigger 外部モデル (GPT-2)

    で学習・探索した Triggerにより⾔語モデルが⽣成を 誘発させられた有害表現の⼀例 有害表現(∼ )の尤度を最⼤化するTrigger を探索
  13. Next Steps • Continue discussions and developments… • Lots of

    ethical measurements • Fairness • Demographic Parity • Counterfactual Fairness • … • Robustness • Consistency against Adversarial Inputs • … • Toxicity • Credibility • … 21
  14. Link Trustworthy AIチーム紹介記事 • https://engineering.linecorp.com/ja/interview/mlprivacy_trustworthyai/ プライバシーに配慮した新たな技術動向 〜Federated Learningを中⼼に〜 • https://speakerdeck.com/line_developers/federated-learning-with-differential-

    privacy ICDE2021参加報告 • https://engineering.linecorp.com/ja/blog/icde2021-participation-report/ LINE Publication List • https://engineering.linecorp.com/ja/research/ [求⼈] AIエンジニア・リサーチャー (AI Ethics) • https://linecorp.com/ja/career/position/3235 23