Microsoft の Responsible AI への取り組み (2020-11-10)

第2回 AI/IoTシステム安全性シンポジウム（11/10～11/12）の登壇資料
https://ai-iot-system-safsec.connpass.com/event/186760/

1. Microsoft Responsible AI 概要
2. モデル再学習における互換性

Transcript

1. Microsoft の Responsible AI への取り組み
   ⼥部⽥啓太
   ⽇本マイクロソフト株式会社
   Cloud Solution Architect – Machine Learning & Deep Learning
   

   View Slide

2. ⼥部⽥啓太
   Cloud Solution Architect
   – Machine Learning & Deep Learning
   略歴 : ⽇本マイクロソフト株式会社 カスタマーサク
   セス事業本部 Data & AI クラウドソリューションアー
   キテクト。統計解析ソフトウェアベンダーでのセールス
   エンジニアを経て、2018年 Microsoft に⼊社。
   現在は、Azure Machine Learning を中⼼とした
   AI・機械学習のアーキテクトとしてお客様プロジェクト
   へ技術⽀援を⾏う。また、最新技術をイベント・セミ
   ナーで訴求している。
   

   View Slide

3. アジェンダ
   

   View Slide

4. アジェンダ
   

   View Slide

5. Report
   

   View Slide

6. View Slide

7. View Slide

8. ⼈間と AI のインタラクションのガイドライン
   会話 AI のガイドライン
   インクルーシブデザインのガイドライン
   AI 公平性チェックリスト checklist
   データセット⽤データシートのテンプレート template
   詳細情報 : 責任のある AI のリソース
   

   View Slide

9. Control
   • MLOps
   • Data Drift
   Protect
   • Confidential ML
   • Differential privacy
   • Microsoft SEAL
   (準同型暗号)
   • Presidio
   Understand
   • InterpretML
   • FairLearn
   詳細情報 : 責任のある AI のリソース
   

   View Slide

10. AI ビジネス スクールは、ビジネス リーダーが成功し AI を⾃社ビジネスに活⽤するためのオンラインコース
    AI 戦略を定義して
    ビジネスバリューを創出
    責任のある AI の⽅針を定義
    組織における
    AI のスケール
    ビジネスリーダーのための
    AI テクノロジー導⼊
    AI に対応する
    ビジネス⽂化を育成
    ビジネスユーザ向け AI
    17 9 22 22 10
    事例 著名リーダー
    によるビデオ
    実践ガイド 経営層による
    インサイト
    テクノロジー
    セッション
    In partnership with
    https://www.microsoft.com/ja-JP/ai/ai-business-school
    

    View Slide

11. アジェンダ
    

    View Slide

12. View Slide

13. モデル精度
    ビジネス価値
    

    View Slide

14. 互換性の導⼊が必要
    

    View Slide

15. View Slide

16. 互換性に関する評価指標の導⼊
    Compatibility score
    Updates in Human-AI Teams: Understanding and Addressing the Performance/Compatibility Tradeoff
    

    View Slide

17. Updates in Human-AI Teams: Understanding and Addressing the Performance/Compatibility Tradeoff
    

    View Slide

18. ( λ : 不協和の重み )
    ← New Error
    Updates in Human-AI Teams: Understanding and Addressing the Performance/Compatibility Tradeoff
    

    View Slide

19. View Slide

20. Updates in Human-AI Teams: Understanding and Addressing the Performance/Compatibility Tradeoff
    機械学習モデルの互換性 C (横軸) とモデル精度 RoC (縦軸) のトレードオフの関係
    

    View Slide

21. microsoft/BackwardCompatibilityML
    

    View Slide

22. lambda λ をスイープした結果を可視化
    

    View Slide

23. Backward Trust Compatibility (BTC) Backward Error Compatibility (BEC)
    ・新しいモデル h2 でも h1 と同じく分類が成功している割合 ・新しいモデル h2 でも h1 と同じく分類が失敗している割合
    

    View Slide

24. 各クラスにおいて
    互換性がなかったデータ数
    べん図での理解
    λ (互換性の割合) モデル精度 BTC BEC
    

    View Slide

25. アジェンダ
    

    View Slide

26. View Slide

27. Future Compute : AI とその社会における役割
    Microsoft 責任のある AI
    Microsoft AI Business School
    Backward Compatibility Machine Learning (GitHub)
    Updates in Human-AI Teams: Understanding and Addressing the
    Performance/Compatibility Tradeoff
    InterpretML : Understand Models. Build Responsibly.
    

    View Slide

28. View Slide

29. View Slide