Azure Machine Learning ハンズオンモデル解釈

by konabuta

Slide 1

Slide 1 text

Azure Machine Learning ハンズオンシリーズモデル解釈編 2021年7月16日(金) 16:00 - 17:30

Slide 2

Slide 2 text

Slack ワークスペース

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

https://github.com/konabuta/responsible-ai

Slide 5

Slide 5 text

https://ml.azure.com/ https://github.com/konabuta/responsible-ai Azure Machine Learning ハンズオンモデル解釈 - 資料一覧 - connpass

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

Azure Machine Learning

Slide 10

Slide 10 text

Azure M achine Learning service 実験的なモデル開発⾃動機械学習デザイナー Pytyon / R モデル検証パッケージ化と Azure Container Instnaces での検証モデル学習コンピューティングクラスターモニタリングモデルのモニタリングデプロイスケーラブルな kubernetes サービスへのデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携

Slide 11

Slide 11 text

Responsible Industry leading MLOps Open & Interoperable For all skill levels あらゆるスキルレベルに対応し、 ML の生産性を向上機械学習ライフサイクルの運用管理責任のある ML ソリューションの構築オープンテクノロジーの採用と相互運用性の実現

Slide 12

Slide 12 text

なぜ審査が却下されたのだろうか？審査対象の人の属性機械学習モデル予測値 OK NG 学習推論学習データ精度は高そうだけど、信頼していいのだろうか？男性 or 女性を優遇していない？

Slide 13

Slide 13 text

モデルを改善する方法を知りたいステークホルダーに今後展開するモデルの説明をしたいその予測値の根拠を知りたいデータサイエンティスト利用者・顧客事業・製品担当者 → 機械学習モデルの説明・解釈が必要

Slide 14

Slide 14 text

Global Local

Slide 15

Slide 15 text

解釈可能なモデル BlackBox モデルの説明 ▪ 正確 ▪ 高速 ▪ 高精度 ▪ 柔軟

Slide 16

Slide 16 text

No content

Slide 17

Slide 17 text

目指すところ

Slide 18

Slide 18 text

解釈可能なモデル解釈性を維持したまま、精度を向上

Slide 19

Slide 19 text

BlackBox モデルの説明精度はそのままで、モデルを説明できるようにする

Slide 20

Slide 20 text

大域的局所的

Slide 21

Slide 21 text

https://interpret.ml/

Slide 22

Slide 22 text

https://interpret.ml/ 機械学習モデル解釈・説明のための包括的なフレームワーク決定木ルールリスト線形回帰・ロジスティック回帰 EBM … SHAP LIME Partial Dependence Sensitivity Analysis ...

Slide 23

Slide 23 text

解釈可能性が高い構造を持つ機械学習アルゴリズム Fever? Internal Bleeding? Stay Home Stay Home Go to Hospita l 決定木ルールリスト線形回帰・ロジスティック回帰 Explainable Boosting Machines (EBM) …. Glass-box models

Slide 24

Slide 24 text

ブラックボックスな機械学習モデルの説明 Model Explanation Perturb Inputs Analyze SHAP LIME Partial Dependence Sensitivity Analysis ... Black-box explanations

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

決定木線形回帰 𝑦 = 𝑎𝑥1 + b𝑥2 + c𝑥3 + d𝑥4 + e

Slide 27

Slide 27 text

𝑦 = 𝑎𝑥1 + b𝑥2 + c𝑥3 + d𝑥4 + e 係数の大きさ車幅馬力燃費 0 1 ブランド

Slide 28

Slide 28 text

線形回帰は直線的な関係を表現 𝑥1 𝑥1 EBM は曲線的な関係も表現できる

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

予測値説明変数

Slide 34

Slide 34 text

シャープレイ値に基づく BlackBox モデルの説明

Slide 35

Slide 35 text

各特徴量がどのくらい寄与家の価格の予測 $300,000 家の価格の平均 $310,000 差額 - $10,000

Slide 36

Slide 36 text

近くに公園がある +$10000 猫の飼育禁止 -$20000 安全な地域 +$10000 ペンキ禁止 -$10000 各特徴量がどのくらい寄与

Slide 37

Slide 37 text

No content

Slide 38

Slide 38 text

No content

Slide 39

Slide 39 text

集計されたモデル精度指標では捉えられないモデル誤差の特徴を分析 ① Identification ② Diagnostics 誤差が大きいコホートを特定する木構造で各条件下におけるエラー率・カバレッジを表示対象のコホートを比較し深掘り分析するデータ探索グローバル解釈ローカル解釈 what-if 分析

Slide 40

Slide 40 text

アプローチ : 後方互換性モデルの再学習による互換性の考慮 microsoft/BackwardCompatibilityML: 後方互換性を考慮したモデル学習

Slide 41

Slide 41 text

アプローチ : 反実仮想サンプル反実仮想サンプルによる機械学習モデルの解釈住宅ローンモデルがローンを却下した場合、どういった入力データであれば、ローン審査を通過することができたのかを教えてくれる。 DiCE 反実仮想によるモデル解釈 interpretml/DiCE

Slide 42

Slide 42 text

アプローチ : 機械学習モデルの不公平性 Allocation harms 割り当ての害ローンの申し込み審査において、他のグループよりも白人男性を優先するかもしれません。文字起こしシステムは、女性よりも男性の方が精度が高いかもしれません。 Quality-of-service harms サービス品質の害

Slide 43

Slide 43 text

https://github.com/fairlearn/fairlearn 公平性の評価 : 公平性を評価する一般的なメトリックとダッシュボードを利用した Sensitive Feature の評価モデルのフォーマット : scikit-learn, TensorFlow, PyTorch, Keras などに対応メトリック: 15以上の一般的なグループを対象にした公平性メトリックモデルの種類: クラス分類、回帰不公平性の軽減 : 最先端のアルゴリズムによって分類・回帰モデルの不公平性を軽減 Fairlearn

Slide 44

Slide 44 text

アプローチ : 差分プライバシープライバシーの規制により患者データを直接みれない SmartNoise を用いて、データに “統計的ノイズ” を入れて個人情報の特定を防ぐ model SmartNoise 機械学習における差分プライバシー (プレビュー) - Azure Machine Learning | Microsoft Docs ノイズ

Slide 45

Slide 45 text

機械学習プロジェクトを進めるためのガイドブック Machine Learning Best Practices (azure.github.io)

Slide 46

Slide 46 text

microsoft/machine-learning-collection: machine learning tech collections at Microsoft and subsidiaries.

Slide 47

Slide 47 text

konabuta/responsible-ai (github.com) Machine Learning Best Practices (azure.github.io) microsoft/machine-learning-collection (github.com) InterpretML : Understand Models. Build Responsibly. interpretML (GitHub) 機械学習モデル解釈ナイト (エンジニア向け) BlackBox モデルの説明性・解釈性技術の実装一般化線形モデル (GLM) & 一般化加法モデル(GAM) Deep Learning Ditial Conference [Track4-1] BERT の解剖学 : interpret-text による自然言語処理 (NLP) のモデル解釈 Microsoft AI Business School Microsoft 責任のある AI