Slide 1

Slide 1 text

Azure Machine Learning ハンズオンシリーズ モデル解釈 編 2021年7月16日(金) 16:00 - 17:30

Slide 2

Slide 2 text

Slack ワークスペース

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

https://github.com/konabuta/responsible-ai

Slide 5

Slide 5 text

https://ml.azure.com/ https://github.com/konabuta/responsible-ai Azure Machine Learning ハンズオン モデル解釈 - 資料一覧 - connpass

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

Azure Machine Learning

Slide 10

Slide 10 text

Azure M achine Learning service 実験的なモデル開発 ⾃動機械学習 デザイナー Pytyon / R モデル検証 パッケー ジ化と Azure Container Instnaces での検証 モデル学習 コンピュー ティング クラスター モニタリング モデルのモニタリング デプロイ スケー ラブルな kubernetes サ ー ビス へ のデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携

Slide 11

Slide 11 text

Responsible Industry leading MLOps Open & Interoperable For all skill levels あらゆるスキルレベルに対応し、 ML の生産性を向上 機械学習ライフサイクル の運用管理 責任のある ML ソリューションの構築 オープンテクノロジーの採用 と相互運用性の実現

Slide 12

Slide 12 text

なぜ審査が却下された のだろうか? 審査対象の人の属性 機械学習モデル 予測値 OK NG 学習 推論 学習データ 精度は高そうだけど、 信頼していいのだろうか? 男性 or 女性を 優遇していない?

Slide 13

Slide 13 text

モデルを改善する方法 を知りたい ステークホルダーに 今後展開するモデルの説明をしたい その予測値の根拠を 知りたい データサイエンティスト 利用者・顧客 事業・製品担当者 → 機械学習モデルの説明・解釈が必要

Slide 14

Slide 14 text

Global Local

Slide 15

Slide 15 text

解釈可能なモデル BlackBox モデルの説明 ▪ 正確 ▪ 高速 ▪ 高精度 ▪ 柔軟

Slide 16

Slide 16 text

No content

Slide 17

Slide 17 text

目指すところ

Slide 18

Slide 18 text

解釈可能なモデル 解釈性を維持したまま、 精度を向上

Slide 19

Slide 19 text

BlackBox モデルの説明 精度はそのままで、 モデルを説明できるようにする

Slide 20

Slide 20 text

大域的 局所的

Slide 21

Slide 21 text

https://interpret.ml/

Slide 22

Slide 22 text

https://interpret.ml/ 機械学習モデル解釈・説明のための 包括的なフレームワーク 決定木 ルールリスト 線形回帰・ロジスティック回帰 EBM … SHAP LIME Partial Dependence Sensitivity Analysis ...

Slide 23

Slide 23 text

解釈可能性が高い構造を持つ 機械学習アルゴリズム Fever? Internal Bleeding? Stay Home Stay Home Go to Hospita l 決定木 ルールリスト 線形回帰・ロジスティック回帰 Explainable Boosting Machines (EBM) …. Glass-box models

Slide 24

Slide 24 text

ブラックボックスな 機械学習モデルの説明 Model Explanation Perturb Inputs Analyze SHAP LIME Partial Dependence Sensitivity Analysis ... Black-box explanations

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

決定木 線形回帰 𝑦 = 𝑎𝑥1 + b𝑥2 + c𝑥3 + d𝑥4 + e

Slide 27

Slide 27 text

𝑦 = 𝑎𝑥1 + b𝑥2 + c𝑥3 + d𝑥4 + e 係数の大きさ 車幅 馬力 燃費 0 1 ブランド

Slide 28

Slide 28 text

線形回帰は直線的な関係を表現 𝑥1 𝑥1 EBM は曲線的な関係も表現できる

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

予測値 説明変数

Slide 34

Slide 34 text

シャープレイ値に基づく BlackBox モデルの説明

Slide 35

Slide 35 text

各特徴量がどのくらい寄与 家の価格の 予測 $300,000 家の価格の 平均 $310,000 差額 - $10,000

Slide 36

Slide 36 text

近くに公園がある +$10000 猫の飼育禁止 -$20000 安全な地域 +$10000 ペンキ禁止 -$10000 各特徴量がどのくらい寄与

Slide 37

Slide 37 text

No content

Slide 38

Slide 38 text

No content

Slide 39

Slide 39 text

集計されたモデル精度指標では捉えられないモデル誤差の特徴を分析 ① Identification ② Diagnostics 誤差が大きいコホートを特定する 木構造で各条件下におけるエラー率・カバレッジを表示 対象のコホートを比較し深掘り分析する データ探索 グローバル解釈 ローカル解釈 what-if 分析

Slide 40

Slide 40 text

アプローチ : 後方互換性 モデルの再学習による互換性の考慮 microsoft/BackwardCompatibilityML: 後方互換性を考慮したモデル学習

Slide 41

Slide 41 text

アプローチ : 反実仮想サンプル 反実仮想サンプルによる機械学習モデルの解釈 住宅ローンモデルがローンを却下した場合、 どういった入力データであれば、ローン審査を 通過することができたのかを教えてくれる。 DiCE 反実仮想によるモデル解釈 interpretml/DiCE

Slide 42

Slide 42 text

アプローチ : 機械学習モデルの不公平性 Allocation harms 割り当ての害 ローンの申し込み審査において、 他のグループよりも白人男性を優先するかもしれません。 文字起こしシステムは、女性よりも 男性の方が精度が高いかもしれません。 Quality-of-service harms サービス品質の害

Slide 43

Slide 43 text

https://github.com/fairlearn/fairlearn 公平性の評価 : 公平性を評価する一般的なメトリック とダッシュボードを利用した Sensitive Feature の評価 モデルのフォーマット : scikit-learn, TensorFlow, PyTorch, Keras などに対応 メトリック: 15以上の一般的なグループを対象にした公 平性メトリック モデルの種類: クラス分類、回帰 不公平性の軽減 : 最先端のアルゴリズムによって 分類・回帰モデルの不公平性を軽減 Fairlearn

Slide 44

Slide 44 text

アプローチ : 差分プライバシー プライバシーの規制により 患者データを直接みれない SmartNoise を用いて、データに “統計的ノイズ” を入れて個人情報の特定を防ぐ model SmartNoise 機械学習における差分プライバシー (プレビュー) - Azure Machine Learning | Microsoft Docs ノイズ

Slide 45

Slide 45 text

機械学習プロジェクトを進めるためのガイドブック Machine Learning Best Practices (azure.github.io)

Slide 46

Slide 46 text

microsoft/machine-learning-collection: machine learning tech collections at Microsoft and subsidiaries.

Slide 47

Slide 47 text

konabuta/responsible-ai (github.com) Machine Learning Best Practices (azure.github.io) microsoft/machine-learning-collection (github.com) InterpretML : Understand Models. Build Responsibly. interpretML (GitHub) 機械学習モデル解釈ナイト (エンジニア向け) BlackBox モデルの説明性・解釈性技術の実装 一般化線形モデル (GLM) & 一般化加法モデル(GAM) Deep Learning Ditial Conference [Track4-1] BERT の解剖学 : interpret-text による自然言語処理 (NLP) のモデル解釈 Microsoft AI Business School Microsoft 責任のある AI

Slide 48

Slide 48 text

https://forms.office.com/r/yPvnj9iwLu

Slide 49

Slide 49 text

No content

Slide 50

Slide 50 text

No content