機械学習の公平性と解釈可能性 / Fairness, Interpretability, and Explainability Federation of Workshops

Slide 1

Slide 1 text

機械学習の公平性と解釈可能性 ICML 2018 読み会 Saturday, July 28, 2018

Slide 2

Slide 2 text

Yu Ohori ML Researcher at NSSOL (2017-) ● Semi-supervised learning ● Anomaly detection PyCon JP Staff (2018-) 2

Slide 3

Slide 3 text

3 再犯予測システムが公平性を欠いていると指摘した

Slide 4

Slide 4 text

4 データ主体は決定に対して意味のある説明を要求する権利を有する

Slide 5

Slide 5 text

今，公平性と解釈可能性が熱い？ 5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

ICML 2017 Best Paper Awards ● Koh & Liang, Understanding Black-box Predictions via Influence Functions 7 ICML 2018 Best Paper Awards ● Liu et al., Delayed Impact of Fair Machine Learning

Slide 8

Slide 8 text

ICML 2017 Tutorials ● Kim & Doshi-Velez, Interpretable Machine Learning 8 ICML 2018 Tutorials ● Corbett-Davies & Goel, Defining and Designing Fair Algorithms

Slide 9

Slide 9 text

ICML 2017 Workshops ● 2nd WHI IJCAI 2017 Workshops ● 1st XAI 9 ICML 2018 Workshops ● 5th FAT/ML ● 3rd WHI IJCAI-ECAI 2018 Workshops ● 1st IReDLiA ● 2nd XAI Fairness, Interpretability, and Explainability Federation of Workshops

Slide 10

Slide 10 text

10 3rd Workshop on Human Interpretability in Machine Learning (WHI) Saturday, July 14, 2018 ● 3 invited talks ● 17 contributed talks の中から 5 つ紹介

Slide 11

Slide 11 text

11 何故そう判断した複雑で君には理解出来ない君は信用出来ない機械学習システム利用者

Slide 12

Slide 12 text

12 LIME [Ribeiro et al., KDD ‘16] Code: github.com/marcotcr/lime SHAP [Lundberg & Lee, NIPS ‘17] Code: github.com/slundberg/shap

Slide 13

Slide 13 text

13 LIME の仕組み 1. 対象の周辺で訓練標本を生成，分類器が出力する確率で注釈 2. 対象に近い標本を重み付け，複雑さに対する制約を与え，説明器（Ridge 回帰）を学習 3. 説明器の係数に基づいて，予測に寄与する特徴を提示

Slide 14

Slide 14 text

14 DeepExplain [Ancona et al., ICLR ‘18] Code: github.com/marcoancona/DeepExplain

Slide 15

Slide 15 text

1. Tomsett et al., Interpretable to Whom? A Role-based Model for Analyzing Interpretable Machine Learning Systems エージェントの役割毎に解釈可能性を考察したお話 15

Slide 16

Slide 16 text

16 explainability transparency creator- interpretability 重要重要 operator- interpretability 重要時に重要 executor- interpretability 重要重要でない decision-subject- interpretability 重要時に重要 data-subject- interpretability 重要でない重要 examiner- interpretability 重要重要機械学習エコシステムの概念モデルを提案システム開発企業融資申込者過去の融資申込者金融規制当局金融機関従業員例：融資申込金融機関従業員

Slide 17

Slide 17 text

2. van der Waa et al., Contrastive Explanations with Local Foil Trees Code: github.com/MarcelRobeer/ContrastiveExplanation 高次元データに適用可能な説明手法を提案したお話 17

Slide 18

Slide 18 text

18 LIME, SHAP の問題点次元が大きくなるにつれて，提示する特徴数（説明長）は増えていき，次第に説明の解釈が難しくなる

Slide 19

Slide 19 text

提案手法（Constrative Explanation）の発想「B ではなく A と予測したのは何故か？」という対比した問いに答えることで，説明長を制限出来るのではないか？一対他方式の決定木を学習することでこれを実現 19

Slide 20

Slide 20 text

20 全分類器で説明長が短いことを実証説明長 0 は A と B の間で説明の差異が見られないことを意味する

Slide 21

Slide 21 text

3. Laugel et al., Defining Locality for Surrogates in Post-hoc Interpretablity Code: github.com/axadil/locality-interpretable-surrogate 局所性を適切に定義することで説明器の精度が向上したお話 21

Slide 22

Slide 22 text

22 LIME の問題点分類器の局所的な決定境界の近似に時折失敗

Slide 23

Slide 23 text

● b: black box classifier ● s_x: explanation model 提案手法（LS: Local Surrogate）の発想分類器の決定境界の周辺で訓練標本を生成すれば，説明器の精度が向上するのではないか？ 23

Slide 24

Slide 24 text

24 説明器の精度を測るため，局所忠実性の指標を導入 ● Acc: AUC score ● b: black box classifier ● s_x: explanation model LS が LIME に比べて精度が高いことを実証

Slide 25

Slide 25 text

4. Collaris et al., Instance-Level Explanations for Fraud Detection: A Case Study Achmea 社の保険金詐欺検出に種々の説明手法を利用したお話 25

Slide 26

Slide 26 text

26 専門家の理解を促すため，ダッシュボードを作成 ● Feature contribution [Palczewska et al., IEEE IRI ‘14] ● Partial dependence [Friedman, Ann. Statist. ‘01] ● Local rule extraction [Deng, arXiv ‘14] 1. Rule ダッシュボードは専門家に特に好まれた 2. Partial dependence はあまりに単純であった 3. 説明の不一致は専門家の評価に影響しなかった 4. 欠損値や不均衡は予測の説明に大きく影響した

Slide 27

Slide 27 text

5. Alvarez-Melis & Jakkola, On the Robustness of Interpretability Methods 既存の説明手法の頑健性を測定したお話 27

Slide 28

Slide 28 text

28 LIME, SHAP の問題点複雑なモデルの説明時に，距離が近しい標本の間で意味の異なる説明を提示

Slide 29

Slide 29 text

局所 Lipschitz の定義から頑健性の指標を導入 ● f: explanation model 29 低頑健高頑健 LIME が他手法に比べて頑健でないことを実証

Slide 30

Slide 30 text

5th Workshop on Fairness, Accountability, and Transparency in Machine Learning (FAT/ML) Sunday, July 15, 2018 ● 2 invited talks ● 8 contributed talks ● 20 posters の中から 1 つ紹介 30

Slide 31

Slide 31 text

31 何故そう判断した複雑で君には理解出来ない君は信用出来ない機械学習システム利用者

Slide 32

Slide 32 text

1. Gajane & Pechenizkiy, On Formalizing Fairness in Prediction with Machine Learning 社会科学の立場から種々の公平性を解説したお話 32

Slide 33

Slide 33 text

Slide 34

Slide 34 text

34 時間不足で資料作成が間に合いませんでした近いうちに続きを更新します

Slide 35

Slide 35 text

35 今，公平性と解釈可能性が熱い！ ● 現状は，定式化の合意形成の段階 ● 法整備に伴い，急速に発展する見込み