機械学習の公平性と解釈可能性 / Fairness, Interpretability, and Explainability Federation of Workshops

https://connpass.com/event/92705/

Transcript

1. 機械学習の
   公平性と
   解釈可能性
   ICML 2018 読み会
   Saturday, July 28, 2018
   

   View Slide

2. Yu Ohori
   ML Researcher at NSSOL (2017-)
   ● Semi-supervised learning
   ● Anomaly detection
   PyCon JP Staff (2018-)
   2
   

   View Slide

3. 3
   再犯予測システムが
   公平性を欠いている
   と指摘した
   

   View Slide

4. 4
   データ主体は決定に対して
   意味のある説明を要求する
   権利を有する
   

   View Slide

5. 今，
   公平性と
   解釈可能性が熱い？
   5
   

   View Slide

6. View Slide

7. ICML 2017 Best Paper Awards
   ● Koh & Liang,
   Understanding Black-box
   Predictions via Influence
   Functions
   7
   ICML 2018 Best Paper Awards
   ● Liu et al.,
   Delayed Impact of Fair
   Machine Learning
   

   View Slide

8. ICML 2017 Tutorials
   ● Kim & Doshi-Velez,
   Interpretable Machine
   Learning
   8
   ICML 2018 Tutorials
   ● Corbett-Davies & Goel,
   Defining and Designing
   Fair Algorithms
   

   View Slide

9. ICML 2017 Workshops
   ● 2nd WHI
   IJCAI 2017 Workshops
   ● 1st XAI
   9
   ICML 2018 Workshops
   ● 5th FAT/ML
   ● 3rd WHI
   IJCAI-ECAI 2018 Workshops
   ● 1st IReDLiA
   ● 2nd XAI
   Fairness, Interpretability,
   and Explainability Federation of Workshops
   

   View Slide

10. 10
    3rd Workshop
    on Human Interpretability
    in Machine Learning (WHI)
    Saturday, July 14, 2018
    ● 3 invited talks
    ● 17 contributed talks
    の中から 5 つ紹介
    

    View Slide

11. 11
    何故そう判断した
    複雑で君には
    理解出来ない
    君は信用出来ない
    機械学習システム
    利用者
    

    View Slide

12. 12
    LIME [Ribeiro et al., KDD ‘16]
    Code: github.com/marcotcr/lime
    SHAP [Lundberg & Lee, NIPS ‘17]
    Code: github.com/slundberg/shap
    

    View Slide

13. 13
    LIME の仕組み
    1. 対象の周辺で訓練標本を生成，
    分類器が出力する確率で注釈
    2. 対象に近い標本を重み付け，
    複雑さに対する制約を与え，
    説明器（Ridge 回帰）を学習
    3. 説明器の係数に基づいて，
    予測に寄与する特徴を提示
    

    View Slide

14. 14
    DeepExplain [Ancona et al., ICLR ‘18]
    Code: github.com/marcoancona/DeepExplain
    

    View Slide

15. 1. Tomsett et al.,
    Interpretable to Whom? A Role-based Model for Analyzing
    Interpretable Machine Learning Systems
    エージェントの役割毎に解釈可能性を考察したお話
    15
    

    View Slide

16. 16
    explainability transparency
    creator-
    interpretability
    重要 重要
    operator-
    interpretability
    重要 時に重要
    executor-
    interpretability
    重要 重要でない
    decision-subject-
    interpretability
    重要 時に重要
    data-subject-
    interpretability
    重要でない 重要
    examiner-
    interpretability
    重要 重要
    機械学習エコシステムの
    概念モデルを提案
    システム開発
    企業
    融資申込者
    過去の
    融資申込者
    金融規制
    当局
    金融機関
    従業員
    例：融資申込
    金融機関
    従業員
    

    View Slide

17. 2. van der Waa et al.,
    Contrastive Explanations with Local Foil Trees
    Code: github.com/MarcelRobeer/ContrastiveExplanation
    高次元データに適用可能な説明手法を提案したお話
    17
    

    View Slide

18. 18
    LIME, SHAP の問題点
    次元が大きくなるにつれて，提示する特徴数（説明長）は増えてい
    き，次第に説明の解釈が難しくなる
    

    View Slide

19. 提案手法（Constrative
    Explanation）の発想
    「B ではなく A と予測したのは何故か？」という対比した問い
    に答えることで，説明長を制限出来るのではないか？
    一対他方式の決定木を学習することでこれを実現
    19
    

    View Slide

20. 20
    全分類器で説明長が
    短いことを実証
    説明長 0 は A と B の間で説明の差異が見られないことを意味する
    

    View Slide

21. 3. Laugel et al.,
    Defining Locality for Surrogates in Post-hoc Interpretablity
    Code: github.com/axadil/locality-interpretable-surrogate
    局所性を適切に定義することで説明器の精度が向上したお話
    21
    

    View Slide

22. 22
    LIME の問題点
    分類器の局所的な決定境界
    の近似に時折失敗
    

    View Slide

23. ● b: black box classifier
    ● s_x: explanation model
    提案手法（LS:
    Local Surrogate）の発想
    分類器の決定境界の周辺で
    訓練標本を生成すれば，
    説明器の精度が向上するの
    ではないか？
    23
    

    View Slide

24. 24
    説明器の精度を測るため，
    局所忠実性の指標を導入
    ● Acc: AUC score
    ● b: black box classifier
    ● s_x: explanation model
    LS が LIME に比べて
    精度が高いことを実証
    

    View Slide

25. 4. Collaris et al.,
    Instance-Level Explanations for Fraud Detection: A Case Study
    Achmea 社の保険金詐欺検出に
    種々の説明手法を利用したお話
    25
    

    View Slide

26. 26
    専門家の理解を促すため，
    ダッシュボードを作成
    ● Feature contribution [Palczewska et al., IEEE IRI ‘14]
    ● Partial dependence [Friedman, Ann. Statist. ‘01]
    ● Local rule extraction [Deng, arXiv ‘14]
    1. Rule ダッシュボードは専門家に特に好まれた
    2. Partial dependence はあまりに単純であった
    3. 説明の不一致は専門家の評価に影響しなかった
    4. 欠損値や不均衡は予測の説明に大きく影響した
    

    View Slide

27. 5. Alvarez-Melis & Jakkola,
    On the Robustness of Interpretability Methods
    既存の説明手法の頑健性を測定したお話
    27
    

    View Slide

28. 28
    LIME, SHAP の問題点
    複雑なモデルの説明時に，
    距離が近しい標本の間で
    意味の異なる説明を提示
    

    View Slide

29. 局所 Lipschitz の定義から
    頑健性の指標を導入
    ● f: explanation model
    29
    低頑健
    高頑健
    LIME が他手法に比べて
    頑健でないことを実証
    

    View Slide

30. 5th Workshop
    on Fairness, Accountability,
    and Transparency
    in Machine Learning (FAT/ML)
    Sunday, July 15, 2018
    ● 2 invited talks
    ● 8 contributed talks
    ● 20 posters
    の中から 1 つ紹介
    30
    

    View Slide

31. 31
    何故そう判断した
    複雑で君には
    理解出来ない
    君は信用出来ない
    機械学習システム
    利用者
    

    View Slide

32. 1. Gajane & Pechenizkiy,
    On Formalizing Fairness in Prediction with Machine Learning
    社会科学の立場から種々の公平性を解説したお話
    32
    

    View Slide

33. View Slide

34. 34
    時間不足で資料作成が
    間に合いませんでした
    近いうちに続きを更新します
    

    View Slide

35. 35
    今，
    公平性と
    解釈可能性が熱い！
    ● 現状は，定式化の合意形成の段階
    ● 法整備に伴い，急速に発展する見込み
    

    View Slide