$30 off During Our Annual Pro Sale. View Details »

機械学習の公平性と解釈可能性 / Fairness, Interpretability, and Explainability Federation of Workshops

Kon
July 28, 2018

機械学習の公平性と解釈可能性 / Fairness, Interpretability, and Explainability Federation of Workshops

Kon

July 28, 2018
Tweet

More Decks by Kon

Other Decks in Science

Transcript

  1. 機械学習の
    公平性と
    解釈可能性
    ICML 2018 読み会
    Saturday, July 28, 2018

    View Slide

  2. Yu Ohori
    ML Researcher at NSSOL (2017-)
    ● Semi-supervised learning
    ● Anomaly detection
    PyCon JP Staff (2018-)
    2

    View Slide

  3. 3
    再犯予測システムが
    公平性を欠いている
    と指摘した

    View Slide

  4. 4
    データ主体は決定に対して
    意味のある説明を要求する
    権利を有する

    View Slide

  5. 今,
    公平性と
    解釈可能性が熱い?
    5

    View Slide

  6. 6

    View Slide

  7. ICML 2017 Best Paper Awards
    ● Koh & Liang,
    Understanding Black-box
    Predictions via Influence
    Functions
    7
    ICML 2018 Best Paper Awards
    ● Liu et al.,
    Delayed Impact of Fair
    Machine Learning

    View Slide

  8. ICML 2017 Tutorials
    ● Kim & Doshi-Velez,
    Interpretable Machine
    Learning
    8
    ICML 2018 Tutorials
    ● Corbett-Davies & Goel,
    Defining and Designing
    Fair Algorithms

    View Slide

  9. ICML 2017 Workshops
    ● 2nd WHI
    IJCAI 2017 Workshops
    ● 1st XAI
    9
    ICML 2018 Workshops
    ● 5th FAT/ML
    ● 3rd WHI
    IJCAI-ECAI 2018 Workshops
    ● 1st IReDLiA
    ● 2nd XAI
    Fairness, Interpretability,
    and Explainability Federation of Workshops

    View Slide

  10. 10
    3rd Workshop
    on Human Interpretability
    in Machine Learning (WHI)
    Saturday, July 14, 2018
    ● 3 invited talks
    ● 17 contributed talks
    の中から 5 つ紹介

    View Slide

  11. 11
    何故そう判断した
    複雑で君には
    理解出来ない
    君は信用出来ない
    機械学習システム
    利用者

    View Slide

  12. 12
    LIME [Ribeiro et al., KDD ‘16]
    Code: github.com/marcotcr/lime
    SHAP [Lundberg & Lee, NIPS ‘17]
    Code: github.com/slundberg/shap

    View Slide

  13. 13
    LIME の仕組み
    1. 対象の周辺で訓練標本を生成,
    分類器が出力する確率で注釈
    2. 対象に近い標本を重み付け,
    複雑さに対する制約を与え,
    説明器(Ridge 回帰)を学習
    3. 説明器の係数に基づいて,
    予測に寄与する特徴を提示

    View Slide

  14. 14
    DeepExplain [Ancona et al., ICLR ‘18]
    Code: github.com/marcoancona/DeepExplain

    View Slide

  15. 1. Tomsett et al.,
    Interpretable to Whom? A Role-based Model for Analyzing
    Interpretable Machine Learning Systems
    エージェントの役割毎に解釈可能性を考察したお話
    15

    View Slide

  16. 16
    explainability transparency
    creator-
    interpretability
    重要 重要
    operator-
    interpretability
    重要 時に重要
    executor-
    interpretability
    重要 重要でない
    decision-subject-
    interpretability
    重要 時に重要
    data-subject-
    interpretability
    重要でない 重要
    examiner-
    interpretability
    重要 重要
    機械学習エコシステムの
    概念モデルを提案
    システム開発
    企業
    融資申込者
    過去の
    融資申込者
    金融規制
    当局
    金融機関
    従業員
    例:融資申込
    金融機関
    従業員

    View Slide

  17. 2. van der Waa et al.,
    Contrastive Explanations with Local Foil Trees
    Code: github.com/MarcelRobeer/ContrastiveExplanation
    高次元データに適用可能な説明手法を提案したお話
    17

    View Slide

  18. 18
    LIME, SHAP の問題点
    次元が大きくなるにつれて,提示する特徴数(説明長)は増えてい
    き,次第に説明の解釈が難しくなる

    View Slide

  19. 提案手法(Constrative
    Explanation)の発想
    「B ではなく A と予測したのは何故か?」という対比した問い
    に答えることで,説明長を制限出来るのではないか?
    一対他方式の決定木を学習することでこれを実現
    19

    View Slide

  20. 20
    全分類器で説明長が
    短いことを実証
    説明長 0 は A と B の間で説明の差異が見られないことを意味する

    View Slide

  21. 3. Laugel et al.,
    Defining Locality for Surrogates in Post-hoc Interpretablity
    Code: github.com/axadil/locality-interpretable-surrogate
    局所性を適切に定義することで説明器の精度が向上したお話
    21

    View Slide

  22. 22
    LIME の問題点
    分類器の局所的な決定境界
    の近似に時折失敗

    View Slide

  23. ● b: black box classifier
    ● s_x: explanation model
    提案手法(LS:
    Local Surrogate)の発想
    分類器の決定境界の周辺で
    訓練標本を生成すれば,
    説明器の精度が向上するの
    ではないか?
    23

    View Slide

  24. 24
    説明器の精度を測るため,
    局所忠実性の指標を導入
    ● Acc: AUC score
    ● b: black box classifier
    ● s_x: explanation model
    LS が LIME に比べて
    精度が高いことを実証

    View Slide

  25. 4. Collaris et al.,
    Instance-Level Explanations for Fraud Detection: A Case Study
    Achmea 社の保険金詐欺検出に
    種々の説明手法を利用したお話
    25

    View Slide

  26. 26
    専門家の理解を促すため,
    ダッシュボードを作成
    ● Feature contribution [Palczewska et al., IEEE IRI ‘14]
    ● Partial dependence [Friedman, Ann. Statist. ‘01]
    ● Local rule extraction [Deng, arXiv ‘14]
    1. Rule ダッシュボードは専門家に特に好まれた
    2. Partial dependence はあまりに単純であった
    3. 説明の不一致は専門家の評価に影響しなかった
    4. 欠損値や不均衡は予測の説明に大きく影響した

    View Slide

  27. 5. Alvarez-Melis & Jakkola,
    On the Robustness of Interpretability Methods
    既存の説明手法の頑健性を測定したお話
    27

    View Slide

  28. 28
    LIME, SHAP の問題点
    複雑なモデルの説明時に,
    距離が近しい標本の間で
    意味の異なる説明を提示

    View Slide

  29. 局所 Lipschitz の定義から
    頑健性の指標を導入
    ● f: explanation model
    29
    低頑健
    高頑健
    LIME が他手法に比べて
    頑健でないことを実証

    View Slide

  30. 5th Workshop
    on Fairness, Accountability,
    and Transparency
    in Machine Learning (FAT/ML)
    Sunday, July 15, 2018
    ● 2 invited talks
    ● 8 contributed talks
    ● 20 posters
    の中から 1 つ紹介
    30

    View Slide

  31. 31
    何故そう判断した
    複雑で君には
    理解出来ない
    君は信用出来ない
    機械学習システム
    利用者

    View Slide

  32. 1. Gajane & Pechenizkiy,
    On Formalizing Fairness in Prediction with Machine Learning
    社会科学の立場から種々の公平性を解説したお話
    32

    View Slide

  33. 33

    View Slide

  34. 34
    時間不足で資料作成が
    間に合いませんでした
    近いうちに続きを更新します

    View Slide

  35. 35
    今,
    公平性と
    解釈可能性が熱い!
    ● 現状は,定式化の合意形成の段階
    ● 法整備に伴い,急速に発展する見込み

    View Slide