Introduction to Fairness Aware Learning

Fairness Aware Learning について、いくつかのサーベイを参照しながら論文 "Equality of Opportunity in Supervised Learning" を事例として紹介した資料です。

Reference
NeurIPS (NIPS) 2017 Tutorial https://mrtz.org/nips17/#/
Fairness-Aware Machine Learning and Data Mining
アルゴリズムの判断はいつ差別になるのか : COMPAS 事例を参照して https://eprints.lib.hokudai.ac.jp/dspace/handle/2115/80958
KDD'19 Fairness Tutorial https://sites.google.com/view/kdd19-fairness-tutorial
Equality of Opportunity in Supervised Learning https://arxiv.org/abs/1610.02413

Transcript

1. Introduction to Fairness Aware
   Learning
   Asei Sugiyama
   

   View Slide

2. 要旨
   Fairness Aware Machine Learning は機械学習による不平等な意思決定
   を修正するための活動
   歴史的には、人間による主観評価から客観的な評価基準を導入したこと
   で差別が減少したものの、データに基づく評価には依然として人種的な
   差別が存在することに対する問題定期がきっかけ
   望ましい状況からの逸脱度合いを損失として定義し、最小化することで
   取り組みは可能
   一方、いくつかの根本的な課題は依然として存在する
   

   View Slide

3. TOC
   1. Fairness のこれまで <-
   2. Fairness の定式化
   3. 論文 "Equality of Opportunity in Supervised Learning" の紹介
   4. 現状の問題点
   5. まとめ
   

   View Slide

4. Fairness のこれまで
   NeurIPS (NIPS) 2017 Tutorial と神嶌先生の Fairness-Aware Machine
   Learning and Data Mining からかんたんに流れを抜粋
   

   View Slide

5. Fairness のこれまで
   Fairness の対象領域
   人間による主観評価
   自動判定の導入
   自動判定に潜む差別
   COMPAS
   Fairness Aware Machine Learning
   深層生成モデル & Fairness
   

   View Slide

6. Fairness の対象領域
   規制されている領域
   クレジットの与信
   教育
   雇用
   住宅ローン
   公共施設
   広告やマーケティングも
   nips17tutorial
   

   View Slide

7. 人間による主観評価
   (職務履歴書を送付したとき
   の)コールバック率は、白人
   っぽい名前のほうが黒人っ
   ぽい名前よりも 50% も高い
   黒人の経験した差別の度合
   いは過去 25 年に渡って変化
   がない
   nips17tutorial
   

   View Slide

8. 自動判定の導入
   ローンにおける自動判定の
   導入
   マイノリティや低所得者の
   承認率が 30%向上
   デフォルト(債務不履行)予測
   の精度が向上
   nips17tutorial
   

   View Slide

9. 自動判定に潜む差別
   マイノリティはそもそもロ
   ーンを受けにくい
   デフォルト予測においてロ
   ーンが通った人だけを対象
   に学習すると、マイノリテ
   ィのデータが少なくなって
   しまう
   Fairness-Aware Machine Learning and Data Mining p.16
   

   View Slide

10. COMPAS (1/2)
    再犯予測システム
    2016 年に報道機関
    Propublica が COMPAS の
    判断結果に人種差別がある
    と報道
    高リスク判定が黒人に偏っ
    て算出されることが判明し
    た
    Fairness-Aware Machine Learning and Data Mining p.20
    

    View Slide

11. COMPAS (2/2)
    調査者と製作者の意見が対立
    調査者: 偽陽性と偽陰性に基づくと差
    別的
    製作者: 同一スコアの人は人種によら
    ず再犯確率は同じ
    数理的にはこの 2 つを同時に満たせ
    ないことが知られている
    Fairness の定義について議論に
    アルゴリズムの判断はいつ差別になるのか : COMPAS 事例を参照して
    

    View Slide

12. Fairness Aware Machine
    Learning
    Fairness への取り組みが加速
    PAIR @ Google の設立 (2017)
    NeurIPS (NIPS) 2017 Tutorial
    Fairness-Aware Machine
    Learning: Practical Challenges
    and Lessons Learned (KDD'19
    Fairness Tutorial)
    KDD'19 Fairness Tutorial & PAIR: the People + AI Research Initiative
    

    View Slide

13. 深層生成モデル &
    Fairness
    解像度を落としたオバマ大
    統領の画像を高解像度化す
    ると白人に
    人種を収集しなくてもデー
    タセットそのものにバイア
    スがあった例
    

    View Slide

14. TOC
    1. Fairness のこれまで
    2. Fairness の定式化 <-
    3. 論文 "Equality of Opportunity in Supervised Learning" の紹介
    4. 現状の問題点
    5. まとめ
    

    View Slide

15. Fairness の定式化
    主に神嶌先生の Fairness-Aware Machine Learning and Data Mining から抜
    粋
    

    View Slide

16. Fairness の定式化
    登場する概念の準備
    センシティブな特徴の例
    Formal Fairness
    最小化問題としての定式化
    

    View Slide

17. 登場する概念の準
    備
    : 個人の特徴量
    or : センシティ
    ブな特徴
    : 目的変数
    :
    予測器
    X
    A S
    Y
    R = R(X, A)
    Fairness-Aware Machine Learning and Data Mining p.27
    

    View Slide

18. センシティブ
    な特徴 (1/2)
    人種
    肌の色
    性別
    宗教
    出身国
    市民権
    年齢
    nips17tutorial
    

    View Slide

19. センシティブ
    な特徴 (2/2)
    妊娠
    結婚歴
    障害の度合い
    従軍経験
    地理的な情報
    etc.
    nips17tutorial
    

    View Slide

20. Formal Fairness
    Fairness through Unawareness
    Statistical Parity / Independence
    Equialized Odds / Separation
    Equal Opportunity / Sufficiency
    Fairness-Aware Machine Learning and Data Mining p.40
    

    View Slide

21. Fairness through
    Unawareness
    (1/2)
    同じ特徴なら
    センシティブ
    な特徴に依存
    せず
    同じ予測結果
    Fairness-Aware Machine Learning and Data Mining
    p.41
    

    View Slide

22. Fairness through
    Unawareness
    (2/2)
    一見良さそう
    実際は不十分
    S が変化した
    ときに予測結
    果が変化
    Fairness-Aware Machine Learning and Data Mining
    p.42
    

    View Slide

23. Independence
    (1/2)
    次の2つが独立
    モデルの推論
    結果
    センシティブ
    な特徴
    Fairness-Aware Machine Learning and Data Mining
    p.44
    

    View Slide

24. Independence
    (2/2)
    : 人種
    : 破産予測
    人種によって
    予測結果の割
    合が変わるの
    は不平等
    S
    Y
    ^
    Fairness-Aware Machine Learning and Data Mining
    p.45
    

    View Slide

25. Separation
    偽陽性/偽陰性
    に着目
    : 人種
    : 破産予測
    : 完済/破産
    偽陽性/偽陰性
    の確率は人種
    間で等しくあ
    るべき
    S
    Y
    ^
    Y
    Fairness-Aware Machine Learning and Data Mining
    p.47
    

    View Slide

26. Sufficiency
    precision に着
    目
    : 人種
    : 破産予測
    : 完済/破産
    正しく予測で
    きた確率は人
    種間で等しく
    あるべき
    S
    Y
    ^
    Y
    Fairness-Aware Machine Learning and Data Mining
    p.49
    

    View Slide

27. 最小化問題としての定式化
    「Fair な状態」を「Unfair でない状態」ととらえ Unfairness を定義
    Unfairness を損失として捉え、最小化問題に帰着
    好きな方法で解く (Bayes 最適化など)
    [1610.02413] Equality of Opportunity in Supervised Learning
    

    View Slide

28. 因果推論としての定式化
    , , , の間の関係を DAG として記述し整理することもできる
    Counterfactual Fairness で因果推論としての定式化がなされている
    X A R Y
    

    View Slide

29. TOC
    1. Fairness のこれまで
    2. Fairness の定式化
    3. 論文 "Equality of Opportunity in Supervised Learning" の紹介 <-
    4. 現状の問題点
    5. まとめ
    

    View Slide

30. Equality of Opportunity in Supervised
    Learning
    NeurIPS (NIPS) 2016
    教師あり学習における、センシティブな情報に基づく差別の度合いの尺
    度を提案
    提案した尺度を用いて後処理を行うことにより、差別を除去
    提案した手法を FICO のクレジットスコアに適用することにより、有効
    性を検証
    

    View Slide

31. Equality of Opportunity in Supervised Learning
    FICO Score
    問題の定式化
    提案手法
    Case Study: FICO scores
    

    View Slide

32. FICO Score
    クレジットカードの与信スコアを提供するサービス
    さまざまな特徴に基づきスコアを算出
    620 点がしきい値に使われる
    このとき、82% が返済する (18% が債務不履行)
    算出に用いる特徴のなかにセンシティブなものが含まれる
    センシティブな特徴のうち、今回は人種に着目
    

    View Slide

33. 問題の定式化
    これまでに述べたものに同じ
    : 個人の特徴量
    : センシティブな特徴
    : FICO スコアの予測値
    : ローン付与可能 (1) 不可能 (0)
    R の値がしきい値以上かどうかで可能、不可能を決める
    : 完済 (1) デフォルト (0)
    X
    A
    R = R(X, A)
    Y
    ^
    Y
    

    View Slide

34. 提案手法
    通常のローン完済の予測モデルを作成し、しきい値を後処理で調整
    Fair なときに小さな値を取るような損失を定義し、その期待値を最小化
    するよう、ローン付与可否のしきい値を調整
    [1610.02413] Equality of Opportunity in Supervised Learning
    

    View Slide

35. Case Study: FICO scores
    基礎分析 (Fig. 7)
    異なる Fairness の定義
    FICO Score のしきい値を 620 にした場合 (Fib. 8)
    異なる Fairness で人種ごとのしきい値を可視化 (Fig. 9)
    それぞれの人種で精度比較 (Fig. 10)
    ローン付与/ローン完済の割合の比較 (Fig. 11)
    

    View Slide

36. 基礎分析 (Fig. 7)
    FICO score - 破産確率 (上図) を見る
    と、同じスコアが与えられたときの
    破産確率は人種にかかわらず同じ
    累積密度分布 (下図) を見ると、黒人
    やヒスパニックのほうが、アジア系
    や白人よりもスコアが低い傾向にあ
    る
    [1610.02413] Equality of Opportunity in Supervised Learning
    

    View Slide

37. 基礎分析 (Fig. 7)
    

    View Slide

38. 異なる Fairness の定義 (1/2)
    Max profit: Fairness を考えず、82% の人が完済するようなしきい値を
    人種ごとに設ける
    Race blind: 全体の 82% が完済するようなしきい値を人種横断で使う
    

    View Slide

39. 異なる Fairness の定義 (2/2)
    Demographic parity: 各人種でローンの付与される割合がおなじになる
    よう、しきい値を調整する
    Equal opportunity: ローンが付与された人のうち、完済する人の割合が
    おなじになるよう、各人種でしきい値を調整
    Equalized Odds: ローンが付与された人のうち完済した人の割合も完済
    しなかった人の割合も同じになるように、各人種でしきい値を調整
    

    View Slide

40. FICO Score のしきい値を 620
    にした場合 (Fib. 8)
    上図: FICO スコア 620 点を人種によ
    らずしきい値とした場合
    下図: 横軸を FICO スコアから FICO
    スコアのパーセンタイル値に変えた
    場合
    曲線の下の面積: それぞれの人種にお
    いて完済した人のうち、FICO スコア
    が 620 となった人の割合
    [1610.02413] Equality of Opportunity in Supervised Learning
    

    View Slide

41. FICO Score のしきい値を 620 にした場合 (Fib. 8)
    ローンが通った割合は黒人で上位20%弱、アジア系で上位60%超
    

    View Slide

42. 異なる Fairness で人種ごとのしきい値を可視化 (Fig. 9)
    Fairness の定義によって大きくしきい値が異なる
    

    View Slide

43. それぞれの人種で精度比較 (Fig. 10)
    それぞれの人種ごとに ROC カーブを描いた図
    

    View Slide

44. それぞれの人種で精度比
    較 (Fig. 10)
    白人は予測精度が良い
    アジア系はローンが付与さ
    れがちなのに相対的に予測
    精度が低い
    黒人はローンが付与されな
    いのにアジア系よりも予測
    精度が良い
    

    View Slide

45. ローン付与/ローン完済の割合
    の比較 (Fig. 11)
    それぞれの Fairness の与え
    方ごとに、ローンを完済し
    た人のうち、ローンが付与
    される人の割合を示した図
    Opportunity はこの割合が
    人種間で平等になる
    

    View Slide

46. ローン付与/ローン完済の割合の比
    較 (Fig. 11)
    横軸: Max profit 基準でローンが
    付与された人のうち完済した人
    の割合
    縦軸: Max profit 基準でローンが
    付与された人の割合
    曲線: 割合の変化を、それぞれの
    基準についてとったもの
    Max profit 基準と一致すると右
    上へと膨らんだ曲線になる
    

    View Slide

47. TOC
    1. Fairness のこれまで
    2. Fairness の定式化
    3. 論文 "Equality of Opportunity in Supervised Learning" の紹介
    4. 現状の問題点 <-
    5. まとめ
    

    View Slide

48. 現状の問題点
    Fairness という単一の基準は存在しない
    定式化によって、結果が大きく変わってしまう
    センシティブな属性情報に基づく調整が必要
    

    View Slide

49. Fairness という単一の基準は存在しない
    ドメインに大きく依存し、単一の正解はない
    次善策として、Unfairness を自分で考え最小化しなければいけない
    定式化によって結果が大きく変わってしまう
    定式化しだいでは意図しない結果となってしまう
    

    View Slide

50. センシティブな属性情報
    に基づく調整が必要
    センシティブな属性情報に
    基づいて調整しないと
    Fairness に近づけない
    ユーザーが情報提供してく
    れるとは限らない
    法的な規制の結果、収集自
    体が難しい
    画像は暗黙的にセンシティ
    ブな属性情報を含む
    

    View Slide

51. TOC
    1. Fairness のこれまで
    2. Fairness の定式化
    3. 論文 "Equality of Opportunity in Supervised Learning" の紹介
    4. 現状の問題点
    5. まとめ <-
    

    View Slide

52. Recap
    Fairness Aware Machine Learning は機械学習による不平等な意思決定
    を修正するための活動
    歴史的には、人間による主観評価から客観的な評価基準を導入したこと
    で差別が減少したものの、データに基づく評価には依然として人種的な
    差別が存在することに対する問題定期がきっかけ
    望ましい状況からの逸脱度合いを損失として定義し、最小化することで
    取り組みは可能
    一方、いくつかの根本的な課題は依然として存在する
    

    View Slide