Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
Introduction to Fairness Aware Learning Asei Sugiyama
Slide 2
Slide 2 text
要旨 Fairness Aware Machine Learning は機械学習による不平等な意思決定 を修正するための活動 歴史的には、人間による主観評価から客観的な評価基準を導入したこと で差別が減少したものの、データに基づく評価には依然として人種的な 差別が存在することに対する問題定期がきっかけ 望ましい状況からの逸脱度合いを損失として定義し、最小化することで 取り組みは可能 一方、いくつかの根本的な課題は依然として存在する
Slide 3
Slide 3 text
TOC 1. Fairness のこれまで <- 2. Fairness の定式化 3. 論文 "Equality of Opportunity in Supervised Learning" の紹介 4. 現状の問題点 5. まとめ
Slide 4
Slide 4 text
Fairness のこれまで NeurIPS (NIPS) 2017 Tutorial と神嶌先生の Fairness-Aware Machine Learning and Data Mining からかんたんに流れを抜粋
Slide 5
Slide 5 text
Fairness のこれまで Fairness の対象領域 人間による主観評価 自動判定の導入 自動判定に潜む差別 COMPAS Fairness Aware Machine Learning 深層生成モデル & Fairness
Slide 6
Slide 6 text
Fairness の対象領域 規制されている領域 クレジットの与信 教育 雇用 住宅ローン 公共施設 広告やマーケティングも nips17tutorial
Slide 7
Slide 7 text
人間による主観評価 (職務履歴書を送付したとき の)コールバック率は、白人 っぽい名前のほうが黒人っ ぽい名前よりも 50% も高い 黒人の経験した差別の度合 いは過去 25 年に渡って変化 がない nips17tutorial
Slide 8
Slide 8 text
自動判定の導入 ローンにおける自動判定の 導入 マイノリティや低所得者の 承認率が 30%向上 デフォルト(債務不履行)予測 の精度が向上 nips17tutorial
Slide 9
Slide 9 text
自動判定に潜む差別 マイノリティはそもそもロ ーンを受けにくい デフォルト予測においてロ ーンが通った人だけを対象 に学習すると、マイノリテ ィのデータが少なくなって しまう Fairness-Aware Machine Learning and Data Mining p.16
Slide 10
Slide 10 text
COMPAS (1/2) 再犯予測システム 2016 年に報道機関 Propublica が COMPAS の 判断結果に人種差別がある と報道 高リスク判定が黒人に偏っ て算出されることが判明し た Fairness-Aware Machine Learning and Data Mining p.20
Slide 11
Slide 11 text
COMPAS (2/2) 調査者と製作者の意見が対立 調査者: 偽陽性と偽陰性に基づくと差 別的 製作者: 同一スコアの人は人種によら ず再犯確率は同じ 数理的にはこの 2 つを同時に満たせ ないことが知られている Fairness の定義について議論に アルゴリズムの判断はいつ差別になるのか : COMPAS 事例を参照して
Slide 12
Slide 12 text
Fairness Aware Machine Learning Fairness への取り組みが加速 PAIR @ Google の設立 (2017) NeurIPS (NIPS) 2017 Tutorial Fairness-Aware Machine Learning: Practical Challenges and Lessons Learned (KDD'19 Fairness Tutorial) KDD'19 Fairness Tutorial & PAIR: the People + AI Research Initiative
Slide 13
Slide 13 text
深層生成モデル & Fairness 解像度を落としたオバマ大 統領の画像を高解像度化す ると白人に 人種を収集しなくてもデー タセットそのものにバイア スがあった例
Slide 14
Slide 14 text
TOC 1. Fairness のこれまで 2. Fairness の定式化 <- 3. 論文 "Equality of Opportunity in Supervised Learning" の紹介 4. 現状の問題点 5. まとめ
Slide 15
Slide 15 text
Fairness の定式化 主に神嶌先生の Fairness-Aware Machine Learning and Data Mining から抜 粋
Slide 16
Slide 16 text
Fairness の定式化 登場する概念の準備 センシティブな特徴の例 Formal Fairness 最小化問題としての定式化
Slide 17
Slide 17 text
登場する概念の準 備 : 個人の特徴量 or : センシティ ブな特徴 : 目的変数 : 予測器 X A S Y R = R(X, A) Fairness-Aware Machine Learning and Data Mining p.27
Slide 18
Slide 18 text
センシティブ な特徴 (1/2) 人種 肌の色 性別 宗教 出身国 市民権 年齢 nips17tutorial
Slide 19
Slide 19 text
センシティブ な特徴 (2/2) 妊娠 結婚歴 障害の度合い 従軍経験 地理的な情報 etc. nips17tutorial
Slide 20
Slide 20 text
Formal Fairness Fairness through Unawareness Statistical Parity / Independence Equialized Odds / Separation Equal Opportunity / Sufficiency Fairness-Aware Machine Learning and Data Mining p.40
Slide 21
Slide 21 text
Fairness through Unawareness (1/2) 同じ特徴なら センシティブ な特徴に依存 せず 同じ予測結果 Fairness-Aware Machine Learning and Data Mining p.41
Slide 22
Slide 22 text
Fairness through Unawareness (2/2) 一見良さそう 実際は不十分 S が変化した ときに予測結 果が変化 Fairness-Aware Machine Learning and Data Mining p.42
Slide 23
Slide 23 text
Independence (1/2) 次の2つが独立 モデルの推論 結果 センシティブ な特徴 Fairness-Aware Machine Learning and Data Mining p.44
Slide 24
Slide 24 text
Independence (2/2) : 人種 : 破産予測 人種によって 予測結果の割 合が変わるの は不平等 S Y ^ Fairness-Aware Machine Learning and Data Mining p.45
Slide 25
Slide 25 text
Separation 偽陽性/偽陰性 に着目 : 人種 : 破産予測 : 完済/破産 偽陽性/偽陰性 の確率は人種 間で等しくあ るべき S Y ^ Y Fairness-Aware Machine Learning and Data Mining p.47
Slide 26
Slide 26 text
Sufficiency precision に着 目 : 人種 : 破産予測 : 完済/破産 正しく予測で きた確率は人 種間で等しく あるべき S Y ^ Y Fairness-Aware Machine Learning and Data Mining p.49
Slide 27
Slide 27 text
最小化問題としての定式化 「Fair な状態」を「Unfair でない状態」ととらえ Unfairness を定義 Unfairness を損失として捉え、最小化問題に帰着 好きな方法で解く (Bayes 最適化など) [1610.02413] Equality of Opportunity in Supervised Learning
Slide 28
Slide 28 text
因果推論としての定式化 , , , の間の関係を DAG として記述し整理することもできる Counterfactual Fairness で因果推論としての定式化がなされている X A R Y
Slide 29
Slide 29 text
TOC 1. Fairness のこれまで 2. Fairness の定式化 3. 論文 "Equality of Opportunity in Supervised Learning" の紹介 <- 4. 現状の問題点 5. まとめ
Slide 30
Slide 30 text
Equality of Opportunity in Supervised Learning NeurIPS (NIPS) 2016 教師あり学習における、センシティブな情報に基づく差別の度合いの尺 度を提案 提案した尺度を用いて後処理を行うことにより、差別を除去 提案した手法を FICO のクレジットスコアに適用することにより、有効 性を検証
Slide 31
Slide 31 text
Equality of Opportunity in Supervised Learning FICO Score 問題の定式化 提案手法 Case Study: FICO scores
Slide 32
Slide 32 text
FICO Score クレジットカードの与信スコアを提供するサービス さまざまな特徴に基づきスコアを算出 620 点がしきい値に使われる このとき、82% が返済する (18% が債務不履行) 算出に用いる特徴のなかにセンシティブなものが含まれる センシティブな特徴のうち、今回は人種に着目
Slide 33
Slide 33 text
問題の定式化 これまでに述べたものに同じ : 個人の特徴量 : センシティブな特徴 : FICO スコアの予測値 : ローン付与可能 (1) 不可能 (0) R の値がしきい値以上かどうかで可能、不可能を決める : 完済 (1) デフォルト (0) X A R = R(X, A) Y ^ Y
Slide 34
Slide 34 text
提案手法 通常のローン完済の予測モデルを作成し、しきい値を後処理で調整 Fair なときに小さな値を取るような損失を定義し、その期待値を最小化 するよう、ローン付与可否のしきい値を調整 [1610.02413] Equality of Opportunity in Supervised Learning
Slide 35
Slide 35 text
Case Study: FICO scores 基礎分析 (Fig. 7) 異なる Fairness の定義 FICO Score のしきい値を 620 にした場合 (Fib. 8) 異なる Fairness で人種ごとのしきい値を可視化 (Fig. 9) それぞれの人種で精度比較 (Fig. 10) ローン付与/ローン完済の割合の比較 (Fig. 11)
Slide 36
Slide 36 text
基礎分析 (Fig. 7) FICO score - 破産確率 (上図) を見る と、同じスコアが与えられたときの 破産確率は人種にかかわらず同じ 累積密度分布 (下図) を見ると、黒人 やヒスパニックのほうが、アジア系 や白人よりもスコアが低い傾向にあ る [1610.02413] Equality of Opportunity in Supervised Learning
Slide 37
Slide 37 text
基礎分析 (Fig. 7)
Slide 38
Slide 38 text
異なる Fairness の定義 (1/2) Max profit: Fairness を考えず、82% の人が完済するようなしきい値を 人種ごとに設ける Race blind: 全体の 82% が完済するようなしきい値を人種横断で使う
Slide 39
Slide 39 text
異なる Fairness の定義 (2/2) Demographic parity: 各人種でローンの付与される割合がおなじになる よう、しきい値を調整する Equal opportunity: ローンが付与された人のうち、完済する人の割合が おなじになるよう、各人種でしきい値を調整 Equalized Odds: ローンが付与された人のうち完済した人の割合も完済 しなかった人の割合も同じになるように、各人種でしきい値を調整
Slide 40
Slide 40 text
FICO Score のしきい値を 620 にした場合 (Fib. 8) 上図: FICO スコア 620 点を人種によ らずしきい値とした場合 下図: 横軸を FICO スコアから FICO スコアのパーセンタイル値に変えた 場合 曲線の下の面積: それぞれの人種にお いて完済した人のうち、FICO スコア が 620 となった人の割合 [1610.02413] Equality of Opportunity in Supervised Learning
Slide 41
Slide 41 text
FICO Score のしきい値を 620 にした場合 (Fib. 8) ローンが通った割合は黒人で上位20%弱、アジア系で上位60%超
Slide 42
Slide 42 text
異なる Fairness で人種ごとのしきい値を可視化 (Fig. 9) Fairness の定義によって大きくしきい値が異なる
Slide 43
Slide 43 text
それぞれの人種で精度比較 (Fig. 10) それぞれの人種ごとに ROC カーブを描いた図
Slide 44
Slide 44 text
それぞれの人種で精度比 較 (Fig. 10) 白人は予測精度が良い アジア系はローンが付与さ れがちなのに相対的に予測 精度が低い 黒人はローンが付与されな いのにアジア系よりも予測 精度が良い
Slide 45
Slide 45 text
ローン付与/ローン完済の割合 の比較 (Fig. 11) それぞれの Fairness の与え 方ごとに、ローンを完済し た人のうち、ローンが付与 される人の割合を示した図 Opportunity はこの割合が 人種間で平等になる
Slide 46
Slide 46 text
ローン付与/ローン完済の割合の比 較 (Fig. 11) 横軸: Max profit 基準でローンが 付与された人のうち完済した人 の割合 縦軸: Max profit 基準でローンが 付与された人の割合 曲線: 割合の変化を、それぞれの 基準についてとったもの Max profit 基準と一致すると右 上へと膨らんだ曲線になる
Slide 47
Slide 47 text
TOC 1. Fairness のこれまで 2. Fairness の定式化 3. 論文 "Equality of Opportunity in Supervised Learning" の紹介 4. 現状の問題点 <- 5. まとめ
Slide 48
Slide 48 text
現状の問題点 Fairness という単一の基準は存在しない 定式化によって、結果が大きく変わってしまう センシティブな属性情報に基づく調整が必要
Slide 49
Slide 49 text
Fairness という単一の基準は存在しない ドメインに大きく依存し、単一の正解はない 次善策として、Unfairness を自分で考え最小化しなければいけない 定式化によって結果が大きく変わってしまう 定式化しだいでは意図しない結果となってしまう
Slide 50
Slide 50 text
センシティブな属性情報 に基づく調整が必要 センシティブな属性情報に 基づいて調整しないと Fairness に近づけない ユーザーが情報提供してく れるとは限らない 法的な規制の結果、収集自 体が難しい 画像は暗黙的にセンシティ ブな属性情報を含む
Slide 51
Slide 51 text
TOC 1. Fairness のこれまで 2. Fairness の定式化 3. 論文 "Equality of Opportunity in Supervised Learning" の紹介 4. 現状の問題点 5. まとめ <-
Slide 52
Slide 52 text
Recap Fairness Aware Machine Learning は機械学習による不平等な意思決定 を修正するための活動 歴史的には、人間による主観評価から客観的な評価基準を導入したこと で差別が減少したものの、データに基づく評価には依然として人種的な 差別が存在することに対する問題定期がきっかけ 望ましい状況からの逸脱度合いを損失として定義し、最小化することで 取り組みは可能 一方、いくつかの根本的な課題は依然として存在する