AIから 不公平なバイアスを 取り除く AI Fairness 360 Open Source Toolkit ⻄⼾ 京⼦ Developer Advocate ⽇本アイ・ビー・エム(株)

Speaker ⻄⼾ 京⼦ Kyoko Nishito IBM Developer Advocate KyokoNishito

City Leader AKIRA ONISHI City Team TAIJI HAGINO KYOKO NISHITO AYA TOKURA NORIKO KATO Program Manager TOSHIO YAMASHITA Client Team YASUSHI OSONOI JUNKI SAGAWA DEVELOPER ADVOCATE in TOKYO Tokyo Team is a part of Worldwide Developer Advocate Teams!

4 1.公平性とバイアスとは 2.バイアスの原因とバイアス測定⽅法 3.バイアスの軽減 4.AI Fairness 360 Toolkit概要&Web Demo 5.AI Fairness 360 Toolkit Python Demo 6.まとめ Today’s Agenda IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation

1. 公平性とバイアスとは 5

なぜ公平性を考慮するので しょう︖ 6 IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation

公平性 (fairness) とは? 7 IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation • 公平性(fairness)には21個の定義が あります。 • ‘21 fairness definitions and their politics’ • この定義には重複があります。 • 公平性の定義⽅法はバイアス(偏⾒) に影響します すべての定義に適合するものははあ りません。 そのため、組織およびユースケース ごとにこれを定義する必要がありま す。

公平性︓CEOという単語をGoogleで画像検索 8 IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation • ある研究者は︓CEOという単語をGoogleで検索したとき にバイアス(偏⾒)を⾒つけました。 • その時CEOのトップ画像結果のわずか11％が⼥性 • 当時の⼥性は実際には⽶国のCEOの27％でした。 • アルゴリズムが⽰すべき⼥性CEOの「公平な」割合をど のように決定すべきでしょうか??? • 現在の⼥性CEOの割合27％でしょうか︖ • それとも今⽇の世界の現実ではないのに「公正」な数値 を50％にすべきでしょうか︖

9 機械学習アルゴリズムでの公平性 • 被告の再犯可能性を予測するAIシステム「Compas」 • ⽶国で実際に本番利⽤されている機械学習モデル • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数 として算出 • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し⼤き な社会問題となりました。 出典: https://kaztaira.wordpress.com/2018/09/22/ａｉのバイアス問題、求められる「公平」とは何/ 偽陽性 (再犯の疑いありの判定で 実際には再犯なし) 偽陰性 (再犯の疑いなしの判定で 実際には再犯あり) ⽩⼈ 23.5% 47.7% ⿊⼈ 44.9% 28.0%

機械学習アルゴリズムでの公平性 出典: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 真陽性 （再犯の疑いあ りの判定で 実際に再犯) ⽩⼈ 67% ⿊⼈ 69% 10

AI 採⽤ツール: ジェンダーバイアスを学習 最近廃⽌されたAmazonの採⽤ツール • Amazonのモデルは、応募者を審査するために10年以上にわたって提 出された履歴書のパターンを分析して学習 • 履歴書は、主に採⽤決定により男性からのもの 11 • 男性候補者の⽅が望ましい結果。 • 「⼥性のチェスクラブキャプテン」などの「⼥性」という⾔葉を含む 履歴書に低い点数しか与えないというルールを作成。 • 多くの⼥⼦⼤の卒業⽣を評価を下げた。 Amazonはバイアスを取り除こうしたが、複雑さのためにできず、ツール を廃⽌。

ラボからの新しい研究成果を 実際のインダストリーでの利⽤者が 簡単に使えるようにに設計されています （Scikit Learnのfit/predict の⽅法を使⽤） 12 AI Fairness 360 バイアスを軽減するための オープンソースのツール – 業界ユースケースでのデモとチュートリアル – 公平性のガイダンス – 包括的なツールボックス • 75以上の公平性指標 • 10以上のバイアス軽減アルゴリズム • 公平性メトリックの説明 業界および学会から 主要な公平性の 指標とアルゴリズム 不適切な アルゴリズムバイアス を 検出、理解、 および軽減するための 拡張可能な ツールキット

2. バイアスの原因と バイアス測定⽅法 13

ほとんどのバイアスは⾃分が準備したデータが原因です – 過剰または過少サンプリング, ラベル & ユーザー⽣成バイアス 肌の⾊が薄い男性 の場合 99%の正確度 肌の⾊が暗い⼥性 の場合 65%の正確度 MIT Study of Top Face Recognition Services

保護属性(性別や⼈種など)を削除してしまえばよい のでは︖ • 保護属性（性別、⼈種）を単にド ロップすることはできません。他 の特徴量もそれらと相関していま す。 • 例:郵便番号を使⽤すると、個⼈の ⼈種や収⼊で分類できます IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation 15

知っておくべき公平性(Fairness)に関する⽤語 公平性指標 Fairness Metric –トレーニング データまたはモデルの 望ましくないバイアス の尺度(メトリック) 好意的なラベル Favorable Label –そ の値が対象者に利点を もたらす結果に対応す るラベル(承認される、 採⽤されるなど) 保護属性 Protected Attribute – ⺟集団を 結果に同等性が必要な グループ（⼈種、性別、 カースト、宗教など） に分割する属性 特権保護属性 Privileged Protected Attribute –歴史的に体系的に有 利であったグループを ⽰す保護属性値(男性、 ⽩⼈など） グループの公平性 Group Fairness –保 護属性によって定義さ れたグループは、似 通ったの扱いまたは結 果になります。 個⼈の公平性 Individual Fairness –似通った個⼈は似 通った扱いまたは結果 になります

LEGEND statistical parity difference 公平性の測定⽅法 - グループの公平性指標 Statistical Parity Difference Disparate Impact Equal Opportunity Difference 統計均衡差 差別的効果 機会均等の差 特権なし 特権あり Positive: 好ましい結果(favorable outcomes ) 承認、 採⽤されるなど良い⽅の結果 TRUE:予測が正しかった, FALSE: 予測が間違っていた

LEGEND statistical parity difference 公平性の測定⽅法 - グループの公平性指標 特権なし 特権あり Positive: 好ましい結果(favorable outcomes ) 承認、採⽤されるなど良い⽅の結果 TRUE:予測が正しかった, FALSE: 予測が間違っていた

statistical parity difference 公平性の測定⽅法 - グループの公平性指標 Statistical Parity Difference 統計均衡差

statistical parity difference 公平性の測定⽅法 - グループの公平性指標 Disparate Impact 差別的効果

statistical parity difference 公平性の測定⽅法 - グループの公平性指標 Equal Opportunity Difference 機会均等差

公平性への影響(Fairness Impacts)の定義⽅法、測定⽅法 22 IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation YES SATスコアは将来の成功とよく相関し、 応募者の能⼒を正しく⽐較します 指標: average_odds_difference & average_abs_odds_difference NO SATスコアには構造的なバイアスが 含まれている可能性があるため、 その分布はグループ間で異なります （英語を⺟国語としない親、⽚親、低所 得、SAT準備なし） 指標: disparate_impact & statistical_parity_difference SATスコアは応募者の能⼒ を正しく⽐較しますか︖

3. AI Fairness 360を使った バイアスの軽減 23

機械学習パイプラインのバイアス dataset metric pre-processing algorithm in-processing algorithm post- processing algorithm classifier metric

パイプラインのどこに介⼊しますか︖ • トレーニングデータを変更できる場合は、前処理を使⽤できます。 • 学習アルゴリズムを変更できる場合は、処理中(インプロセス)を使⽤ できます。 • 学習したモデルをブラックボックスとして扱うことのみしかできず、 トレーニングデータや学習アルゴリズムを変更できない場合は、後処 理のみを使⽤できます 後処理アルゴリズム Post-Processing Algorithm 予測ラベルに適⽤されるバ イアス軽減アルゴリズム 前処理アルゴリズム Pre-Processing Algorithm トレーニングデータに 適⽤される バイアス軽減アルゴリズム 処理中アルゴリズム In-Processing Algorithm トレーニング中に モデルに適⽤される バイアス軽減アルゴリズム

パイプラインの各フェーズのバイアス軽減アルゴリズム 26 Pre-Processing Algorithms トレーニングデータのバイアスを軽減 Reweighing (再重み付け) さまざまなトレーニングの重みを変更します Disparate Impact Remover (差別的効果の除去) 特徴量を編集してグループの公平性を改善します Optimized Preprocessing (最適化された前処理) トレーニングデータの特徴量とラベルを変更する Learning Fair Representations (公正な表現の学習) 保護属性に関する情報を難読化することにより 公正な表現を学習します In-Processing Algorithms 分類器(Classifiers)のバイアスを軽減 Adversarial Debiasing (攻撃的バイアス除去) 敵対的⼿法を使⽤して、精度を最⼤化し、予 測の保護属性の証拠を減らします Prejudice Remover (偏⾒除去) 学習対象に差別意識を正則化した⽤語を 追加します Meta Fair Classifier (メタフェア分類⼦) ⼊⼒の⼀部として公平性メトリックを取得し、 メトリック⽤に最適化された分類⼦を返します Post-Processing Algorithms 予測のバイアスを軽減 Reject Option Classification （分類の拒否オプション） 分類器からの予測をより公平にするために変更 Calibrated Equalized Odds (キャリブレーションされた等化オッズ) 公平な出⼒ラベルにつながる、調整された分 類⼦スコアの出⼒を最適化します Equalized Odds (等化オッズ) 予測をより公平にするために、最適化スキー ムを使⽤して予測ラベルを変更します

AIF360には業界/学界のトップアルゴリズムが含まれています Optimized Preprocessing (Calmon et al., NIPS 2017) Meta-Algorithm for Fair Classification (Celis et al., FAT* 2019) Disparate Impact Remover (Feldman et al., KDD 2015) Equalized Odds Postprocessing (Hardt et al., NIPS 2016) Reweighing (Kamiran and Calders, KIS 2012) Reject Option Classification (Kamiran et al., ICDM 2012) Prejudice Remover Regularizer (Kamishima et al., ECML PKDD 2012) Calibrated Equalized Odds Postprocessing (Pleiss et al., NIPS 2017) Learning Fair Representations (Zemel et al., ICML 2013) Adversarial Debiasing (Zhang et al., AIES 2018)

Pre-Processing(前処理)は、バイアスを軽減するのに最適な タイミングです 28 IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation 再重み付けでは、トレーニングサンプルに適⽤さ れる重みのみが変更されます（機能/ラベルは変更 されません）。 値を変更できない場合に最適です。 差別的効果の除去と最適化された前処理により、 ⼊⼒トレーニングデータと同じスペースに変更され たデータセットが⽣成されます（透明性が提供され ます) 公平な表現の学習をすると、latent space(潜在空間) で変更されたデータセットが⽣成されます Disparate Impact Remover (差別的効果の除去) 特徴量を編集してグループの公平性を改善します Optimized Preprocessing (最適化された前処理) トレーニングデータの特徴量とラベルを変更する Learning Fair Representations (公正な表現の学習) 保護属性に関する情報を難読化することにより公 正な表現を学習します Reweighing (再重み付け) さまざまなトレーニングの重みを変更します Pre-Processing Algorithms トレーニングデータのバイアスを軽減

トレードオフ - バイアスと精度 1. あなたのモデルは⼈々に良いことをして いるか、悪いことをしているか︖ – モデルが⼈を刑務所に送っている場合、 偽陰性よりも偽陽性の⽅が多い⽅が適 するかもしれません – モデルがローンを扱っている場合、偽 陽性よりも偽陰性が多い⽅が適するか もしれません 2. 法律、倫理、および信頼のガイドライン に基づいて、精度と公平性のしきい値を 決定します 法律 合法的なことを⾏うことが最優先事項です （例:罰則） 倫理 あなたの会社の倫理は何ですか （例:Amazon Echo） 信頼 顧客の信頼を失うことは費⽤がかかります （例: Facebook） IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation 29

バイアスの防⽌は難しい︕ AIF360は、明 確に定義された データセットと 明確に定義され たユースケース での使⽤をおす すめします。 適⽤する権限が ある パイプラインで 最も早い緩和策 を適⽤ 適⽤可能なメト リックを使⽤し て、可能な限り 頻繁にバイアス をチェック 利害関係者と早 期に連携して、 公平性、保護属 性、およびしき い値を定義 30 IBM Data & AI / Feb 22, 2020 / © 2020 IBM Corporation

4. AI Fairness 360 Toolkit 概要&Web Demo 31

32 https://aif360.mybluemix.net/ AI Fairness 360 Toolkit概要

33 Interactive Demo https://aif360.mybluemix.net/data

Toolkit API – Definitions, Formulas & References 34

5. AI Fairness 360 Toolkit Python Demo 35

チュートリアル: Credit Scoring 36 IBM Data & AI / July 16, 2019 / © 2019 IBM Corporation https://aif360.mybluemix.net/

日本語訳はこちら 37 IBM Data & AI / July 16, 2019 / © 2019 IBM Corporation https://github.com/kyokonishito/AIF360_jp/blob/master/master/examples/tutorial_credit_scoring-ja.ipynb

38 IBM Data & AI / July 16, 2019 / © 2019 IBM Corporation Watson Studio のNotebookを使ったデモ デモはCredit Scoringの⽇本語版のnotebookをWatson Studio のNotebookを Watson StudioのNotebookにロードさせた状態から開始します。 Watson StudioのNotebook環境でなくとも動作可能です。 Watson StudioのNotebook(無料)を使ってみたい場合はQiitaの記事︓ Watson StudioでJupyter Notebookを使おう! https://qiita.com/nishikyon/items/6c5bc873e2ac7f1e5fb7 を参考にしてみてください。 NotebookのURL: https://github.com/kyokonishito/AIF360_jp/blob/master/master/examples /tutorial_credit_scoring-ja.ipynb

39 IBM Data & AI / July 16, 2019 / © 2019 IBM Corporation その他サンプルコードはGithubにあります https://github.com/IBM/AIF360

40 Join the AIF360 Slack https://aif360.slack.com/ Ask questions and speak to AI Fairness 360 researchers, experts, and developers AI Fairness Slack Channel(英語)に参加しよう

41 1.機械学習モデルの結果には主に学習データ を原因にバイアスが発⽣し、公平でない場合 がある 2.バイアスの軽減はユースケースに合ったメ トリックスを定義し定期的に確認・実施 3.オープンソースのAI Fairness 360 Toolkit で公平性の測定と軽減が可能 まとめ

42

2020 Call for Code グローバル・チャレンジ 今回のテーマは「気候変動」と「COVID-19」 • IBM Cloudを活⽤したアプリ開発コンテスト 4/27 (⽉) COVID19 早期締切 3/22 (⽇) 応募受付 開始 審査期間 8〜9⽉ 10⽉ 最優秀賞 チーム発表 7/31 (⾦) 応募受付 最終締切 #CallforCode

callforcode.org ⽇本語情報 https://ibm.biz/c4cjapan ⽇本語 English #CallforCode