HCIRリサーチユニット輪読会 2021 Fairness and Discrimination in Information Access Systems Ekstrand, M.D., Das, A., Burke, R., and Diaz, F. Chapter 1: Introduction 発表者：上保 秀夫（筑波大） 1

目次 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 2

お願い 専門用語の訳や解釈が正確でない可能性がありますの でご注意ください。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 3

1. Introduction 人類が情報の長期記録を始める → 記録にアクセスするツールが必要 情報の探索、検討、消費を可能にするツール 現代の情報アクセス（IA）ツール：情報検索システム、情報推薦システム 多様な手法：ヒューリスティック、エキスパートシステム、深層NN 基本目的：ユーザの情報ニーズ → 適合性のある情報 研究開発の関心は適合アイテムの発見よりも広範囲 新規性、多様性 [1-2]、網羅性、公平性 IAシステム → 利益・資源 → 公平な配分 → 人・組織 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 4

1. Introduction IAシステムの公平性に関する先行研究 人工知能（AI）システムの公平性問題と関連 [3-4] IAシステム独自の課題 社会的、政治的、道徳的な価値を考慮した順位付け [5-7] 文書の検索可能性（Retrievability） [8] 人気バイアス（Popularity Bias） [9-12] グループ推薦 [13] HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 5

1. Introduction 社会的バイアス [14] → IAシステムのデータ、アルゴリズム、アウトプット 提供者側と消費者側の公平性を区別する考え方もある [15] 本書：情報アクセスにおける公平性の入門書 学生、研究者、実務家が、問題空間やこれまでの研究を理解するための出 発点となり、さらに研究を進めるための基盤となること 公平性に関連した弊害を対象としており、偽情報の増幅など、情報アクセ スにより発生する可能性のあるより広範な弊害は対象としていない HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 6

1. Introduction 「システム」という用語 情報の検索、アイテムの推奨、データに基づく人々の分類やスコアリング など、何らかのタスクを実行するアルゴリズムシステム 社会的なコンテクストに組み込まれており、人間が提供した入力を操作 し、人間が作用した結果を生み出すもの 技術的なシステムは、より広範な社会技術的なシステムの一部を形成 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 7

1.1 Abstracting Information Access 情報アクセスの抽象化 情報検索と情報推薦システム 技術的にも社会的にも大きく重なる部分がある 用語や問題定義、評価方法などが異なる別のコミュニティ 基本的な共通点 = 公平性を複雑にする課題 ランク付けされた出力、パーソナライズされた適合性、意思決定の反 復、マルチステークホルダー構造、等 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 8

1.1 Abstracting Information Access 情報アクセスシステム 文書やアイテムのレポジトリとユーザの情報ニーズを仲介するアルゴリズ ムシステム 情報検索、情報推薦システム、情報フィルタリング、そして自然言語処理 のいくつかのアプリケーションを含む 「ディスカバリー」という用語 ユーザが自分のニーズに合った情報を探したり発見したりするプロセスの 一般的な表現 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 9

1.2 A Brief History of Fairness 公平性の手短な歴史 プラトン曰く「法の下では、同等な者は同等な扱いを受けるべき」 （treat like cases alike） 公平性の4つ概念：外生的な権利、補償、報酬、そして適性 [16] 外生的な権利（Exogenous rights） システムが満たさなければならない外部からの要求 契約によって定義される財産の平等な分配 民主主義社会における政治的権利の平等 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 10

1.2 A Brief History of Fairness 公平性の4つ概念：外生的な権利、補償、報酬、そして適性 [16] 補償（Compensation） コストが不平等な場合に、公平性のために当事者に特別な配慮が必要 になることを認識 雇用や大学入学におけるアファーマティブアクション 報酬（Reward） 貢献度に応じて不平等を正当化するもの 収益への貢献度が高い従業員にはボーナスを増加させること HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 11

1.2 A Brief History of Fairness 公平性の4つ概念：外生的な権利、補償、報酬、そして適性 [16] 適性（Fitness） 多くの情報アクセスシステムが属する最も漠然としたカテゴリ 商品を使用したり、評価したり、そこから利益を得たりするのに最も 適した人に商品を分配する 効率性の原則の１種であり、最も公平な利用とは、分配によって最大 の効用が得られるように財を配分すること ユーザの情報ニーズに対する有用性（utility）に基づいて文書を 探し出し、それを見えるようにしようとする情報アクセスに適用 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 12

1.2 A Brief History of Fairness 米国の法理論 保護される特性（人種、肌の色、宗教、性別、障害、年齢、性的指向）に 基づいて人々が特定の利益（住宅、仕事、教育、金融サービスなど）を拒 否されないようにする反差別法が発展 差別的効果（Disparate Impact）基準：差別的行為とされるものは、差別 の意図を示す必要はなく、保護されるグループに不均衡な悪影響を与える という理由で法的に争うことができる 限界があるとの指摘もある [17] （補足）日本や英国では「間接差別」（Indirect discrimination） HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 13

1.2 A Brief History of Fairness 公平性や差別性は、他の多くのコミュニティでも重要な議論の対象 テストや評価手段の公平性 [18] 一見無害に見える技術的決定であっても、コンピュータシステムが社 会的文脈の中で使用されると、バイアスが生じる可能性がある [19] HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 14

1.3 Running Examples 実践例 ジョブ検索（Job and Candidate Search） 音楽発見（Music Discovery） ニュース（News） 慈善寄付（Philanthropic Giving） HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 15

1.3 Running Examples: Job Search 多くのオンラインプラットフォームは、何らかの形で求職者と雇用機会を結び つけようとしています。 就職活動に特化したプラットフォーム LinkedInやXingのように、就職活動を一つの（重要な）要素とする、より 汎用的なプロフェッショナル・ネットワーキング・プラットフォーム 求職活動は、人々は良い雇用を必要とし、雇用者は良い候補者を必要とすると いう多面的な問題 様々な管轄区域でしばしば規制の対象となる重要な公平性の要件を有して います。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 16

1.3 Running Examples: Job Search ユーザは、フィードに表示されるおすすめ情報や広告の中で、公平に仕事の機 会を得ているのでしょうか？ システムが候補者と仕事のマッチ度やフィット度を評価する場合、そのスコア は公平ですか？ 採用担当者が求人の候補者を探す際に、ユーザが検索リストに表示される機会 は公平に与えられていますか？ 保護されているグループ（例えば、マイノリティが経営する企業）の雇用者 は、資格のある候補者に公平に仕事を紹介してもらえるか？ 規制要件に起因する具体的な公平性の懸念は？ HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 17

1.3 Running Examples: Music Discovery Spotify、Pandora、BandCamp などの音楽プラットフォームに搭載されている 検索・推薦システムは、リスナーとアーティストを結びつけるものです。 これらのディスカバリーツールは、ユーザのリスニング体験と、アーティスト の経済的・キャリア的展望の両方に大きな影響を与えます。 リスニングによる直接的な収益と、商業的・評判的な認知度の効果による ものです。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 18

1.3 Running Examples: Music Discovery アーティストは、システムの検索結果、推薦リスト、またはストリーミング番 組で公平な露出を受けているか？ システムは、推薦、検索結果、その他のディスカバリー接面を通じて、特定の グループのアーティストやソングライターを組織的に過大または過小に宣伝し ていないか？ ユーザは公平な品質のサービスを受けているか、あるいはシステム的に一部の ユーザの嗜好を他のユーザよりもよくモデル化していないか？ 推薦はユーザの好みをよく反映しているか、反映していない場合は、性別、民 族、場所、その他の属性のステレオタイプによる系統的なエラーがないか？ HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 19

1.3 Running Examples: News ニュースの検索と推薦は、ソーシャルメディア、ニュースアグリゲーション、 検索エンジンでのユーザのニュース記事への露出に影響を与えます。 ユーザが行う可能性のある社会的・政治的な選択にまで及びます [31-32] フィルターバブル効果により ユーザは自分の信念を強化するニュースアイ テムに主にさらされ、偏向性を高めることになります [33-34] ニュースプラットフォームは，提供者のジャーナリズムに関する方針に応じ て，社会的、政治的、文化的にバランスのとれたニュースを提供したい 悪意のあるソースや信頼性の低いソースのランクを下げる必要性とのバラ ンスを取る必要があります。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 20

1.3 Running Examples: News システムは、異なるトピックや影響を受けるグループに関するニュースを公平 に提供しているか？ 異なる視点を持つジャーナリストは、そのコンテンツに対して公平な可視性や 露出を得ていますか？ システムはオリジナルの調査者に報いるのか、それとも主に3次ソースに読者 を誘導するのか？ ユーザはバランスのとれたニュースコンテンツを受け取っていますか？ 異なる人口構成や場所にいるユーザは、推奨されるニュースによって同じよう に十分なサービスを受けているか？ HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 21

1.3 Running Examples: Philanthropic Giving オンライン・プラットフォームは、慈善活動を行う場所としてますます重要に なっている [35] ため、情報推薦が寄付の原動力になる DonorsChoose.orgのようにP2Pのアプローチで寄付を行うサイト 寄付者は多くの寄付機会から選択することになり、寄付者と寄付機会 のマッチングにはレコメンデーションや高度な検索が必要 多くの慈善活動組織は社会的正義を重視しているため、情報アクセスのソ リューションを開発・評価する際には公平性への配慮が欠かせない。 特に、一部の活動が結果やランキングを支配するような正例フィード バックループを避けるためには、公平性への配慮が必要である。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 22

1.3 Running Examples: Philanthropic Giving システムは、さまざまな受益者／寄付者がそれぞれのニーズを支援してもらう ための公平な機会を提供しているか？ 推薦結果において、特定のグループの受益者が過少または過大になっていない か？ HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 23

1.4 How to Use This Monograph 本書の使い方 対象読者 情報検索、推薦システム、および関連分野の研究者、エンジニア、学生 で、公平性、バイアス、および差別に関する文献を理解し、それを自分の 仕事にどのように適用するかを知りたい人 アルゴリズムフェアネスの研究者で、IAシステムを理解し、既存のフェア ネス概念がこのようなアプリケーションにどのように適用されるか、ある いは適用されないかを知りたい人、フェアネス研究の視点からIAシステム がもたらす独自性について理解したい人 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 24

1.4 How to Use This Monograph 第4章が本書の要であり、他の章を結びつけています。 後続の章では、第4章で議論されている問題についての文献調査の形で詳 細を説明 前の章では、それを理解するために必要な背景を設定しています。 時間を節約したい読者には、第2章と第3章で必要な背景を確認し、第4章 を読み、自分の仕事に関連する後続の章を読むことをお勧めします。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 25

1.4 How to Use This Monograph 章構成 第2章では、情報アクセスシステムの基礎を再確認する。これは、情報検 索や推薦システムの研究者のほとんどにとってのおさらいになるだろう。 第3章では、機械学習全般、特に分類における公平性の研究を概観してい ます。アルゴリズム的な公平性の研究者にとっては、この章は復習。 第4章では、公平な情報アクセスの問題領域を明らかにし、情報アクセス システムにおける差別や関連する弊害を評価し、取り除くための問題を多 面的に分類しています。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 26

1.4 How to Use This Monograph 章構成（続き） 第5章から第7章では、情報アクセスにおける公平性に関するこれまでの文 献の中で重要な概念を調査し、第4章で指摘された問題の多くに取り組む 研究を紹介しています。 第8章では、今後の課題に目を向け、公平な情報アクセスに関する研究や エンジニアリングのためのヒントを提供し、本稿のまとめとしている。 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 27

1.5 Our Perspective 著者の立場 IAシステムは、複数のステークホルダーの様々な目的を満たす必要がある ユーザには適切な結果を提供 システム導入者にはビジネス上の価値を提供 提示する文書の作成者には可視性を提供 他のさまざまな目標や制約 サブトピック間の多様性、規制遵守、ユーザや社会への回避可能な損 害の低減 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 28

1.5 Our Perspective 本書が提示する「公平性」 情報アクセスシステムの設計および評価において考慮すべき目的の一つで あり、その目標を実現するための技術の集合体 システムの設計を導く社会的または倫理的な目的のすべては網羅しない 特定のアプリケーションに関連する有害性や適切な目的の一部 主に北米の法的・道徳的な文脈、米国の法理論に根ざした偏見や差別の概 念が主流 批判もある [20] HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 29

1.6 Some Cautions 注意点 公平性に関する研究 人間のアイデンティティや経験の基本的な側面に触れるデータや構成要素 を扱うことが多い ユーザ、クリエイター、他の関係者が敬意と尊厳を持って扱われること 広すぎる主張や一般化できない主張につながる様々な罠を避けること 情報アクセスの公平性 情報システムに関するすべての研究開発において考慮されるべき問題を表 面化させるもの 30

1.6 Some Cautions: Abstract Traps 抽象化の罠 フェアネス研究全般における過剰または不適切な抽象化から生じる問題 [21] CSにおいて問題の一般的で抽象的な形式化を求める傾向 幅広いタスクに適用できるツールや結果を開発するのには有用 テクノロジーの重要な社会的側面やその影響が不明瞭になる 構造的には似ているように見える社会問題が、異なる原因やメカ ニズムから発生し、異なる解決策を必要とする場合がある 例）性差別と黒人差別は「グループフェアネス」だが別構造 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 31

1.6 Some Cautions: Abstract Traps フェアネス研究全般における過剰または不適切な抽象化から生じる問題 [21] CSにおいて問題の一般的で抽象的な形式化を求める傾向（続き） 差別は文化や司法権によっても異なり、同じグループと思われるもの への抑圧は、それが行使される場所が違えば、異なる原因から、異な るメカニズムで生じる可能性がある 一般的な解決策の有効性は、対処すべき様々な種類の差別に対して再 検証される必要がある [22] HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 32

1.6 Some Cautions: Abstract Traps Hoffmann（2019）による警告 差別や偏見から生じる害を狭く単純化して定義すること コードで再実装しようとして反差別法の限界を継承すること 還元主義的思考 （上保意訳）個別カテゴリ特有の社会的・技術的課題に取り組む代わ りに、別カテゴリで有用であった手法が適用可能だと仮定すること ドメイン横断型のことか？ HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 33

1.6 Some Cautions: Abstract Traps 情報専門家による倫理と正義の問題への関心 エドモンド・バークレー（ACM創設者の一人）は1960年代から科学者の倫 理的責任を率直に主張 [24] 1980年代半ばに「Computer Professionals for Social Responsibility」という グループが創設 [25] HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 34

1.6 Some Cautions: Limits 研究の限界 この分野の研究では、アプローチ、データ、調査結果の限界を率直かつ徹底的 に説明する必要がある 共通する限界 人々は同時に複数の次元で差別や抑圧を経験 → 公平性を考慮する属性は単 一次元 多くの社会的側面には2つ以上のカテゴリー・連続的に存在 → 属性を二元 的に定義 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 35

1.6 Some Cautions: Limits 共通する限界（続き） 社会的カテゴリーは複雑で社会的に構築されたもの → 属性を固定的で外因 性のものとみなす [26] 不完全、誤った、および/または偏ったデータ [27-28] 研究者らは、より広い文脈における自分の研究との関係を明確にし、既知の限 界を注意深く説明する必要がある HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 36

1.6 Some Cautions: Limits 公平な情報アクセスに関する研究において利用を控えるべき手法 名前に基づいた統計的性別認識 プロフィール写真に基づいた性別認識のためのコンピュータビジョン技術 理由 データ源に、誤差が生じやすく、システム的なバイアスを受けやすい [29] 還元主義的である [30] 被験者が自分のアイデンティティを制御することを根本的に否定している HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 37

1.6 Some Cautions: Convenience 利便性 本書の引用における最小努力の原理への抵抗 公平な情報アクセス研究の組織化と統合 本トピックへの関連性 ある研究があなたの執筆や研究に関連している場合には、私たちの論文の 代わりに、あるいは私たちの論文に加えて、それらの論文を直接引用して ください > HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 38

引用文献 1. Santos, et al., 2015 2. Hurley and Zhang, 2011 3. Mitchell, et al., 2020 4. Barocas, et al., 2019 5. Friedman and Nissenbaum, 1996a 6. Introna and Nissenbaum, 2000 7. Mowshowitz and Kawaguchi, 2002 8. Azzopardi and Vinay, 2008 9. Celma and Cano, 2008 10. Zhao, et al., 2013 11. Ca˜namares and Castells, 2018 12. Ferraro, 2019 13. Kaya, et al., 2020 14. Olteanu, et al., 2019 15. Burke, 2017 16. Moulin, 2004 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 39

引用文献 17. Crenshaw（2018） 18. Hutchinson and Mitchell (2019) 19. Friedman and Nissenbaum（1996b） 20. Sambasivan, et al. 2020 21. Selbst, et al.（2019） 22. Dwork and Ilvento（2018） 23. Hoffmann（2019） 24. Longo, 2015 25. Finn and DuPont, 2020 26. Hanna et al., 2020 27. Olteanu et al., 2019 28. Ekstrand and Kluver, 2021 29. Buolamwini and Gebru, 2018 30. Hamidi et al.2018 31. Kulshrestha et al.2017 32. Epstein and Robertson, 2015 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 40

引用文献 33. Pariser, 2011 34. van Alstyne and Brynjolfsson, 2005 35. Goecks et al., 2008 HCIR輪読会2021 Ekstrand, et al.「情報アクセスシステムにおける公平性と差別性」2021.06.17 41

Colophon Visual Studio Code https://code.visualstudio.com/ Marp https://marp.app/ Lorem Picsum https://picsum.photos/ 42