HCIR輪読会2021 フェアネス 第８章 // HCIR Group Reading 2021 on Fairness: Chapter 8

Transcript

1. HCIRリサーチユニット輪読会 2021 Fairness and Discrimination in Information Access Systems Ekstrand, M.D., Das, A., Burke, R., and Diaz, F. Chapter 8: Next Steps for Fair Information Access 発表者：上保 秀夫（筑波大） 1
2. 目次 2
3. お願い 専門用語の訳や解釈が正確でない可能性がありますの でご注意ください。 3
4. 8.1 Directions for Future Research 公正な情報アクセス研究の概念と方法の範囲拡大 追加のドメイン、アプリケーション、問題の枠組み、および公正さに関す る懸念の軸に 社会的な偏りや差別の顕在化には局所性が高いため、知見が他の文脈に応 用できるとは限らない 現時点では一般的な原理を導き出す知識を構築するために、広範囲のバイ アスやアプリケーションを研究する必要がある 4
5. 8.1 Directions for Future Research 時間の経過に伴うバイアスの発生と進化に関する研究 多くの研究は情報アクセスシステムとその公正性の一回限りの一括評価に 焦点 しかし、システムの動作は時間の経過とともにダイナミックに変化 最初は公平なシステム → 時間の経過とともにユーザーの反応が偏った り差別的になったりして不公平になる 最初は不公平なシステム → 全体の公平性を高めるような提案にユーザ ーがよく反応して、より公平な状態になる 5
6. 8.1 Directions for Future Research 消費者と提供者の公正さ以外の公正さに関する懸念の定義と検討 本書では対象者の公正さを追加的な懸念事項の一つとして挙げたが、公正 さを考慮すべき追加的な利害関係者は他にもあるだろう。 6
7. 8.1 Directions for Future Research 情報アクセスにおける公平性への介入に対する人間の願望と反応 初期事例：Smith et al. (2020)、Harambam et al. (2019) ユーザーやコンテンツ提供者が公平性に関してシステムに何を期待する か、あるいは情報アクセスシステムに公平性を高める介入をした場合にユ ーザーがどのように反応するかについては、ほとんど知られていない。 7
8. 8.1 Directions for Future Research 情報アクセスの公平性に関する適切なメトリクスの開発と適用 初期事例：期待露出 (Diaz et al., 2020）、ペアワイズフェアネス（Beutel et al., 2019） プロバイダのフェアネスに関する懸念を推論するための有用なフレー ムワーク オフラインおよびオンラインの研究において、メトリクスをどのように適 用し、解釈するのが最善であるかを理解するためには多くの研究が必要 8
9. 8.1 Directions for Future Research 情報アクセスのデータとモデルの出所に関する標準とベストプラクティス開発 データセットのためのデータシート（発表者注：メタデータ？）（Gebru, et al, 2018） データセットは、下流のユーザーがその適用性、限界、提案された使 用の適切性を適切に評価できるように、徹底的に注意深く文書化され るべき 情報検索分野では、TRECやCLEFなどの評価データが重視されてきた歴史が あるが文書化は限定的 推薦システムはさらに限定的（例外はある） 9
10. 8.1 Directions for Future Research 情報アクセスのデータとモデルの出所に関する標準とベストプラクティス開発 データソース、ランキングの原則、およびその他の情報を記述する（非パ ーソナライズされた）ランキングのための「栄養ラベル」(Yangら, 2018） データのプルーニングなどの長年のデータ管理の決定が、実験や推薦の結 果に深い影響を与える可能性（Beel and Brunel, 2019） 文書化すべき推薦データ、モデル、出力の特性を慎重に研究する必要 性 10
11. 8.1 Directions for Future Research バイアスの多次元的で複雑な性質の理解 公平な情報アクセスに関する既存の文献やアルゴリズムのほとんどは、単 一の属性を分離して研究＋二値に制限 グループメンバーシップの交差は単一グループでは説明できない差別や偏 見を生む しかし多次元性は交差性の概念が呼び起こすダイナミクスを完全には捉え られない 人間の社会的経験の複雑さをアルゴリズムによる公正さの計算に含める試 みが必要 11
12. 8.1 Directions for Future Research 情報アクセスにおける参加型デザインおよび研究 現代の大規模な情報アクセスシステムの設計、評価、研究にHCIやユーザ ー中心設計を適用した例を見つけるのは困難である Belkin and Robertson (1976)「（情報科学）とそれに影響を与える人々との 間に効果的な社会的関係を確立し、維持することが必要である。」 様々な種類の公正さを測定し提供する技術が蓄積されているが、影響を受 ける人々が実際に何を望んでいるのかについての真剣な理解は不足 Smithら(2020)とSonboliら(2021)は、推薦における公正さに対するユーザー の意見を研究 → 生産者、subject、その他の影響を受けるステークホルダ ーについても同様の研究が必要 12
13. 8.2 Recommendations for Studying Fairness ここまで取り上げてきた研究や概念を基に、公平な情報アクセス（Fair Information Access）の研究、調査、そして実践に取り組むアプローチをいくつ か提案する。 目的の定義 目的の明確な操作可能化 「適切なデータ」の利用 限界の注意深い報告 13
14. 8.2 Recommendations for Studying Fairness 目的の定義 対象とする公平性の阻害要因（fairness-related harms）は何か それらを阻害要因とする法的、倫理的、あるいは他の根拠は何か 本書の4章で扱った内容はこれらの定義付けに役立つであろう 明確な定義は「抽象化の罠」の回避にも役立つ 我々は、特定の応用やリスクといった明確な文脈に位置づけられた研 究の知見が効果的かつ適切な一般化につながると考えている 14
15. 8.2 Recommendations for Studying Fairness 目的の明確な操作可能化 特定の阻害要因が定まったら、それをもっともらしく捉えることのできる 指標を選択する 報告書は公平性とその阻害要因が測定された方法とその根拠を明確に記述 する必要がある ５・６章には様々な事例がある Jacobs and Wallach (2021)に包括的な議論がある 15
16. 8.2 Recommendations for Studying Fairness 「適切なデータ」の利用 集団の公平性研究では通常の情報検索や推薦システム研究のデータセット では収集されない機密データが必要になることが多いので課題 グループアノテーションを提供するもの TREC Fair Ranking tracks (Biega et al., 2020) 古いMovieLensデータセット (Harper and Konstan, 2015) 図書館から著者の人口統計情報（Ekstrand and Kluver, 2021） 個人のアノテーションのための統計的推論技術を避けること 背景分布を使ってメトリクスを推定する研究はある(Kallus et al., 2020) 16
17. 8.2 Recommendations for Studying Fairness 限界の注意深い報告 全ての研究には限界があり公平性研究も例外ではない データ、指標、方法の限界を慎重かつ辛辣に報告することは必須である 読者が適切に研究結果を解釈し一般化するために ある仕組みは上手くいくケースとそうでないケースを議論する正直さがこ の分野の進展にとって鍵となる 17
18. 8.3 Concluding Remarks 本書の目的 公平な情報アクセスというリッチで高インパクトな問題空間における複雑 さ、落とし穴、可能性を理解するための出発点を提供 想定読者 アルゴリズムフェアネスに関心ある情報アクセスの背景をもつ読者 情報検索におけるフェアネスに関心のあるアルゴリズムフェアネスの背景 をもつ読者 18
19. 8.3 Concluding Remarks 黎明期の分野なので主要概念や知見を概観した包括的な扱いはできない その代わりに、既存の研究事例を収集し展望図に統合することを目指した 本展望図は未完成な箇所が多く、研究者が今後埋めていくことになるし、 全く新しい側面が見つかる可能性もある 今後の展開や発表される論文を楽しみにしている 本書を引用するのではなく、本書が引用している文献を引用すること！ （発表者注）本テーマのサーベイとしての本書の引用は適切 19
20. Colophon Visual Studio Code https://code.visualstudio.com/ Marp https://marp.app/ Lorem Picsum https://picsum.photos/ 20