Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

HCIR輪読会2021 フェアネス 第8章 // HCIR Group Reading 202...

Hideo Joho
August 25, 2021

HCIR輪読会2021 フェアネス 第8章 // HCIR Group Reading 2021 on Fairness: Chapter 8

Hideo Joho

August 25, 2021
Tweet

More Decks by Hideo Joho

Other Decks in Research

Transcript

  1. HCIRリサーチユニット輪読会 2021 Fairness and Discrimination in Information Access Systems Ekstrand,

    M.D., Das, A., Burke, R., and Diaz, F. Chapter 8: Next Steps for Fair Information Access 発表者:上保 秀夫(筑波大) 1
  2. 8.1 Directions for Future Research 時間の経過に伴うバイアスの発生と進化に関する研究 多くの研究は情報アクセスシステムとその公正性の一回限りの一括評価に 焦点 しかし、システムの動作は時間の経過とともにダイナミックに変化 最初は公平なシステム

    → 時間の経過とともにユーザーの反応が偏った り差別的になったりして不公平になる 最初は不公平なシステム → 全体の公平性を高めるような提案にユーザ ーがよく反応して、より公平な状態になる 5
  3. 8.1 Directions for Future Research 情報アクセスにおける公平性への介入に対する人間の願望と反応 初期事例:Smith et al. (2020)、Harambam

    et al. (2019) ユーザーやコンテンツ提供者が公平性に関してシステムに何を期待する か、あるいは情報アクセスシステムに公平性を高める介入をした場合にユ ーザーがどのように反応するかについては、ほとんど知られていない。 7
  4. 8.1 Directions for Future Research 情報アクセスの公平性に関する適切なメトリクスの開発と適用 初期事例:期待露出 (Diaz et al.,

    2020)、ペアワイズフェアネス(Beutel et al., 2019) プロバイダのフェアネスに関する懸念を推論するための有用なフレー ムワーク オフラインおよびオンラインの研究において、メトリクスをどのように適 用し、解釈するのが最善であるかを理解するためには多くの研究が必要 8
  5. 8.1 Directions for Future Research 情報アクセスのデータとモデルの出所に関する標準とベストプラクティス開発 データセットのためのデータシート(発表者注:メタデータ?)(Gebru, et al, 2018)

    データセットは、下流のユーザーがその適用性、限界、提案された使 用の適切性を適切に評価できるように、徹底的に注意深く文書化され るべき 情報検索分野では、TRECやCLEFなどの評価データが重視されてきた歴史が あるが文書化は限定的 推薦システムはさらに限定的(例外はある) 9
  6. 8.1 Directions for Future Research 情報アクセスにおける参加型デザインおよび研究 現代の大規模な情報アクセスシステムの設計、評価、研究にHCIやユーザ ー中心設計を適用した例を見つけるのは困難である Belkin and

    Robertson (1976)「(情報科学)とそれに影響を与える人々との 間に効果的な社会的関係を確立し、維持することが必要である。」 様々な種類の公正さを測定し提供する技術が蓄積されているが、影響を受 ける人々が実際に何を望んでいるのかについての真剣な理解は不足 Smithら(2020)とSonboliら(2021)は、推薦における公正さに対するユーザー の意見を研究 → 生産者、subject、その他の影響を受けるステークホルダ ーについても同様の研究が必要 12
  7. 8.2 Recommendations for Studying Fairness 目的の定義 対象とする公平性の阻害要因(fairness-related harms)は何か それらを阻害要因とする法的、倫理的、あるいは他の根拠は何か 本書の4章で扱った内容はこれらの定義付けに役立つであろう

    明確な定義は「抽象化の罠」の回避にも役立つ 我々は、特定の応用やリスクといった明確な文脈に位置づけられた研 究の知見が効果的かつ適切な一般化につながると考えている 14
  8. 8.2 Recommendations for Studying Fairness 「適切なデータ」の利用 集団の公平性研究では通常の情報検索や推薦システム研究のデータセット では収集されない機密データが必要になることが多いので課題 グループアノテーションを提供するもの TREC

    Fair Ranking tracks (Biega et al., 2020) 古いMovieLensデータセット (Harper and Konstan, 2015) 図書館から著者の人口統計情報(Ekstrand and Kluver, 2021) 個人のアノテーションのための統計的推論技術を避けること 背景分布を使ってメトリクスを推定する研究はある(Kallus et al., 2020) 16