Fair Ranking as Fair Division: Impact-Based Individual Fairness in Ranking (KDD'22)

推薦やランキングの研究では、長らくユーザー満足の最大化を至上命題として多くの手法が提案されてきました。しかし最近では、ユーザー満足のみならずアイテム間の公平性を担保することも等しく重要である応用がむしろ多くなっています。例えばマッチングアプリにおけるユーザー推薦においては、イケメンを優先して女性側に推薦することで（ユーザー満足を図る指標としてよく用いられる）クリックを多く稼ぐことができるでしょう。しかしそれでは一部のイケメンばかりにマッチが集中してしまい、発表者のような非イケメンは結局いつまで経ってもマッチできないことになります。そんなことでは、優先して推薦されるイケメン達への妬みがこれまで以上に増幅し、推薦されやすさの意味で不公平を被る多くのユーザーがプラットフォームを去ってしまいかねません。同様の不公平な状況はYouTube, Amazon, Spotify, Airbnb, Linkedinなどでも容易に起こり得ます。 こういった不公平かつ残酷な状況を避けるべく、"ユーザー満足"と"推薦される側の公平性"の両立を目指すのが、公平ランキングと呼ばれる新興分野です。本発表ではまず、公平ランキングにおける現在主流の枠組みとして、暴露量に基づいた公平性の定義を紹介します。その後具体例を用いながら、既存の公平性の定義に残された不公平な側面を指摘します。最後に、既存の枠組みの問題点を解消すべく公平ランキングにおける公平性の再定義と新たな手法の提案を行なった発表者の研究（KDD'22採択）について簡単に紹介します。

Transcript

1. Fair Ranking as Fair Division:
   Impact-Based Individual Fairness in Ranking
   (KDD2022)
   Yuta Saito (w/ Thorsten Joachims)
   

   View Slide

2. 簡単に自己紹介
   名前：齋藤 優太
   経歴：東工大学部卒 (21.3) -> Cornell Univ, CS PhD (21.9-)
   研究領域：オフ方策評価 / 推薦・ランキングの公平性
   研究実績：NeurIPS, ICML, KDD, SIGIR, WSDM, RecSysなど
   その他
   - 「私のブックマーク：反実仮想機械学習」の執筆
   - 「統計・機械学習 若手シンポジウム」などで招待講演
   - 「施策デザインのための機械学習入門」の執筆/出版
   usaito
   今日はこの本が
   別の意味で活躍
   

   View Slide

3. あらすじ
   前半 (導入)
   ● ランキングにおける公平性のモチベーション
   ● 現在主流のExposureに基づく公平ランキングの紹介
   後半 (KDD’22論文)
   ● 新たな公平性の定義と公平ランキング手法の提案
   分野を創始した論文
   (exposure-based)
   SIGIR’18
   KDD’18
   

   View Slide

4. おおむかし: ユーザー満足のみが大事
   （例: 図書館蔵書検索）
   ランキングシステムの変遷
   https://klis.tsukuba.ac.jp/
   DCGなどを単に最大化していれば良かった
   

   View Slide

5. 最近のランキングシステム事情（アマゾン）
   ● ユーザー
   ○ 買い物客
   ○ クエリに関係しそうな商品を
   上位で表示して欲しい
   ● アイテム
   ○ 出品者・製造者・著者
   ○ できるだけ上位に表示してもらい
   お金を稼ぎたい ・・・・
   アイテムに対する影響も考慮すべき
   Yasuiさんは大満足
   

   View Slide

6. 最近のランキングシステム事情（アマゾン）
   ・・・・
   23番⽬..
   Yasuiさん (効果検証本) に対する妬みや
   不公平感が明らかに生じてしまっている
   ● ユーザー
   ○ 買い物客
   ○ クエリに関係しそうな商品を
   上位で表示して欲しい
   ● アイテム
   ○ 出品者・製造者・著者
   ○ できるだけ上位に表示してもらい
   お金を稼ぎたい
   アイテムに対する影響も考慮すべき
   

   View Slide

7. ● ユーザー
   ○ 学会参加者・サイト訪問者
   ○ 興味のある論文を早く見つけたい
   ● アイテム
   ○ 論文著者
   ○ できるだけ上位に表示してもらい
   注目を集めたい
   最近のランキングシステム事情（国際会議）
   情報検索トップ会議は、アルファベット順でランキング
   -> “A”からタイトルを始めるべきという謎のインセンティブ
   アイテムに対する影響も考慮すべき
   

   View Slide

8. 最近のランキングシステム事情（国際会議）
   （タイトルの付け方をミスったため..）
   全くもっと注目を集められない不公平な
   ポジションに追いやられてしまった
   永遠にbottom 3
   ● ユーザー
   ○ 学会参加者・サイト訪問者
   ○ 興味のある論文を早く見つけたい
   ● アイテム
   ○ 論文著者
   ○ できるだけ上位に表示してもらい
   注目を集めたい
   アイテムに対する影響も考慮すべき
   

   View Slide

9. 非イケメン
   (e.g. 発表者)
   イケメン2
   イケメン1
   最近のランキングシステム事情（マッチングアプリ）
   ● ユーザー
   ○ 女性ユーザー（逆もあり得る）
   ○ イケメンなど好みの男性を
   上位で表示して欲しい
   ● アイテム
   ○ 男性ユーザー
   ○ できるだけ上位に表示してもらい
   一攫千金を狙いたい
   アイテムに対する影響も考慮すべき
   イケメンばかりを推薦
   していたらマッチが
   偏り不公平感を生む
   

   View Slide

10. 最近のランキングシステム事情（飲食店検索）
    ● ユーザー
    ○ 飲食店を探している人
    ○ ジャンル・場所・予算に合致する
    飲食店を上位で表示して欲しい
    ● アイテム
    ○ 飲食店
    ○ 上位に表示してもらい多くの
    ユーザーに認知・利用してもらいたい
    アイテムに対する影響も考慮すべき
    渋谷 焼肉
    

    View Slide

11. ● 典型的なランク学習では
    “relevance”(ユーザー満足)
    の最大化のみが興味対象
    ● しかしそれだとアイテムに対し
    て不公平になり得る -> プラット
    フォームに参加する意味のない
    アイテムが生じ得る
    ● ユーザーの満足度とアイテムの
    公平性をどう両立すべき？
    公平ランキングのモチベーション
    ポジション アイテム 関連度 暴露確率
    1 i1 0.95 1
    2 i2 0.94 0.5
    ... ... ... ...
    100 i100 0.90 0.01
    ユーザーに対するアイテムのランキング
    Airbnb/YouTube/Spotify/Booking.com/Linkedin などアイテム側の収益や生計に直結する応用で特に重要
    

    View Slide

12. 主な記号
    ポジション アイテム 関連度 暴露確率
    k=1 i1 r(u,i1) e(1)=1.0
    k=2 i2 r(u,i2) e(2)=0.5
    ... ... ... ...
    : アイテム (主役)
    : ユーザー
    : k番目のポジションにおける暴露確率・閲覧確率
    : 関連度 (既知)
    ユーザーに対するアイテムのランキング
    

    View Slide

13. ポジション配分問題としてのランキング (主貢献1)
    ユーザー ポジション
    u1
    1
    2
    3
    u2
    1
    2
    3
    アイテム
    アイテムに配分すべき
    価値の異なるリソース
    (上位ほど価値が高い)
    

    View Slide

14. ポジション配分問題としてのランキング (主貢献1)
    ユーザー ポジション
    u1
    1
    2
    3
    u2
    1
    2
    3
    こんな感じの
    ”ランキング”
    を何かしらの意味で最適化
    アイテム
    

    View Slide

15. “二重”確率行列
    k=1 k=2 k=3
    i1 0.6 0.3 0.1 1
    i2 0.3 0.3 0.4 1
    i3 0.1 0.4 0.5 1
    1 1 1
    ● 結局のところ各ユーザー”u”ごとに、二重確率行列を最適化する問題
    

    View Slide

16. ユーザー満足 (ランキングにおける典型的な目的関数)
    あるランキングXのユーザー満足 (user utility)
    position-based modelに基づくクリック確率
    (応用に応じてCVR/売上などを柔軟に定義可)
    典型的なランキング論文では
    ユーザー満足を最大化
    あるランキングの元で
    システムで発生する
    期待総クリック数
    確率的なランキング
    典型的な設定で理想的とされるMax Ranking
    

    View Slide

17. ランキングのアイテムへの影響
    各アイテムが公平に一定のクリック・売上を獲得できるようにもしておきたい
    あるランキングXのアイテムへの影響度 (impact on items)
    position-based modelに基づくクリック確率
    (応用に応じてCVR/売上などを柔軟に定義可)
    あるランキングの元で
    アイテムiが獲得する
    期待クリック数
    全体クリック 各アイテム
    確率的なランキング
    

    View Slide

18. 既存の公平ランキング
    アイテムの人気度に比例して暴露確率を配分しつつ、ユーザー満足も最大化
    ● Exposure-Fair Framework
    -- “exposure-fairness”制約の元でユーザー満足を最大化
    SIGIR’18
    KDD’18
    既存の公平性の定義
    

    View Slide

19. 公平ランキングにおける既存の枠組み
    ● Merit -- プラットフォームにおけるアイテムiの平均的な人気度
    ランキングに非依存
    ● Exposure -- あるランキングがアイテムiに配分する総暴露確率
    ランキングに依存
    

    View Slide

20. 既存の公平ランキング
    アイテムの人気度に比例して暴露確率を配分しつつ、ユーザー満足も最大化
    ● Exposure-Fair Framework
    -- “exposure-fairness”制約の元でユーザー満足を最大化
    SIGIR’18
    KDD’18
    既存の公平性の定義
    (機会均等を目指す)
    

    View Slide

21. 公平ランキングにおける既存の枠組み
    アイテムの人気度に比例して暴露確率を配分しつつ、ユーザー満足も最大化
    ● Exposure-Fair Framework
    -- “exposure-fairness”制約の元でユーザー満足を最大化
    ポジション アイテム 関連度 暴露確率
    1 a 0.95 1
    ... ... ... ...
    100 b 0.90 0.01
    不公平に見えるので
    制約をかけて調整
    

    View Slide

22. 具体例
    ● 2人のユーザーと2種類のアイテムのみが存在
    ● 1番目のポジションは絶対に見られるが2番目のポジションは絶対に見られない
    (2番目のポジションに提示されることはアイテムにとって無意味)
    : k番目のポジションにおける暴露確率
    

    View Slide

23. 具体例：真の関連度テーブル
    関連度 (r(u,i))
    0.8 0.3
    0.5 0.4
    1.3 0.7
    各ユーザーに対してどちらアイテムを
    どれくらいの確率で上位に順位付けすべき？
    人気アイテム 不人気アイテム
    

    View Slide

24. Max Ranking (典型)
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 1.0 0.4 / 0.0
    1.3 0.7
    2.0 0.0
    より人気なアイテム1をなりふり構わず上位に配置
    

    View Slide

25. アイテム2に対し圧倒的不公平
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 1.0 0.4 / 0.0
    1.3 0.7
    2.0 0.0
    1.3 0.0
    

    View Slide

26. Exposure-Fair Ranking
    関連度/ 暴露確率
    0.8 / ??? 0.3 / ???
    0.5 / ??? 0.4 / ???
    1.3 0.7
    1.3 0.7
    まず各アイテムに配分できる合計の
    暴露確率を計算し、制約を満たしておく
    

    View Slide

27. Exposure-Fair Ranking
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / ???
    0.5 / 0.3 0.4 / ???
    1.3 0.7
    1.3 0.7
    次にそれに基づいてユーザー満足
    を最大化するよう個別の配分を決定
    

    View Slide

28. Exposure-Fair Ranking
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 0.3 0.4 / 0.7
    1.3 0.7
    1.3 0.7
    真の関連度が既知なので公平制約を完璧に達成 (= 既存の意味で完璧に公平)
    

    View Slide

29. Exposure-Fair Ranking (既存の公平ランキング)
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 0.3 0.4 / 0.7
    1.3 0.7
    1.3 0.7
    真の関連度が既知なので公平制約を完璧に達成 ほんとに公平なのか？
    

    View Slide

30. この配分は公平？不公平？
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 0.3 0.4 / 0.7
    1.3 0.7
    1.3 0.7
    0.95 0.28
    

    View Slide

31. Uniform Ranking (ベースライン)
    関連度/ 暴露確率
    0.8 / 0.5 0.3 / 0.5
    0.5 / 0.5 0.4 / 0.5
    1.3 0.7
    1.0 1.0
    何の最適化をせずとも最低限得られる結果 = ベースライン
    

    View Slide

32. 何の最適化もせずに達成できる結果
    関連度/ 暴露確率
    0.8 / 0.5 0.3 / 0.5
    0.5 / 0.5 0.4 / 0.5
    1.3 0.7
    1.0 1.0
    0.65 0.35
    

    View Slide

33. 既存の公平ランキングは一様配分すら支配できない
    一様配分と比べアイテム1の
    獲得クリック数を大幅改善
    一方、アイテム2の
    獲得クリック数は大幅減
    既存の意味で完璧に公平とされるランキングは
    一様配分下で獲得できるはずのクリック数すら担保できない
    Exposure-Fair
    (完璧に公平とされる)
    Uniform
    (最低保証ライン)
    アイテム1が
    獲得するクリック数
    0.95 (+46%) 0.65
    アイテム2が
    獲得するクリック数
    0.28 (-20%) 0.35
    

    View Slide

34. 既存の公平ランキングは一様配分すら支配できない
    一様配分と比べアイテム1の
    獲得クリック数を大幅改善
    一方、アイテム2の
    獲得クリック数は大幅減
    既存の意味で完璧に公平とされるランキングは
    一様配分下で獲得できるはずのクリック数すら担保できない
    Exposure-Fair
    (完璧に公平とされる)
    Uniform
    (最低保証ライン)
    アイテム1が
    獲得するクリック数
    0.95 (+46%) 0.65
    アイテム2が
    獲得するクリック数
    0.28 (-20%) 0.35
    二値分類では一様予測に
    負けることなど許されない
    

    View Slide

35. 各アイテムの配分を入れ替えてみる
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 0.3 0.4 / 0.7
    1.3 0.7
    1.3 0.7
    0.95 0.28
    

    View Slide

36. アイテム2は配分を交換することでクリック数が増加
    関連度/ 暴露確率
    0.8 / 0.0 0.3 / 1.0
    0.5 / 0.7 0.4 / 0.3
    1.3 0.7
    0.7 1.3
    0.35 (減少) 0.42 (増加)
    

    View Slide

37. 既存の公平ランキングはアイテムの間の妬みを生み非効率
    Exposure-Fair
    (完璧に公平とされる)
    アイテム間で
    配分を入れ替え
    アイテム1が
    獲得するクリック数
    0.95 0.35 (-63%)
    アイテム2が
    獲得するクリック数
    0.28 0.42 (+50%)
    アイテム1はアイテム2と
    配分を交換したいと思わない
    一方、アイテム2はアイテム1
    と配分を交換することで獲得
    クリック数を改善 (妬み)
    既存の意味で完璧に公平とされるランキング下では
    (施策デザイン本の著者のように) 妬みを抱いてしまうアイテムが未だ存在
    

    View Slide

38. 既存の公平性の定義における問題点・不公平さ
    既存の定義において完璧に公平だとされるランキングが..
    ● アイテム間に妬みを生じたまま
    ● 一様配分の時に得られていた最低限のクリック数さえも保証できない
    というのは具体例で見てきた通り
    公平性の定義から新たに塗り替えるべき...
    

    View Slide

39. 公平なランキングが満たすべき新たな性質 (主貢献1)
    1. envy-freeness -- 妬みを抱くアイテムが存在するべきではない
    （満たすのは相当難しいようにも思えるが... 果たして）
    2. dominance over uniform ranking --
    全てのアイテムが一様配分のときよりも等しいか多いクリック数を得ているべき
    

    View Slide

40. 新たな公平性公理を満たすためには？
    どうすれば新たに導入したenvy-freenessと
    dominance over uniform ranking を達成・保証できるか？
    既存の定義において完璧に公平だとされるランキングが..
    ● アイテム間に妬みを生じたまま (= envy-freenessを満たさない)
    ● 一様配分の時に得られていた最低限のクリック数さえも保証できない
    (= 一様配分すらも支配できない)
    というのは具体例で見てきた通り
    

    View Slide

41. 経済学/ゲーム理論における“Fair Division”との関連に着目
    選好度u りんご ばなな いちご
    父 0.8 0.1 0.1
    母 0.2 0.0 0.9
    子 0.3 0.0 0.8
    エージェント
    分割可能な財
    例題: どうすれば平和に果物を分けられる？
    うまく配分することでなんとか離婚の危機を回避したい
    

    View Slide

42. 目的関数を考えるための準備
    家族メンバーiの
    配分xに対する満足度
    家族メンバーiの
    果物jに対する選好
    家族メンバーiが
    獲得する果物jの割合
    選好度の高い果物が多く割当たると満足度も高くなるよう満足度を定義
    

    View Slide

43. 総和-算術平均の最大化をしておけば良い？
    最初に思いつくナイーブな方法は
    家族の満足度の総和の最大化
    (これ以外の方法パッと思いつきますか？)
    家族メンバーの満足度の和
    

    View Slide

44. 総和-算術平均の最大化をしておけば良い？-> ダメそう
    総和を最大化すると
    離婚どころか虐待的な配分に..
    財の配分X りんご ばなな いちご 満足度
    父 1.0 1.0 0.0 0.9
    母 0.0 0.0 1.0 0.9
    子 0.0 0.0 0.0 0.0
    総和が最大
    

    View Slide

45. ということで使われるのが
    Nash Social Welfare (NSW)
    (各人の満足度の”総積-幾何平均”)
    満足度ゼロの人が一人でも存在してしまうと
    目的関数全体がゼロに -> よりバランスの取れた配分
    ナッシュ社会厚生: Nash Social Welfare [Varian 1974]
    一方で、総和は満足度ゼロの人がいても最大化できてしまう
    家族メンバーの満足度の積
    

    View Slide

46. ナッシュ社会厚生: Nash Social Welfare [Varian 1974]
    財の配分X りんご ばなな いちご 満足度
    父 1.0 1.0 0.0 0.90
    母 0.0 0.0 0.5 0.45
    子 0.0 0.0 0.5 0.40
    総積が最大
    ということで使われるのが
    Nash Social Welfare (NSW)
    (各人の満足度の”総積-幾何平均”)
    

    View Slide

47. Fair DivisionとFair Rankingの対応関係
    バランスの良い配分を導く総積 (NSW)
    時に虐待的な配分を導く総和
    ランキングでデフォルトのユーザー満足
    (Exposure-Fairでさえ目的関数として用いる)
    ？？？
    全体クリック 各アイテム
    

    View Slide

48. 公平ランキングにおけるNash Social Welfareの最大化 (主貢献2)
    各アイテムが獲得するクリック数の総積最大値 を提案
    envy-freeness と dominance over uniform ranking を近似的に達成
    (Fair Divisionで知られた結果だが制約条件等が異なるランキング設定でも達成できる)
    

    View Slide

49. 公平ランキングにおけるNash Social Welfareの最大化 (主貢献2)
    各アイテムのクリック数の総積最大値 を提案
    NSW最大解は envy-freeness と dominance over uniform ranking を近似的に達成
    (Fair Divisionで知られた結果だが制約条件等が異なるランキング設定でも達成できる)
    convex
    program
    

    View Slide

50. 同じ具体例でNSWの挙動を見てみる
    関連度 (r(u,i))
    0.8 0.3
    0.5 0.4
    1.3 0.7
    人気アイテム 不人気アイテム
    

    View Slide

51. Exposure-Fair Ranking (既存の公平ランキング)
    関連度/ 暴露確率
    0.8 / 1.0 0.3 / 0.0
    0.5 / 0.3 0.4 / 0.7
    1.3 0.7
    1.3 0.7
    0.95 0.28
    

    View Slide

52. Uniform Ranking (ベースライン)
    関連度/ 暴露確率
    0.8 / 0.5 0.3 / 0.5
    0.5 / 0.5 0.4 / 0.5
    1.3 0.7
    1.0 1.0
    0.65 0.35
    

    View Slide

53. NSW Ranking (提案)
    関連度/ 暴露確率
    0.8 / 1.0 0.3/ 0.0
    0.5 / 0.0 0.4 / 1.0
    1.3 0.7
    1.0 1.0
    0.80 0.40
    

    View Slide

54. 具体例のまとめ：皆さんはどれを選びますか？
    User Utility Imp_i1 Imp_i2
    Max 1.30 1.30 0.00
    Expo-Fair 1.23 0.95 0.28
    NSW (ours) 1.20 0.80 0.40
    Uniform 1.00 0.65 0.35
    envy-free
    & dominant
    

    View Slide

55. 簡単に人工データ実験の結果だけ
    ユーザー数100、アイテム数50の人工マーケットを作り
    ユーザー満足 (utility) と アイテム間の公平性 (fairness) のトレードオフを評価
    ● Mean-Max Envy
    (小さい方が良い)
    ● 10% Better-Off Pct
    (大きい方が良い)
    ● 10% Worse-Off Pct
    (小さい方が良い)
    各itemが抱くenvyの
    最大値の平均値
    Uniformのときと比べ
    10%以上クリック数を改善
    Uniformのときと比べ
    10%以上クリック数を改悪
    

    View Slide

56. NSWは最も公平だがたまにユーザー満足を大きく犠牲に
    popularity biasが大きい (少数のsuper-starが存在) ほど
    ユーザー満足とアイテム間の公平性の両立が困難に
    

    View Slide

57. NSWは最も公平だがユーザー満足との困難なトレードオフが存在
    MaxとExposure-Fairは
    popularity biasの増加に
    合わせenvyを生む
    NSWは常にenvy-free
    (=各itemに最適配分)
    MaxとExposure-Fairは最悪
    時にそれぞれ20%, 50%の
    アイテムが改善を独占
    NSWは常にほぼ全アイテム
    に10%以上の改善を提供
    MaxとExposure-Fairは最悪
    時にそれぞれ80%, 40%の
    アイテムが大きな改悪
    NSWでは10%以上の改悪を
    経験するアイテムが皆無
    MaxとExposure-Fairは
    popularity biasの増加に
    合わせユーザー満足を改善
    NSWはpopularity biasが
    大きいとき公平性を優先
    ナイーブ 既存 提案
    

    View Slide

58. ユーザー満足とアイテム間の公平性の自在な制御 (主貢献3)
    NSWの一般化としてalpha-NSWを提案 (alpha=0のとき元のNSWと一致)
    “alpha” を大きく設定するとユーザー満足重視
    小さく設定するとアイテム間の公平性重視
    

    View Slide

59. alpha-NSWはより一般的な公理を満たす
    1. weighted envy-freeness
    2. weighted dominance over uniform ranking
    人気度(merit)に応じた優遇度をalphaで制御
    

    View Slide

60. alpha-NSWは適したトレードオフの自在な選択を可能に
    ● 同じ人工データ設定で、alpha-NSWのalphaを変更 (0.0, 0.5, 1.0, 2.0)
    ● alphaの調整によりさまざまなユーザー満足 vs 公平性のトレードオフを選択可能
    ● 特に1-NSWはExposure-basedとほぼ同じユーザー満足を達成しながら
    明らかに公平な配分を達成 (適切な¥alphaの値は状況に応じて異なる)
    

    View Slide

61. まとめ
    ● ユーザー満足とアイテム間の公平性の両立が重要な時代に..
    ● 既存の枠組みにおいて完璧に公平とされるランキングでは妬みを
    抱いたり一様分配と比べ獲得クリック数を減少するアイテムが存在
    ● 残された不公平を解決すべく、envy-freeness + dominance
    over uniform rankingによりランキングの公平性を再定義 (主貢献1)
    ● 典型的な総和-算術平均ではなく総積-幾何平均-NSWを最大化することで、
    envy-freeness と dominance over uniform ranking を担保 (主貢献2)
    

    View Slide

62. Thank you!
    email: ys552@cornell.edu
    論文: https://arxiv.org/abs/2202.06317
    実装: https://github.com/usaito/kdd2022-fair-ranking-nsw
    

    View Slide

63. 参考文献1 (基本全てexposure-based)
    バッチ設定
    Asia J. Biega, Krishna P. Gummadi, and Gerhard Weikum. 2018. Equity of Attention: Amortizing
    Individual Fairness in Rankings. In The 41st International ACM SIGIR Conference on Research &
    Development in Information Retrieval. 405–414. (WWW2018)
    Ashudeep Singh and Thorsten Joachims. 2018. Fairness of Exposure in Rankings. In Proceedings of
    the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2219–2228.
    (KDD2018)
    Yuta Saito and Thorsten Joachims. 2022. Fair Ranking as Fair Division: Impact-Based Individual
    Fairness in Ranking. In Proceedings of the 28th ACM SIGKDD International Conference on Knowledge
    Discovery & Data Mining (to appear). (KDD2022)
    

    View Slide

64. 参考文献2 (基本全てexposure-based)
    End-to-End学習
    Ashudeep Singh and Thorsten Joachims. 2019. Policy Learning for Fairness in Ranking. In Conference
    on Neural Information Processing Systems (NeurIPS 2019).
    Himank Yadav, Zhengxiao Du, and Thorsten Joachims. 2021. Policy-Gradient Training of Fair and
    Unbiased Ranking Functions. In Proceedings of the 44th International ACM SIGIR Conference on
    Research and Development in Information Retrieval. 1044–1053. (SIGIR2021)
    Harrie Oosterhuis. 2021. Computationally Efficient Optimization of PlackettLuce Ranking Models for
    Relevance and Fairness. In Proceedings of the 44th International ACM SIGIR Conference on Research
    and Development in Information Retrieval (SIGIR‘21). (SIGIR2021, Best Paper Award)
    

    View Slide

65. 参考文献3 (基本全てexposure-based)
    動的学習/バンディット
    Marco Morik, Ashudeep Singh, Jessica Hong, and Thorsten Joachims. 2020. Controlling Fairness and
    Bias in Dynamic Learning-to-Rank. In Proceedings of the 43rd International ACM SIGIR Conference on
    Research and Development in Information Retrieval. 429–438. (SIGIR2020, Best Paper Award)
    Tao Yang and Qingyao Ai. 2021. Maximizing Marginal Fairness for Dynamic Learning to Rank. In
    Proceedings of the Web Conference 2021. 137–145. (WWW2021)
    Lequn Wang, Yiwei Bai, Wen Sun, and Thorsten Joachims. 2021. Fairness of Exposure in Stochastic
    Bandits. In Proceedings of the 38th International Conference on Machine Learning (Proceedings of
    Machine Learning Research, Vol. 139). PMLR, 10686–10696. (ICML2021).
    

    View Slide

66. 参考文献4 (基本全てexposure-based)
    その他
    Fernando Diaz, Bhaskar Mitra, Michael D Ekstrand, Asia J Biega, and Ben Carterette. 2020. Evaluating
    Stochastic Rankings with Expected Exposure. In Proceedings of the 29th ACM International Conference
    on Information & Knowledge Management. 275–284. (CIKM2020, Best Paper Runner-Up)
    Ashudeep Singh, David Kempe, and Thorsten Joachims. 2021. Fairness in Ranking under Uncertainty.
    Advances in Neural Information Processing Systems 34 (NeurIPS2021).
    Yi Su, Magd Bayoumi, and Thorsten Joachims. Optimizing Rankings for Recommendation in Matching
    Markets. In Proceedings of the Web Conference 2022. (WWW2022).
    

    View Slide