Fair Ranking as Fair Division: Impact-Based Individual Fairness in Ranking (KDD'22)

推薦やランキングの研究では、長らくユーザー満足の最大化を至上命題として多くの手法が提案されてきました。しかし最近では、ユーザー満足のみならずアイテム間の公平性を担保することも等しく重要である応用がむしろ多くなっています。例えばマッチングアプリにおけるユーザー推薦においては、イケメンを優先して女性側に推薦することで（ユーザー満足を図る指標としてよく用いられる）クリックを多く稼ぐことができるでしょう。しかしそれでは一部のイケメンばかりにマッチが集中してしまい、発表者のような非イケメンは結局いつまで経ってもマッチできないことになります。そんなことでは、優先して推薦されるイケメン達への妬みがこれまで以上に増幅し、推薦されやすさの意味で不公平を被る多くのユーザーがプラットフォームを去ってしまいかねません。同様の不公平な状況はYouTube, Amazon, Spotify, Airbnb, Linkedinなどでも容易に起こり得ます。 こういった不公平かつ残酷な状況を避けるべく、"ユーザー満足"と"推薦される側の公平性"の両立を目指すのが、公平ランキングと呼ばれる新興分野です。本発表ではまず、公平ランキングにおける現在主流の枠組みとして、暴露量に基づいた公平性の定義を紹介します。その後具体例を用いながら、既存の公平性の定義に残された不公平な側面を指摘します。最後に、既存の枠組みの問題点を解消すべく公平ランキングにおける公平性の再定義と新たな手法の提案を行なった発表者の研究（KDD'22採択）について簡単に紹介します。

Transcript

1. Fair Ranking as Fair Division: Impact-Based Individual Fairness in Ranking (KDD2022) Yuta Saito (w/ Thorsten Joachims)
2. 簡単に自己紹介 名前：齋藤 優太 経歴：東工大学部卒 (21.3) -> Cornell Univ, CS PhD (21.9-) 研究領域：オフ方策評価 / 推薦・ランキングの公平性 研究実績：NeurIPS, ICML, KDD, SIGIR, WSDM, RecSysなど その他 - 「私のブックマーク：反実仮想機械学習」の執筆 - 「統計・機械学習 若手シンポジウム」などで招待講演 - 「施策デザインのための機械学習入門」の執筆/出版 usaito 今日はこの本が 別の意味で活躍
3. あらすじ 前半 (導入) • ランキングにおける公平性のモチベーション • 現在主流のExposureに基づく公平ランキングの紹介 後半 (KDD’22論文) • 新たな公平性の定義と公平ランキング手法の提案 分野を創始した論文 (exposure-based) SIGIR’18 KDD’18
4. おおむかし: ユーザー満足のみが大事 （例: 図書館蔵書検索） ランキングシステムの変遷 https://klis.tsukuba.ac.jp/ DCGなどを単に最大化していれば良かった
5. 最近のランキングシステム事情（アマゾン） • ユーザー ◦ 買い物客 ◦ クエリに関係しそうな商品を 上位で表示して欲しい • アイテム ◦ 出品者・製造者・著者 ◦ できるだけ上位に表示してもらい お金を稼ぎたい ・・・・ アイテムに対する影響も考慮すべき Yasuiさんは大満足
6. 最近のランキングシステム事情（アマゾン） ・・・・ 23番⽬.. Yasuiさん (効果検証本) に対する妬みや 不公平感が明らかに生じてしまっている • ユーザー ◦ 買い物客 ◦ クエリに関係しそうな商品を 上位で表示して欲しい • アイテム ◦ 出品者・製造者・著者 ◦ できるだけ上位に表示してもらい お金を稼ぎたい アイテムに対する影響も考慮すべき
7. • ユーザー ◦ 学会参加者・サイト訪問者 ◦ 興味のある論文を早く見つけたい • アイテム ◦ 論文著者 ◦ できるだけ上位に表示してもらい 注目を集めたい 最近のランキングシステム事情（国際会議） 情報検索トップ会議は、アルファベット順でランキング -> “A”からタイトルを始めるべきという謎のインセンティブ アイテムに対する影響も考慮すべき
8. 最近のランキングシステム事情（国際会議） （タイトルの付け方をミスったため..） 全くもっと注目を集められない不公平な ポジションに追いやられてしまった 永遠にbottom 3 • ユーザー ◦ 学会参加者・サイト訪問者 ◦ 興味のある論文を早く見つけたい • アイテム ◦ 論文著者 ◦ できるだけ上位に表示してもらい 注目を集めたい アイテムに対する影響も考慮すべき
9. 非イケメン (e.g. 発表者) イケメン2 イケメン1 最近のランキングシステム事情（マッチングアプリ） • ユーザー ◦ 女性ユーザー（逆もあり得る） ◦ イケメンなど好みの男性を 上位で表示して欲しい • アイテム ◦ 男性ユーザー ◦ できるだけ上位に表示してもらい 一攫千金を狙いたい アイテムに対する影響も考慮すべき イケメンばかりを推薦 していたらマッチが 偏り不公平感を生む
10. 最近のランキングシステム事情（飲食店検索） • ユーザー ◦ 飲食店を探している人 ◦ ジャンル・場所・予算に合致する 飲食店を上位で表示して欲しい • アイテム ◦ 飲食店 ◦ 上位に表示してもらい多くの ユーザーに認知・利用してもらいたい アイテムに対する影響も考慮すべき 渋谷 焼肉
11. • 典型的なランク学習では “relevance”(ユーザー満足) の最大化のみが興味対象 • しかしそれだとアイテムに対し て不公平になり得る -> プラット フォームに参加する意味のない アイテムが生じ得る • ユーザーの満足度とアイテムの 公平性をどう両立すべき？ 公平ランキングのモチベーション ポジション アイテム 関連度 暴露確率 1 i1 0.95 1 2 i2 0.94 0.5 ... ... ... ... 100 i100 0.90 0.01 ユーザーに対するアイテムのランキング Airbnb/YouTube/Spotify/Booking.com/Linkedin などアイテム側の収益や生計に直結する応用で特に重要
12. 主な記号 ポジション アイテム 関連度 暴露確率 k=1 i1 r(u,i1) e(1)=1.0 k=2 i2 r(u,i2) e(2)=0.5 ... ... ... ... : アイテム (主役) : ユーザー : k番目のポジションにおける暴露確率・閲覧確率 : 関連度 (既知) ユーザーに対するアイテムのランキング
13. ポジション配分問題としてのランキング (主貢献1) ユーザー ポジション u1 1 2 3 u2 1 2 3 アイテム アイテムに配分すべき 価値の異なるリソース (上位ほど価値が高い)
14. ポジション配分問題としてのランキング (主貢献1) ユーザー ポジション u1 1 2 3 u2 1 2 3 こんな感じの ”ランキング” を何かしらの意味で最適化 アイテム
15. “二重”確率行列 k=1 k=2 k=3 i1 0.6 0.3 0.1 1 i2 0.3 0.3 0.4 1 i3 0.1 0.4 0.5 1 1 1 1 • 結局のところ各ユーザー”u”ごとに、二重確率行列を最適化する問題
16. ユーザー満足 (ランキングにおける典型的な目的関数) あるランキングXのユーザー満足 (user utility) position-based modelに基づくクリック確率 (応用に応じてCVR/売上などを柔軟に定義可) 典型的なランキング論文では ユーザー満足を最大化 あるランキングの元で システムで発生する 期待総クリック数 確率的なランキング 典型的な設定で理想的とされるMax Ranking
17. ランキングのアイテムへの影響 各アイテムが公平に一定のクリック・売上を獲得できるようにもしておきたい あるランキングXのアイテムへの影響度 (impact on items) position-based modelに基づくクリック確率 (応用に応じてCVR/売上などを柔軟に定義可) あるランキングの元で アイテムiが獲得する 期待クリック数 全体クリック 各アイテム 確率的なランキング
18. 既存の公平ランキング アイテムの人気度に比例して暴露確率を配分しつつ、ユーザー満足も最大化 • Exposure-Fair Framework -- “exposure-fairness”制約の元でユーザー満足を最大化 SIGIR’18 KDD’18 既存の公平性の定義
19. 公平ランキングにおける既存の枠組み • Merit -- プラットフォームにおけるアイテムiの平均的な人気度 ランキングに非依存 • Exposure -- あるランキングがアイテムiに配分する総暴露確率 ランキングに依存
20. 既存の公平ランキング アイテムの人気度に比例して暴露確率を配分しつつ、ユーザー満足も最大化 • Exposure-Fair Framework -- “exposure-fairness”制約の元でユーザー満足を最大化 SIGIR’18 KDD’18 既存の公平性の定義 (機会均等を目指す)
21. 公平ランキングにおける既存の枠組み アイテムの人気度に比例して暴露確率を配分しつつ、ユーザー満足も最大化 • Exposure-Fair Framework -- “exposure-fairness”制約の元でユーザー満足を最大化 ポジション アイテム 関連度 暴露確率 1 a 0.95 1 ... ... ... ... 100 b 0.90 0.01 不公平に見えるので 制約をかけて調整
22. 具体例 • 2人のユーザーと2種類のアイテムのみが存在 • 1番目のポジションは絶対に見られるが2番目のポジションは絶対に見られない (2番目のポジションに提示されることはアイテムにとって無意味) : k番目のポジションにおける暴露確率
23. 具体例：真の関連度テーブル 関連度 (r(u,i)) 0.8 0.3 0.5 0.4 1.3 0.7 各ユーザーに対してどちらアイテムを どれくらいの確率で上位に順位付けすべき？ 人気アイテム 不人気アイテム
24. Max Ranking (典型) 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 1.0 0.4 / 0.0 1.3 0.7 2.0 0.0 より人気なアイテム1をなりふり構わず上位に配置
25. アイテム2に対し圧倒的不公平 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 1.0 0.4 / 0.0 1.3 0.7 2.0 0.0 1.3 0.0
26. Exposure-Fair Ranking 関連度/ 暴露確率 0.8 / ??? 0.3 / ??? 0.5 / ??? 0.4 / ??? 1.3 0.7 1.3 0.7 まず各アイテムに配分できる合計の 暴露確率を計算し、制約を満たしておく
27. Exposure-Fair Ranking 関連度/ 暴露確率 0.8 / 1.0 0.3 / ??? 0.5 / 0.3 0.4 / ??? 1.3 0.7 1.3 0.7 次にそれに基づいてユーザー満足 を最大化するよう個別の配分を決定
28. Exposure-Fair Ranking 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 0.3 0.4 / 0.7 1.3 0.7 1.3 0.7 真の関連度が既知なので公平制約を完璧に達成 (= 既存の意味で完璧に公平)
29. Exposure-Fair Ranking (既存の公平ランキング) 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 0.3 0.4 / 0.7 1.3 0.7 1.3 0.7 真の関連度が既知なので公平制約を完璧に達成 ほんとに公平なのか？
30. この配分は公平？不公平？ 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 0.3 0.4 / 0.7 1.3 0.7 1.3 0.7 0.95 0.28
31. Uniform Ranking (ベースライン) 関連度/ 暴露確率 0.8 / 0.5 0.3 / 0.5 0.5 / 0.5 0.4 / 0.5 1.3 0.7 1.0 1.0 何の最適化をせずとも最低限得られる結果 = ベースライン
32. 何の最適化もせずに達成できる結果 関連度/ 暴露確率 0.8 / 0.5 0.3 / 0.5 0.5 / 0.5 0.4 / 0.5 1.3 0.7 1.0 1.0 0.65 0.35
33. 既存の公平ランキングは一様配分すら支配できない 一様配分と比べアイテム1の 獲得クリック数を大幅改善 一方、アイテム2の 獲得クリック数は大幅減 既存の意味で完璧に公平とされるランキングは 一様配分下で獲得できるはずのクリック数すら担保できない Exposure-Fair (完璧に公平とされる) Uniform (最低保証ライン) アイテム1が 獲得するクリック数 0.95 (+46%) 0.65 アイテム2が 獲得するクリック数 0.28 (-20%) 0.35
34. 既存の公平ランキングは一様配分すら支配できない 一様配分と比べアイテム1の 獲得クリック数を大幅改善 一方、アイテム2の 獲得クリック数は大幅減 既存の意味で完璧に公平とされるランキングは 一様配分下で獲得できるはずのクリック数すら担保できない Exposure-Fair (完璧に公平とされる) Uniform (最低保証ライン) アイテム1が 獲得するクリック数 0.95 (+46%) 0.65 アイテム2が 獲得するクリック数 0.28 (-20%) 0.35 二値分類では一様予測に 負けることなど許されない
35. 各アイテムの配分を入れ替えてみる 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 0.3 0.4 / 0.7 1.3 0.7 1.3 0.7 0.95 0.28
36. アイテム2は配分を交換することでクリック数が増加 関連度/ 暴露確率 0.8 / 0.0 0.3 / 1.0 0.5 / 0.7 0.4 / 0.3 1.3 0.7 0.7 1.3 0.35 (減少) 0.42 (増加)
37. 既存の公平ランキングはアイテムの間の妬みを生み非効率 Exposure-Fair (完璧に公平とされる) アイテム間で 配分を入れ替え アイテム1が 獲得するクリック数 0.95 0.35 (-63%) アイテム2が 獲得するクリック数 0.28 0.42 (+50%) アイテム1はアイテム2と 配分を交換したいと思わない 一方、アイテム2はアイテム1 と配分を交換することで獲得 クリック数を改善 (妬み) 既存の意味で完璧に公平とされるランキング下では (施策デザイン本の著者のように) 妬みを抱いてしまうアイテムが未だ存在
38. 既存の公平性の定義における問題点・不公平さ 既存の定義において完璧に公平だとされるランキングが.. • アイテム間に妬みを生じたまま • 一様配分の時に得られていた最低限のクリック数さえも保証できない というのは具体例で見てきた通り 公平性の定義から新たに塗り替えるべき...
39. 公平なランキングが満たすべき新たな性質 (主貢献1) 1. envy-freeness -- 妬みを抱くアイテムが存在するべきではない （満たすのは相当難しいようにも思えるが... 果たして） 2. dominance over uniform ranking -- 全てのアイテムが一様配分のときよりも等しいか多いクリック数を得ているべき
40. 新たな公平性公理を満たすためには？ どうすれば新たに導入したenvy-freenessと dominance over uniform ranking を達成・保証できるか？ 既存の定義において完璧に公平だとされるランキングが.. • アイテム間に妬みを生じたまま (= envy-freenessを満たさない) • 一様配分の時に得られていた最低限のクリック数さえも保証できない (= 一様配分すらも支配できない) というのは具体例で見てきた通り
41. 経済学/ゲーム理論における“Fair Division”との関連に着目 選好度u りんご ばなな いちご 父 0.8 0.1 0.1 母 0.2 0.0 0.9 子 0.3 0.0 0.8 エージェント 分割可能な財 例題: どうすれば平和に果物を分けられる？ うまく配分することでなんとか離婚の危機を回避したい
42. 目的関数を考えるための準備 家族メンバーiの 配分xに対する満足度 家族メンバーiの 果物jに対する選好 家族メンバーiが 獲得する果物jの割合 選好度の高い果物が多く割当たると満足度も高くなるよう満足度を定義
43. 総和-算術平均の最大化をしておけば良い？ 最初に思いつくナイーブな方法は 家族の満足度の総和の最大化 (これ以外の方法パッと思いつきますか？) 家族メンバーの満足度の和
44. 総和-算術平均の最大化をしておけば良い？-> ダメそう 総和を最大化すると 離婚どころか虐待的な配分に.. 財の配分X りんご ばなな いちご 満足度 父 1.0 1.0 0.0 0.9 母 0.0 0.0 1.0 0.9 子 0.0 0.0 0.0 0.0 総和が最大
45. ということで使われるのが Nash Social Welfare (NSW) (各人の満足度の”総積-幾何平均”) 満足度ゼロの人が一人でも存在してしまうと 目的関数全体がゼロに -> よりバランスの取れた配分 ナッシュ社会厚生: Nash Social Welfare [Varian 1974] 一方で、総和は満足度ゼロの人がいても最大化できてしまう 家族メンバーの満足度の積
46. ナッシュ社会厚生: Nash Social Welfare [Varian 1974] 財の配分X りんご ばなな いちご 満足度 父 1.0 1.0 0.0 0.90 母 0.0 0.0 0.5 0.45 子 0.0 0.0 0.5 0.40 総積が最大 ということで使われるのが Nash Social Welfare (NSW) (各人の満足度の”総積-幾何平均”)
47. Fair DivisionとFair Rankingの対応関係 バランスの良い配分を導く総積 (NSW) 時に虐待的な配分を導く総和 ランキングでデフォルトのユーザー満足 (Exposure-Fairでさえ目的関数として用いる) ？？？ 全体クリック 各アイテム
48. 公平ランキングにおけるNash Social Welfareの最大化 (主貢献2) 各アイテムが獲得するクリック数の総積最大値 を提案 envy-freeness と dominance over uniform ranking を近似的に達成 (Fair Divisionで知られた結果だが制約条件等が異なるランキング設定でも達成できる)
49. 公平ランキングにおけるNash Social Welfareの最大化 (主貢献2) 各アイテムのクリック数の総積最大値 を提案 NSW最大解は envy-freeness と dominance over uniform ranking を近似的に達成 (Fair Divisionで知られた結果だが制約条件等が異なるランキング設定でも達成できる) convex program
50. 同じ具体例でNSWの挙動を見てみる 関連度 (r(u,i)) 0.8 0.3 0.5 0.4 1.3 0.7 人気アイテム 不人気アイテム
51. Exposure-Fair Ranking (既存の公平ランキング) 関連度/ 暴露確率 0.8 / 1.0 0.3 / 0.0 0.5 / 0.3 0.4 / 0.7 1.3 0.7 1.3 0.7 0.95 0.28
52. Uniform Ranking (ベースライン) 関連度/ 暴露確率 0.8 / 0.5 0.3 / 0.5 0.5 / 0.5 0.4 / 0.5 1.3 0.7 1.0 1.0 0.65 0.35
53. NSW Ranking (提案) 関連度/ 暴露確率 0.8 / 1.0 0.3/ 0.0 0.5 / 0.0 0.4 / 1.0 1.3 0.7 1.0 1.0 0.80 0.40
54. 具体例のまとめ：皆さんはどれを選びますか？ User Utility Imp_i1 Imp_i2 Max 1.30 1.30 0.00 Expo-Fair 1.23 0.95 0.28 NSW (ours) 1.20 0.80 0.40 Uniform 1.00 0.65 0.35 envy-free & dominant
55. 簡単に人工データ実験の結果だけ ユーザー数100、アイテム数50の人工マーケットを作り ユーザー満足 (utility) と アイテム間の公平性 (fairness) のトレードオフを評価 • Mean-Max Envy (小さい方が良い) • 10% Better-Off Pct (大きい方が良い) • 10% Worse-Off Pct (小さい方が良い) 各itemが抱くenvyの 最大値の平均値 Uniformのときと比べ 10%以上クリック数を改善 Uniformのときと比べ 10%以上クリック数を改悪
56. NSWは最も公平だがたまにユーザー満足を大きく犠牲に popularity biasが大きい (少数のsuper-starが存在) ほど ユーザー満足とアイテム間の公平性の両立が困難に
57. NSWは最も公平だがユーザー満足との困難なトレードオフが存在 MaxとExposure-Fairは popularity biasの増加に 合わせenvyを生む NSWは常にenvy-free (=各itemに最適配分) MaxとExposure-Fairは最悪 時にそれぞれ20%, 50%の アイテムが改善を独占 NSWは常にほぼ全アイテム に10%以上の改善を提供 MaxとExposure-Fairは最悪 時にそれぞれ80%, 40%の アイテムが大きな改悪 NSWでは10%以上の改悪を 経験するアイテムが皆無 MaxとExposure-Fairは popularity biasの増加に 合わせユーザー満足を改善 NSWはpopularity biasが 大きいとき公平性を優先 ナイーブ 既存 提案
58. ユーザー満足とアイテム間の公平性の自在な制御 (主貢献3) NSWの一般化としてalpha-NSWを提案 (alpha=0のとき元のNSWと一致) “alpha” を大きく設定するとユーザー満足重視 小さく設定するとアイテム間の公平性重視
59. alpha-NSWはより一般的な公理を満たす 1. weighted envy-freeness 2. weighted dominance over uniform ranking 人気度(merit)に応じた優遇度をalphaで制御
60. alpha-NSWは適したトレードオフの自在な選択を可能に • 同じ人工データ設定で、alpha-NSWのalphaを変更 (0.0, 0.5, 1.0, 2.0) • alphaの調整によりさまざまなユーザー満足 vs 公平性のトレードオフを選択可能 • 特に1-NSWはExposure-basedとほぼ同じユーザー満足を達成しながら 明らかに公平な配分を達成 (適切な¥alphaの値は状況に応じて異なる)
61. まとめ • ユーザー満足とアイテム間の公平性の両立が重要な時代に.. • 既存の枠組みにおいて完璧に公平とされるランキングでは妬みを 抱いたり一様分配と比べ獲得クリック数を減少するアイテムが存在 • 残された不公平を解決すべく、envy-freeness + dominance over uniform rankingによりランキングの公平性を再定義 (主貢献1) • 典型的な総和-算術平均ではなく総積-幾何平均-NSWを最大化することで、 envy-freeness と dominance over uniform ranking を担保 (主貢献2)
62. Thank you! email: ys552@cornell.edu 論文: https://arxiv.org/abs/2202.06317 実装: https://github.com/usaito/kdd2022-fair-ranking-nsw
63. 参考文献1 (基本全てexposure-based) バッチ設定 Asia J. Biega, Krishna P. Gummadi, and Gerhard Weikum. 2018. Equity of Attention: Amortizing Individual Fairness in Rankings. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 405–414. (WWW2018) Ashudeep Singh and Thorsten Joachims. 2018. Fairness of Exposure in Rankings. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2219–2228. (KDD2018) Yuta Saito and Thorsten Joachims. 2022. Fair Ranking as Fair Division: Impact-Based Individual Fairness in Ranking. In Proceedings of the 28th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (to appear). (KDD2022)
64. 参考文献2 (基本全てexposure-based) End-to-End学習 Ashudeep Singh and Thorsten Joachims. 2019. Policy Learning for Fairness in Ranking. In Conference on Neural Information Processing Systems (NeurIPS 2019). Himank Yadav, Zhengxiao Du, and Thorsten Joachims. 2021. Policy-Gradient Training of Fair and Unbiased Ranking Functions. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 1044–1053. (SIGIR2021) Harrie Oosterhuis. 2021. Computationally Efficient Optimization of PlackettLuce Ranking Models for Relevance and Fairness. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR‘21). (SIGIR2021, Best Paper Award)
65. 参考文献3 (基本全てexposure-based) 動的学習/バンディット Marco Morik, Ashudeep Singh, Jessica Hong, and Thorsten Joachims. 2020. Controlling Fairness and Bias in Dynamic Learning-to-Rank. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 429–438. (SIGIR2020, Best Paper Award) Tao Yang and Qingyao Ai. 2021. Maximizing Marginal Fairness for Dynamic Learning to Rank. In Proceedings of the Web Conference 2021. 137–145. (WWW2021) Lequn Wang, Yiwei Bai, Wen Sun, and Thorsten Joachims. 2021. Fairness of Exposure in Stochastic Bandits. In Proceedings of the 38th International Conference on Machine Learning (Proceedings of Machine Learning Research, Vol. 139). PMLR, 10686–10696. (ICML2021).
66. 参考文献4 (基本全てexposure-based) その他 Fernando Diaz, Bhaskar Mitra, Michael D Ekstrand, Asia J Biega, and Ben Carterette. 2020. Evaluating Stochastic Rankings with Expected Exposure. In Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 275–284. (CIKM2020, Best Paper Runner-Up) Ashudeep Singh, David Kempe, and Thorsten Joachims. 2021. Fairness in Ranking under Uncertainty. Advances in Neural Information Processing Systems 34 (NeurIPS2021). Yi Su, Magd Bayoumi, and Thorsten Joachims. Optimizing Rankings for Recommendation in Matching Markets. In Proceedings of the Web Conference 2022. (WWW2022).