SIGIR2021読み会

社内で行われたSIGIR2021読み会で以下の5本の論文の議論を行った資料です

反実仮想(表示バイアス)

そもそも表示されてない人はクリックされないし
Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation
表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
Unbiased Learning to Rank: Online or Offline?

Fairness

ステレオタイプの激しいドキュメントは検索順位を下げよう
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？
This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics

Transcript

1. Bias and Counterfactual Learning 大垣慶介 SIGIR論文読み会
2. Bias and Counterfactual Learning Implicit Feedbackに対するBias => 全体利益最適化 ▪ 我々が観測してるのはあくまでも一部のCVしたユーザーの結果であり、そ れだけで最適化を行うと、全体CVは最適値にならない ドキュメントに存在するステレオタイプのBias => Fairness ▪ 現在クリック数が多いドキュメントであっても、ステレオタイプ・偏見が含ま れている不適切なドキュメントであることもある
3. 反実仮想(表示バイアス) • そもそも表示されてない人はクリックされないし ◦ Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation • 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね ◦ Adapting Interactional Observation Embedding for Counterfactual Learning to Rank • Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの ◦ Unbiased Learning to Rank: Online or Offline? Fairness • ステレオタイプの激しいドキュメントは検索順位を下げよう ◦ Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers • ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？ ◦ This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics
4. 反実仮想(表示バイアス) • そもそも表示されてない人はクリックされないし ◦ Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation • 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね ◦ Adapting Interactional Observation Embedding for Counterfactual Learning to Rank • Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの ◦ Unbiased Learning to Rank: Online or Offline? Fairness • ステレオタイプの激しいドキュメントは検索順位を下げよう ◦ Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers • ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？ ◦ This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics
5. Counterfactual Learning is 何 クリックを元にした学習はシンプルで良いが、バイアスがある ので、バイアスもモデル化して、 ”もしバイアスがなければどのようなCVRになるか”を使って学習しよう 一番上にダメなやつがでてると永遠にいい記事のフィードバックが得られない • そもそも表示されてない人はクリックされないし • 表示されてても順位によって見られたり見られなかったり • 特にいい記事じゃなくても上位に出ることが多くてクリックされたとか • 他の記事が何でてるかによってもクリックするか変わるよね (エムスリーでもポジションバイアスとして考慮されてる話の一般化 )
6. Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation CVR予測におけるバイアス 現実的には クリックしてないイベントは CVRも0とし て学習される -> バイアス oを予測値でキャンセルしたい。そのために抜けおちてるもの -> 2つの仮定: • いま表示されてないものがもし表示されたら どれくらいconversionしてたか: imputed error • 今クリックされているものはどれくらい観測しやすかったか -> doubly robust
7. Doubly Robust 片方ロバストなモデル (それぞれoをキャンセル) (Enhanced) Doubly Robust oをキャンセルしたい。そのために抜けおちてるもの -> 2つの仮定: • いま表示されてないものがもし表示されたら どれくらいconversionしてたか: imputed error • 今クリックされているものはどれくらい観測しやすかったか -> doubly robust
8. 面白いところ: 交互に学習 p_hatを学習 -> e_hatを学習というステージを両方のモデルが収束するまで続ける(依存があるため)
9. Adapting Interactional Observation Embedding for Counterfactual Learning to Rank その記事より上に他の記事が何でてるかによってもクリックするか変わるよね 何番目に表示されたか どういう内容のクエリで、何 番目に表示されたか いままでどれとどれと。。。を 表示・クリックしたか https://dl.acm.org/doi/10.1145/3404835.3462917 めちゃくちゃ多い依存を LSTMでモデリング
10. Unbiased Learning to Rank: Online or Offline? バイアスを除くには、 Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの オンライン: 正確にそれぞれの記事のクリック率は出せ ないけど、相関がある指標として並べ替えリスト同士の 比較(bandit) オフライン(反実仮想): クリック以外の変数も 使って真のrelevanceを推定する • オンラインのほうが有利な環境はあ るが、オフラインのほうが手法に依 存しにくい • 筆者らが過去手法を実装して実験、 実装もOSS公開 https://github.com/ULTR-Community/ULTRA https://www.youtube.com/watch?v=WWd6txl135A
11. 表示バイアス • そもそも表示されてない人はクリックされないし ◦ Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation • 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね ◦ Adapting Interactional Observation Embedding for Counterfactual Learning to Rank • Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの ◦ Unbiased Learning to Rank: Online or Offline? Fairness • ステレオタイプの激しいドキュメントは検索順位を下げよう ◦ Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers • ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？ ◦ This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics
12. Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers https://github.com/CPJKU/FairnessRetrievalResults Governor を Heで受けるバイアスがかかってる文 書を順位下げられる Learning to Rankに qとdの近さ (通常のmetric learning) 属性Xを当てられる学習の 反転(adversarial) GANではtrue/fakeだけ どここでは男性 /女性など を当てられないように
13. This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics • 検索結果を見せた後に意見はどう変わるか • 各コンテンツには事前に賛成派か反対派かのラベルが振られており、それを並び 順のバイアス度合いを変えて様々な被験者に見せる 検索結果の表示順がユーザーの意見を変えるのは、上位が目に入るせいか、あるいは上位を信頼しているせいか バイアスによって意見は変わった ただし、それは上位に出る記事のク リック数が高いから 意見のバイアスをかけても、ポジションバイアスは変わら ない (上位の意見が重要なら下位の挙動は変わりそう)
14. 表示バイアス • そもそも表示されてない人はクリックされないし ◦ Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation • 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね ◦ Adapting Interactional Observation Embedding for Counterfactual Learning to Rank • Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの ◦ Unbiased Learning to Rank: Online or Offline? Fairness • ステレオタイプの激しいドキュメントは検索順位を下げよう ◦ Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers • ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？ ◦ This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics