SIGIR2021読み会

社内で行われたSIGIR2021読み会で以下の5本の論文の議論を行った資料です

反実仮想(表示バイアス)

そもそも表示されてない人はクリックされないし
Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation
表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
Unbiased Learning to Rank: Online or Offline?

Fairness

ステレオタイプの激しいドキュメントは検索順位を下げよう
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？
This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics

Transcript

1. Bias and Counterfactual
   Learning
   大垣慶介
   SIGIR論文読み会
   

   View Slide

2. Bias and Counterfactual
   Learning
   Implicit Feedbackに対するBias => 全体利益最適化
   ■ 我々が観測してるのはあくまでも一部のCVしたユーザーの結果であり、そ
   れだけで最適化を行うと、全体CVは最適値にならない
   ドキュメントに存在するステレオタイプのBias => Fairness
   ■ 現在クリック数が多いドキュメントであっても、ステレオタイプ・偏見が含ま
   れている不適切なドキュメントであることもある
   

   View Slide

3. 反実仮想(表示バイアス)
   ● そもそも表示されてない人はクリックされないし
   ○
   Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
   Estimation
   ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
   ○
   Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
   ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
   ○
   Unbiased Learning to Rank: Online or Offline?
   Fairness
   ● ステレオタイプの激しいドキュメントは検索順位を下げよう
   ○
   Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
   Mitigation for BERT Rankers
   ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？
   ○
   This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
   User Attitudes on Debated Topics
   

   View Slide

4. 反実仮想(表示バイアス)
   ● そもそも表示されてない人はクリックされないし
   ○
   Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
   Estimation
   ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
   ○
   Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
   ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
   ○
   Unbiased Learning to Rank: Online or Offline?
   Fairness
   ● ステレオタイプの激しいドキュメントは検索順位を下げよう
   ○
   Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
   Mitigation for BERT Rankers
   ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？
   ○
   This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
   User Attitudes on Debated Topics
   

   View Slide

5. Counterfactual Learning is 何
   クリックを元にした学習はシンプルで良いが、バイアスがある
   ので、バイアスもモデル化して、 ”もしバイアスがなければどのようなCVRになるか”を使って学習しよう
   一番上にダメなやつがでてると永遠にいい記事のフィードバックが得られない
   ● そもそも表示されてない人はクリックされないし
   ● 表示されてても順位によって見られたり見られなかったり
   ● 特にいい記事じゃなくても上位に出ることが多くてクリックされたとか
   ● 他の記事が何でてるかによってもクリックするか変わるよね
   (エムスリーでもポジションバイアスとして考慮されてる話の一般化
   )
   

   View Slide

6. Enhanced Doubly Robust Learning for Debiasing
   Post-Click Conversion Rate Estimation
   CVR予測におけるバイアス
   現実的には
   クリックしてないイベントは CVRも0とし
   て学習される -> バイアス
   oを予測値でキャンセルしたい。そのために抜けおちてるもの -> 2つの仮定:
   ● いま表示されてないものがもし表示されたら どれくらいconversionしてたか: imputed error
   ● 今クリックされているものはどれくらい観測しやすかったか
   -> doubly robust
   

   View Slide

7. Doubly Robust
   片方ロバストなモデル (それぞれoをキャンセル) (Enhanced) Doubly Robust
   oをキャンセルしたい。そのために抜けおちてるもの -> 2つの仮定:
   ● いま表示されてないものがもし表示されたら どれくらいconversionしてたか: imputed error
   ● 今クリックされているものはどれくらい観測しやすかったか
   -> doubly robust
   

   View Slide

8. 面白いところ: 交互に学習
   p_hatを学習 -> e_hatを学習というステージを両方のモデルが収束するまで続ける(依存があるため)
   

   View Slide

9. Adapting Interactional Observation Embedding for
   Counterfactual Learning to Rank
   その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
   何番目に表示されたか
   どういう内容のクエリで、何
   番目に表示されたか
   いままでどれとどれと。。。を
   表示・クリックしたか
   https://dl.acm.org/doi/10.1145/3404835.3462917
   めちゃくちゃ多い依存を LSTMでモデリング
   

   View Slide

10. Unbiased Learning to Rank: Online or Offline?
    バイアスを除くには、 Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
    オンライン: 正確にそれぞれの記事のクリック率は出せ
    ないけど、相関がある指標として並べ替えリスト同士の
    比較(bandit)
    オフライン(反実仮想): クリック以外の変数も
    使って真のrelevanceを推定する
    ● オンラインのほうが有利な環境はあ
    るが、オフラインのほうが手法に依
    存しにくい
    ● 筆者らが過去手法を実装して実験、
    実装もOSS公開
    https://github.com/ULTR-Community/ULTRA
    https://www.youtube.com/watch?v=WWd6txl135A
    

    View Slide

11. 表示バイアス
    ● そもそも表示されてない人はクリックされないし
    ○
    Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
    Estimation
    ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
    ○
    Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
    ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
    ○
    Unbiased Learning to Rank: Online or Offline?
    Fairness
    ● ステレオタイプの激しいドキュメントは検索順位を下げよう
    ○
    Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
    Mitigation for BERT Rankers
    ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？
    ○
    This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
    User Attitudes on Debated Topics
    

    View Slide

12. Societal Biases in Retrieved Contents: Measurement
    Framework and Adversarial Mitigation for BERT Rankers
    https://github.com/CPJKU/FairnessRetrievalResults
    Governor を Heで受けるバイアスがかかってる文
    書を順位下げられる
    Learning to Rankに
    qとdの近さ
    (通常のmetric learning)
    属性Xを当てられる学習の
    反転(adversarial)
    GANではtrue/fakeだけ
    どここでは男性
    /女性など
    を当てられないように
    

    View Slide

13. This Is Not What We Ordered: Exploring Why Biased Search Result
    Rankings Affect User Attitudes on Debated Topics
    ● 検索結果を見せた後に意見はどう変わるか
    ● 各コンテンツには事前に賛成派か反対派かのラベルが振られており、それを並び
    順のバイアス度合いを変えて様々な被験者に見せる
    検索結果の表示順がユーザーの意見を変えるのは、上位が目に入るせいか、あるいは上位を信頼しているせいか
    バイアスによって意見は変わった
    ただし、それは上位に出る記事のク
    リック数が高いから
    意見のバイアスをかけても、ポジションバイアスは変わら
    ない
    (上位の意見が重要なら下位の挙動は変わりそう)
    

    View Slide

14. 表示バイアス
    ● そもそも表示されてない人はクリックされないし
    ○
    Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
    Estimation
    ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
    ○
    Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
    ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
    ○
    Unbiased Learning to Rank: Online or Offline?
    Fairness
    ● ステレオタイプの激しいドキュメントは検索順位を下げよう
    ○
    Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
    Mitigation for BERT Rankers
    ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない？
    ○
    This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
    User Attitudes on Debated Topics
    

    View Slide