$30 off During Our Annual Pro Sale. View Details »

SIGIR2021読み会

Keisuke OGAKI
August 16, 2021

 SIGIR2021読み会

社内で行われたSIGIR2021読み会で以下の5本の論文の議論を行った資料です

反実仮想(表示バイアス)

そもそも表示されてない人はクリックされないし
Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate Estimation
表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
Unbiased Learning to Rank: Online or Offline?

Fairness

ステレオタイプの激しいドキュメントは検索順位を下げよう
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
ところで、結果の表示順ってユーザーの意見に影響与えちゃわない?
This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect User Attitudes on Debated Topics

Keisuke OGAKI

August 16, 2021
Tweet

More Decks by Keisuke OGAKI

Other Decks in Science

Transcript

  1. Bias and Counterfactual
    Learning
    大垣慶介
    SIGIR論文読み会

    View Slide

  2. Bias and Counterfactual
    Learning
    Implicit Feedbackに対するBias => 全体利益最適化
    ■ 我々が観測してるのはあくまでも一部のCVしたユーザーの結果であり、そ
    れだけで最適化を行うと、全体CVは最適値にならない
    ドキュメントに存在するステレオタイプのBias => Fairness
    ■ 現在クリック数が多いドキュメントであっても、ステレオタイプ・偏見が含ま
    れている不適切なドキュメントであることもある

    View Slide

  3. 反実仮想(表示バイアス)
    ● そもそも表示されてない人はクリックされないし

    Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
    Estimation
    ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね

    Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
    ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの

    Unbiased Learning to Rank: Online or Offline?
    Fairness
    ● ステレオタイプの激しいドキュメントは検索順位を下げよう

    Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
    Mitigation for BERT Rankers
    ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない?

    This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
    User Attitudes on Debated Topics

    View Slide

  4. 反実仮想(表示バイアス)
    ● そもそも表示されてない人はクリックされないし

    Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
    Estimation
    ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね

    Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
    ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの

    Unbiased Learning to Rank: Online or Offline?
    Fairness
    ● ステレオタイプの激しいドキュメントは検索順位を下げよう

    Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
    Mitigation for BERT Rankers
    ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない?

    This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
    User Attitudes on Debated Topics

    View Slide

  5. Counterfactual Learning is 何
    クリックを元にした学習はシンプルで良いが、バイアスがある
    ので、バイアスもモデル化して、 ”もしバイアスがなければどのようなCVRになるか”を使って学習しよう
    一番上にダメなやつがでてると永遠にいい記事のフィードバックが得られない
    ● そもそも表示されてない人はクリックされないし
    ● 表示されてても順位によって見られたり見られなかったり
    ● 特にいい記事じゃなくても上位に出ることが多くてクリックされたとか
    ● 他の記事が何でてるかによってもクリックするか変わるよね
    (エムスリーでもポジションバイアスとして考慮されてる話の一般化
    )

    View Slide

  6. Enhanced Doubly Robust Learning for Debiasing
    Post-Click Conversion Rate Estimation
    CVR予測におけるバイアス
    現実的には
    クリックしてないイベントは CVRも0とし
    て学習される -> バイアス
    oを予測値でキャンセルしたい。そのために抜けおちてるもの -> 2つの仮定:
    ● いま表示されてないものがもし表示されたら どれくらいconversionしてたか: imputed error
    ● 今クリックされているものはどれくらい観測しやすかったか
    -> doubly robust

    View Slide

  7. Doubly Robust
    片方ロバストなモデル (それぞれoをキャンセル) (Enhanced) Doubly Robust
    oをキャンセルしたい。そのために抜けおちてるもの -> 2つの仮定:
    ● いま表示されてないものがもし表示されたら どれくらいconversionしてたか: imputed error
    ● 今クリックされているものはどれくらい観測しやすかったか
    -> doubly robust

    View Slide

  8. 面白いところ: 交互に学習
    p_hatを学習 -> e_hatを学習というステージを両方のモデルが収束するまで続ける(依存があるため)

    View Slide

  9. Adapting Interactional Observation Embedding for
    Counterfactual Learning to Rank
    その記事より上に他の記事が何でてるかによってもクリックするか変わるよね
    何番目に表示されたか
    どういう内容のクエリで、何
    番目に表示されたか
    いままでどれとどれと。。。を
    表示・クリックしたか
    https://dl.acm.org/doi/10.1145/3404835.3462917
    めちゃくちゃ多い依存を LSTMでモデリング

    View Slide

  10. Unbiased Learning to Rank: Online or Offline?
    バイアスを除くには、 Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの
    オンライン: 正確にそれぞれの記事のクリック率は出せ
    ないけど、相関がある指標として並べ替えリスト同士の
    比較(bandit)
    オフライン(反実仮想): クリック以外の変数も
    使って真のrelevanceを推定する
    ● オンラインのほうが有利な環境はあ
    るが、オフラインのほうが手法に依
    存しにくい
    ● 筆者らが過去手法を実装して実験、
    実装もOSS公開
    https://github.com/ULTR-Community/ULTRA
    https://www.youtube.com/watch?v=WWd6txl135A

    View Slide

  11. 表示バイアス
    ● そもそも表示されてない人はクリックされないし

    Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
    Estimation
    ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね

    Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
    ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの

    Unbiased Learning to Rank: Online or Offline?
    Fairness
    ● ステレオタイプの激しいドキュメントは検索順位を下げよう

    Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
    Mitigation for BERT Rankers
    ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない?

    This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
    User Attitudes on Debated Topics

    View Slide

  12. Societal Biases in Retrieved Contents: Measurement
    Framework and Adversarial Mitigation for BERT Rankers
    https://github.com/CPJKU/FairnessRetrievalResults
    Governor を Heで受けるバイアスがかかってる文
    書を順位下げられる
    Learning to Rankに
    qとdの近さ
    (通常のmetric learning)
    属性Xを当てられる学習の
    反転(adversarial)
    GANではtrue/fakeだけ
    どここでは男性
    /女性など
    を当てられないように

    View Slide

  13. This Is Not What We Ordered: Exploring Why Biased Search Result
    Rankings Affect User Attitudes on Debated Topics
    ● 検索結果を見せた後に意見はどう変わるか
    ● 各コンテンツには事前に賛成派か反対派かのラベルが振られており、それを並び
    順のバイアス度合いを変えて様々な被験者に見せる
    検索結果の表示順がユーザーの意見を変えるのは、上位が目に入るせいか、あるいは上位を信頼しているせいか
    バイアスによって意見は変わった
    ただし、それは上位に出る記事のク
    リック数が高いから
    意見のバイアスをかけても、ポジションバイアスは変わら
    ない
    (上位の意見が重要なら下位の挙動は変わりそう)

    View Slide

  14. 表示バイアス
    ● そもそも表示されてない人はクリックされないし

    Enhanced Doubly Robust Learning for Debiasing Post-Click Conversion Rate
    Estimation
    ● 表示されてても順位によって見られたり見られなかったり、その記事より上に他の記事が何でてるかによってもクリックするか変わるよね

    Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
    ● Counterfactual以外に、オンライン学習という手もあるけど、実際どう違うの

    Unbiased Learning to Rank: Online or Offline?
    Fairness
    ● ステレオタイプの激しいドキュメントは検索順位を下げよう

    Societal Biases in Retrieved Contents: Measurement Framework and Adversarial
    Mitigation for BERT Rankers
    ● ところで、結果の表示順ってユーザーの意見に影響与えちゃわない?

    This Is Not What We Ordered: Exploring Why Biased Search Result Rankings Affect
    User Attitudes on Debated Topics

    View Slide