Addressing Trust Bias for Unbiased Learning-to-Rank@MLPRP#3

Transcript

1. © So-net Media Networks Corporation.
   Addressing Trust Bias for
   Unbiased Learning-to-Rank
   東京⼯業⼤学 経営⼯学系 B4
   中⽥研究室 齋藤 優太
   

   View Slide

2. © So-net Media Networks Corporation.
   2
   • Unbiased Learning-to-Rank
   • 関連研究
   • メタ情報
   • 提案⼿法
   • 実験結果
   • まとめ・QA
   ⽬次
   

   View Slide

3. © So-net Media Networks Corporation.
   3
   検索クエリに対し最適なドキュメントのランキングを返したい
   例）ある検索クエリに対して10個のdocumentを表⽰するとき
   Position (k) Ranking 1 Ranking 2
   1 5 1
   2 4 2
   --- --- ---
   9 1 5
   10 2 4
   Ranking 1のように
   関連度の⾼いdocumentを
   上位に表⽰したい
   (5段階の関連度)
   ランキング学習とは
   

   View Slide

4. © So-net Media Networks Corporation.
   4
   次のように⼀般的な損失関数を考えてみる
   Rankingに関連する関数
   : (query, document, relevance) のデータ
   : あるqueryに対して提⽰されたdoc集合
   ランキング学習の定式化
   

   View Slide

5. © So-net Media Networks Corporation.
   5
   損失関数として例えば、
   Relevantなdocumentの順位の総和を⼩さくしたい
   Relevantなdocumentの順位の逆数の総和を⼩さくしたい
   実際はlogかけたり
   ランキング学習の損失関数
   

   View Slide

6. © So-net Media Networks Corporation.
   6
   最適化したい損失の計算にはRelevanceが必要
   しかし、コストと時間がかかるのでhuman annotationはしたくない
   安価に⼿に⼊るClickデータを使ってRanking Systemを構築したい
   実際に使えるのはClickデータだけ
   

   View Slide

7. © So-net Media Networks Corporation.
   7
   最適化したい損失の計算にはRelevanceが必要
   しかし、コストと時間がかかるのでhuman annotationはしたくない
   安価に⼿に⼊るClickデータを使ってRanking Systemを構築したい
   Relevanceだった部分をClickにそのまま⼊れ替えても⼤丈夫︖
   実際に使えるのはClickデータだけ
   

   View Slide

8. © So-net Media Networks Corporation.
   8
   ある検索クエリに対して10個のdocumentを表⽰したとき
   Position (k) Relevance ??? Click
   1 ◎ ◎
   2 × ×
   --- --- --- ---
   9 ◎ ×
   10 × ×
   必ずしも Relevance = Click とは⾔えなさそう...
   ClickはRelevanceの代わりになる︖
   

   View Slide

9. © So-net Media Networks Corporation.
   9
   ClickとRelevanceを関係付けるため次のPosition-Based Modelを導⼊
   Examination Relevance
   かつ
   Click
   Position-Based Model (PBM)
   

   View Slide

10. © So-net Media Networks Corporation.
    10
    ClickとRelevanceを関係付けるため次のPosition-Based Modelを導⼊
    このモデル化のもとでは、
    • queryとdocumentがrelevantかつexaminedのときclickが発⽣
    • Relevanceはqueryとdocumentのみに依存
    • Examinationはpositionのみに依存
    Examination Relevance
    Click
    Position-Based Model (PBM)
    

    View Slide

11. © So-net Media Networks Corporation.
    11
    ある検索クエリに対して10個のdocumentを表⽰したとき
    Position (k) Relevance Examine Click
    1 ◎ ◎ ◎
    2 × ◎ ×
    --- --- --- ---
    9 ◎ × ×
    10 × × ×
    RelevanceとExaminationの両⽅が発⽣して初めてClickが発⽣
    Position-Based Model (PBM)
    

    View Slide

12. © So-net Media Networks Corporation.
    12
    Relevanceだった部分をClickにそのまま⼊れ替えたらダメ︕
    Inverse Propensity Approach
    

    View Slide

13. © So-net Media Networks Corporation.
    13
    Relevanceだった部分をClickにそのまま⼊れ替えたらダメ︕
    Examination確率の逆数で重み付け [Joachims et al. (2017)]
    logに残ってる︕
    Inverse Propensity Approach
    

    View Slide

14. © So-net Media Networks Corporation.
    14
    重み付けした
    損失の期待値
    真の損失
    Unbiased!
    Inverse Propensity Approach
    

    View Slide

15. © So-net Media Networks Corporation.
    関連研究
    

    View Slide

16. © So-net Media Networks Corporation.
    16
    WSDM2017で枠組みが提案されて以降、PBMのモデル化のもとで
    Examination確率をいかに推定するかが研究の主な焦点
    • Result Randomization [Joachims et al. WSDM2017]
    • ランダムなランキング表⽰データを⽤いて推定
    • Regression-EM [Wang et al. WSDM2018]
    • ランダム配信なしでパラメータをEM-basedな⼿法で推定
    • Intervention-Harvesting [Wang et al. WSDM2019]
    • Relevanceモデルをexamination parameterの推定時に必要としない
    関連研究
    

    View Slide

17. © So-net Media Networks Corporation.
    17
    そのほかの研究も、PBMのモデルを前提とした研究
    • Dual Learning Algorithm (前回発表) [Ai et al. SIGIR2018]
    • RelevanceとExaminationのunbiasedなlossを相互依存する形で最適化
    • Unbiased LambdaMART [Hu et al. WWW2019]
    • Inverse Propensity ScoreをPairwise lossに拡張
    • Context Dependent Examination Bias [Fang et al. SIGIR2019]
    • Examination確率がcontextにも依存するというモデル化
    関連研究
    

    View Slide

18. © So-net Media Networks Corporation.
    提案⼿法
    

    View Slide

19. © So-net Media Networks Corporation.
    19
    • グループ︓Cornell Univ. と Google Research
    • 学会︓WWWʼ19
    • サマリー
    • Clickデータのみを⽤いてRelevanceを予測する分野
    • これまではシンプルなモデルに基づいた⼿法が主要であり、
    誤クリック率を考慮に⼊れていなかった
    • ポジションに依存する誤クリックパラメータを含めたモデル化を提案
    （これまでの単純なPBMを現実的な仮定に修正）
    メタ情報・サマリー
    

    View Slide

20. © So-net Media Networks Corporation.
    20
    これまでは、Relevanceの変数として のみを⽤いてきた
    本論⽂では、
    True Relevance と
    Judged Relevance を分けて考える
    True Relevanceは真の関連度で、
    Judged Relevanceはユーザーが認知する関連度
    提案⼿法︓Judged Relevanceの導⼊
    

    View Slide

21. © So-net Media Networks Corporation.
    21
    Judged Relevanceを使うと既存のPBMは次のように書き下せる
    Judged Relevanceを⽤いたPBMの解釈
    

    View Slide

22. © So-net Media Networks Corporation.
    22
    Judged Relevanceを使うと既存のPBMは次のように書き下せる
    ユーザーは毎回真のRelevanceに
    基づいてClickの意思決定
    Judged Relevanceを⽤いたPBMの解釈
    

    View Slide

23. © So-net Media Networks Corporation.
    23
    提案モデル︓Trust PBM
    既存のPBMの⾮現実的な仮定に対してTrust Biasを導⼊
    Trust BiasはPositionのみに依存
    真にRelevantの時にRelevantであると判断する確率
    真にIrrelevantの時にRelevantであると判断する確率
    

    View Slide

24. © So-net Media Networks Corporation.
    24
    提案モデル︓Trust PBM
    したがって、Trust Biasを考慮に⼊れたときのClick確率は、
    Clickする Examineする Relevantと判断する
    この新たなモデル化に基づいて4種類のパラメータを推定したい
    

    View Slide

25. © So-net Media Networks Corporation.
    25
    EMアルゴリズムによるパラメータ推定
    Trust Biasを考慮に⼊れたときの対数尤度は、
    これを論⽂に書いてあるE-stepとM-stepを反復して最⼤化
    （式が膨⼤なので論⽂のpdfでさらっと確認
    Figure1とFiture2）
    

    View Slide

26. © So-net Media Networks Corporation.
    26
    Relevanceのパラメータ数が膨⼤問題
    Trust Biasを考慮に⼊れたときの対数尤度は、
    EMの定式化は可能だが、 の数が膨⼤なため⾟い
    Regression-EM [Wang et al. WSDM2018] を使う
    

    View Slide

27. © So-net Media Networks Corporation.
    27
    Regression EM (PBM ver.)
    3 E-step
    6 E-stepの推定に基づき
    Relevanceラベルをサンプリング
    9 query-documentのcontext
    からGBDTでfitting
    10 examination paramは
    通常のM-stepで更新
    11 relevance paramは
    GBDTの出⼒で更新
    [Wang et al. (2018)]のAlgorithm 1を引⽤
    

    View Slide

28. © So-net Media Networks Corporation.
    28
    Bayes-IPS correction
    が推定されたあと、既存のIPSで補正したら
    Judged Relevanceに対して最適化されてしまう
    したがって、Trust Biasを考慮に⼊れたBayes-IPS Correctionを適⽤する
    補正項
    

    View Slide

29. © So-net Media Networks Corporation.
    実験結果
    

    View Slide

30. © So-net Media Networks Corporation.
    30
    実験設定
    • データセット
    • GmailとDriveで⾃前で集めたデータセットを使⽤（強い）
    • ⽐較項⽬
    • 対数尤度、パラメータ推定の様⼦、CTR (A/Bテスト) etc.
    [Agarwal et al. (2019)]のFigure1を引⽤
    

    View Slide

31. © So-net Media Networks Corporation.
    31
    実験結果①
    • PBMとTrust PBMのClickに対する当てはまりの良さ
    • 結果
    [Agarwal et al. (2019)]のTable2を引⽤
    

    View Slide

32. © So-net Media Networks Corporation.
    32
    実験結果②
    • パラメータ推定の様⼦
    直感に合う結果
    [Agarwal et al. (2019)]のFigure4,5を引⽤
    

    View Slide

33. © So-net Media Networks Corporation.
    33
    実験結果③
    • GmailでのOnline実験
    • PBMとTrust PBMので推定したパラメータを⽤いた損失補正を
    施したLambdaMARTのランキングをランダムに表⽰
    MRR・CTRともに有意に改善
    [Agarwal et al. (2019)]のTable4を引⽤
    

    View Slide

34. © So-net Media Networks Corporation.
    34
    ご静聴ありがとうございました︕
    • これまでのPBMではユーザーは真のRelevanceに基づいて
    Clickの意思決定をするというきつい仮定が置かれていた
    • 誤クリック率をモデルに組み込んだTrustPBMを提案
    • TrustPBMのもとでのパラメータ推定⽅法と損失の
    補正⽅法をそれぞれ提案
    まとめ
    

    View Slide

35. © So-net Media Networks Corporation.
    35
    [Joachims et al. WSDM2017]: Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with
    biased feedback. In Proceedings of the 10th ACM International Conference on Web Search and Data Mining (WSDM ʼ17).
    [Wang et al. WSDM2018]: Xuanhui Wang, Nadav Golbandi, Michael Bendersky, Donald Metzler, and Marc Najork. 2018. Position Bias
    Estimation for Unbiased Learning to Rank in Personal Search. In Proceedings of the 11th ACM International Conference on Web
    Search and Data Mining (WSDM ʼ18).
    [Ai et al. SIGIR2018]: Qingyao Ai, Keping Bi, Cheng Luo, Jiafeng Guo, and W. Bruce Croft. Unbiased learning to rank with unbiased
    propensity estimation. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval
    (SIGIRʼ18).
    [Agarwal et al. WSDM2019]: Aman Agarwal, Ivan Zaitsev, Xuanhui Wang, Cheng Li, Marc Najork and Thorsten Joachims. 2019.
    Estimating Position Bias without Intrusive Interventions. In The 12th ACM International Conference on Web Search and Data
    Mining (WSDM ʼ19)
    [Hu et al. WWW2019]: Ziniu Hu and Yang Wang, Qu Peng, Hang Li. 2019. Unbiased LambdaMART: An Unbiased Pairwise Learning-
    to-Rank Algorithm. In Proceedings of the 2019 World Wide Web Conference (WWW ʼ19)
    [Agarwal et al. WWW2019]: Aman Agarwal, Xuanhui Wang, Cheng Li, Mike Bendersky, and Marc Najork. 2019. Addressing Trust
    Bias for Unbiased Learning-to-Rank. In Proceedings of the 2019 World Wide Web Conference (WWW ʼ19)
    [Fang et al. SIGIR2019] Fang, Z., Agarwal, A., and Joachims, T. Intervention harvesting for context-dependent examination-bias
    estimation. arXiv preprint arXiv:1811.01802, 2018.
    References
    

    View Slide