© So-net Media Networks Corporation. Addressing Trust Bias for Unbiased Learning-to-Rank 東京⼯業⼤学 経営⼯学系 B4 中⽥研究室 齋藤 優太

© So-net Media Networks Corporation. 2 • Unbiased Learning-to-Rank • 関連研究 • メタ情報 • 提案⼿法 • 実験結果 • まとめ・QA ⽬次

© So-net Media Networks Corporation. 3 検索クエリに対し最適なドキュメントのランキングを返したい 例）ある検索クエリに対して10個のdocumentを表⽰するとき Position (k) Ranking 1 Ranking 2 1 5 1 2 4 2 --- --- --- 9 1 5 10 2 4 Ranking 1のように 関連度の⾼いdocumentを 上位に表⽰したい (5段階の関連度) ランキング学習とは

© So-net Media Networks Corporation. 4 次のように⼀般的な損失関数を考えてみる Rankingに関連する関数 : (query, document, relevance) のデータ : あるqueryに対して提⽰されたdoc集合 ランキング学習の定式化

© So-net Media Networks Corporation. 5 損失関数として例えば、 Relevantなdocumentの順位の総和を⼩さくしたい Relevantなdocumentの順位の逆数の総和を⼩さくしたい 実際はlogかけたり ランキング学習の損失関数

© So-net Media Networks Corporation. 6 最適化したい損失の計算にはRelevanceが必要 しかし、コストと時間がかかるのでhuman annotationはしたくない 安価に⼿に⼊るClickデータを使ってRanking Systemを構築したい 実際に使えるのはClickデータだけ

© So-net Media Networks Corporation. 7 最適化したい損失の計算にはRelevanceが必要 しかし、コストと時間がかかるのでhuman annotationはしたくない 安価に⼿に⼊るClickデータを使ってRanking Systemを構築したい Relevanceだった部分をClickにそのまま⼊れ替えても⼤丈夫︖ 実際に使えるのはClickデータだけ

© So-net Media Networks Corporation. 8 ある検索クエリに対して10個のdocumentを表⽰したとき Position (k) Relevance ??? Click 1 ◎ ◎ 2 × × --- --- --- --- 9 ◎ × 10 × × 必ずしも Relevance = Click とは⾔えなさそう... ClickはRelevanceの代わりになる︖

© So-net Media Networks Corporation. 9 ClickとRelevanceを関係付けるため次のPosition-Based Modelを導⼊ Examination Relevance かつ Click Position-Based Model (PBM)

© So-net Media Networks Corporation. 10 ClickとRelevanceを関係付けるため次のPosition-Based Modelを導⼊ このモデル化のもとでは、 • queryとdocumentがrelevantかつexaminedのときclickが発⽣ • Relevanceはqueryとdocumentのみに依存 • Examinationはpositionのみに依存 Examination Relevance Click Position-Based Model (PBM)

© So-net Media Networks Corporation. 11 ある検索クエリに対して10個のdocumentを表⽰したとき Position (k) Relevance Examine Click 1 ◎ ◎ ◎ 2 × ◎ × --- --- --- --- 9 ◎ × × 10 × × × RelevanceとExaminationの両⽅が発⽣して初めてClickが発⽣ Position-Based Model (PBM)

© So-net Media Networks Corporation. 12 Relevanceだった部分をClickにそのまま⼊れ替えたらダメ︕ Inverse Propensity Approach

© So-net Media Networks Corporation. 13 Relevanceだった部分をClickにそのまま⼊れ替えたらダメ︕ Examination確率の逆数で重み付け [Joachims et al. (2017)] logに残ってる︕ Inverse Propensity Approach

© So-net Media Networks Corporation. 14 重み付けした 損失の期待値 真の損失 Unbiased! Inverse Propensity Approach

© So-net Media Networks Corporation. 関連研究

© So-net Media Networks Corporation. 16 WSDM2017で枠組みが提案されて以降、PBMのモデル化のもとで Examination確率をいかに推定するかが研究の主な焦点 • Result Randomization [Joachims et al. WSDM2017] • ランダムなランキング表⽰データを⽤いて推定 • Regression-EM [Wang et al. WSDM2018] • ランダム配信なしでパラメータをEM-basedな⼿法で推定 • Intervention-Harvesting [Wang et al. WSDM2019] • Relevanceモデルをexamination parameterの推定時に必要としない 関連研究

© So-net Media Networks Corporation. 17 そのほかの研究も、PBMのモデルを前提とした研究 • Dual Learning Algorithm (前回発表) [Ai et al. SIGIR2018] • RelevanceとExaminationのunbiasedなlossを相互依存する形で最適化 • Unbiased LambdaMART [Hu et al. WWW2019] • Inverse Propensity ScoreをPairwise lossに拡張 • Context Dependent Examination Bias [Fang et al. SIGIR2019] • Examination確率がcontextにも依存するというモデル化 関連研究

© So-net Media Networks Corporation. 提案⼿法

© So-net Media Networks Corporation. 19 • グループ︓Cornell Univ. と Google Research • 学会︓WWWʼ19 • サマリー • Clickデータのみを⽤いてRelevanceを予測する分野 • これまではシンプルなモデルに基づいた⼿法が主要であり、 誤クリック率を考慮に⼊れていなかった • ポジションに依存する誤クリックパラメータを含めたモデル化を提案 （これまでの単純なPBMを現実的な仮定に修正） メタ情報・サマリー

© So-net Media Networks Corporation. 20 これまでは、Relevanceの変数として のみを⽤いてきた 本論⽂では、 True Relevance と Judged Relevance を分けて考える True Relevanceは真の関連度で、 Judged Relevanceはユーザーが認知する関連度 提案⼿法︓Judged Relevanceの導⼊

© So-net Media Networks Corporation. 21 Judged Relevanceを使うと既存のPBMは次のように書き下せる Judged Relevanceを⽤いたPBMの解釈

© So-net Media Networks Corporation. 22 Judged Relevanceを使うと既存のPBMは次のように書き下せる ユーザーは毎回真のRelevanceに 基づいてClickの意思決定 Judged Relevanceを⽤いたPBMの解釈

© So-net Media Networks Corporation. 23 提案モデル︓Trust PBM 既存のPBMの⾮現実的な仮定に対してTrust Biasを導⼊ Trust BiasはPositionのみに依存 真にRelevantの時にRelevantであると判断する確率 真にIrrelevantの時にRelevantであると判断する確率

© So-net Media Networks Corporation. 24 提案モデル︓Trust PBM したがって、Trust Biasを考慮に⼊れたときのClick確率は、 Clickする Examineする Relevantと判断する この新たなモデル化に基づいて4種類のパラメータを推定したい

© So-net Media Networks Corporation. 25 EMアルゴリズムによるパラメータ推定 Trust Biasを考慮に⼊れたときの対数尤度は、 これを論⽂に書いてあるE-stepとM-stepを反復して最⼤化 （式が膨⼤なので論⽂のpdfでさらっと確認 Figure1とFiture2）

© So-net Media Networks Corporation. 26 Relevanceのパラメータ数が膨⼤問題 Trust Biasを考慮に⼊れたときの対数尤度は、 EMの定式化は可能だが、 の数が膨⼤なため⾟い Regression-EM [Wang et al. WSDM2018] を使う

© So-net Media Networks Corporation. 27 Regression EM (PBM ver.) 3 E-step 6 E-stepの推定に基づき Relevanceラベルをサンプリング 9 query-documentのcontext からGBDTでfitting 10 examination paramは 通常のM-stepで更新 11 relevance paramは GBDTの出⼒で更新 [Wang et al. (2018)]のAlgorithm 1を引⽤

© So-net Media Networks Corporation. 28 Bayes-IPS correction が推定されたあと、既存のIPSで補正したら Judged Relevanceに対して最適化されてしまう したがって、Trust Biasを考慮に⼊れたBayes-IPS Correctionを適⽤する 補正項

© So-net Media Networks Corporation. 実験結果

© So-net Media Networks Corporation. 30 実験設定 • データセット • GmailとDriveで⾃前で集めたデータセットを使⽤（強い） • ⽐較項⽬ • 対数尤度、パラメータ推定の様⼦、CTR (A/Bテスト) etc. [Agarwal et al. (2019)]のFigure1を引⽤

© So-net Media Networks Corporation. 31 実験結果① • PBMとTrust PBMのClickに対する当てはまりの良さ • 結果 [Agarwal et al. (2019)]のTable2を引⽤

© So-net Media Networks Corporation. 32 実験結果② • パラメータ推定の様⼦ 直感に合う結果 [Agarwal et al. (2019)]のFigure4,5を引⽤

© So-net Media Networks Corporation. 33 実験結果③ • GmailでのOnline実験 • PBMとTrust PBMので推定したパラメータを⽤いた損失補正を 施したLambdaMARTのランキングをランダムに表⽰ MRR・CTRともに有意に改善 [Agarwal et al. (2019)]のTable4を引⽤

© So-net Media Networks Corporation. 34 ご静聴ありがとうございました︕ • これまでのPBMではユーザーは真のRelevanceに基づいて Clickの意思決定をするというきつい仮定が置かれていた • 誤クリック率をモデルに組み込んだTrustPBMを提案 • TrustPBMのもとでのパラメータ推定⽅法と損失の 補正⽅法をそれぞれ提案 まとめ

© So-net Media Networks Corporation. 35 [Joachims et al. WSDM2017]: Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with biased feedback. In Proceedings of the 10th ACM International Conference on Web Search and Data Mining (WSDM ʼ17). [Wang et al. WSDM2018]: Xuanhui Wang, Nadav Golbandi, Michael Bendersky, Donald Metzler, and Marc Najork. 2018. Position Bias Estimation for Unbiased Learning to Rank in Personal Search. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining (WSDM ʼ18). [Ai et al. SIGIR2018]: Qingyao Ai, Keping Bi, Cheng Luo, Jiafeng Guo, and W. Bruce Croft. Unbiased learning to rank with unbiased propensity estimation. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval (SIGIRʼ18). [Agarwal et al. WSDM2019]: Aman Agarwal, Ivan Zaitsev, Xuanhui Wang, Cheng Li, Marc Najork and Thorsten Joachims. 2019. Estimating Position Bias without Intrusive Interventions. In The 12th ACM International Conference on Web Search and Data Mining (WSDM ʼ19) [Hu et al. WWW2019]: Ziniu Hu and Yang Wang, Qu Peng, Hang Li. 2019. Unbiased LambdaMART: An Unbiased Pairwise Learning- to-Rank Algorithm. In Proceedings of the 2019 World Wide Web Conference (WWW ʼ19) [Agarwal et al. WWW2019]: Aman Agarwal, Xuanhui Wang, Cheng Li, Mike Bendersky, and Marc Najork. 2019. Addressing Trust Bias for Unbiased Learning-to-Rank. In Proceedings of the 2019 World Wide Web Conference (WWW ʼ19) [Fang et al. SIGIR2019] Fang, Z., Agarwal, A., and Joachims, T. Intervention harvesting for context-dependent examination-bias estimation. arXiv preprint arXiv:1811.01802, 2018. References