© So-net Media Networks Corporation. Estimating Position Bias without Intrusive Interventions 東京⼯業⼤学 経営⼯学系 B4 齋藤 優太

© So-net Media Networks Corporation. 2 • Unbiased Learning-to-Rank • 関連研究 • メタ情報 • 提案⼿法 • 実験結果（軽く） • まとめ・QA ⽬次

© So-net Media Networks Corporation. 3 検索クエリに対し最適なドキュメントのランキングを返したい 例）ある検索クエリに対して10個のdocumentを表⽰するとき Position (k) Ranking 1 Ranking 2 1 ◎ ✖ 2 ◎ ✖ --- --- --- 9 ✖ ◎ 10 ✖ ◎ Ranking 1のように 関連しているdocsを 上位に表⽰したい (◉だと関連性あり) ランキング学習とは

© So-net Media Networks Corporation. 4 次のように⼀般的な損失関数を考えてみる Rankingに関連する関数 : (query, document, relevance) のデータ : あるqueryに対して提⽰されたdoc集合 ランキング学習の定式化

© So-net Media Networks Corporation. 5 評価関数として例えば、 ランキング学習の評価関数 : (query, document, relevance) のデータ : あるqueryに対して提⽰されたdoc集合 Relevantなdocumentの順位の総和を⼩さくしたい

© So-net Media Networks Corporation. 6 最適化したい損失の計算にはRelevanceが必要 しかし、コストと時間がかかるのでhuman annotationはしたくない 安価に⼿に⼊るClickデータを使ってRanking Systemを構築したい 実際に使えるのはClickデータだけ

© So-net Media Networks Corporation. 7 最適化したい損失の計算にはRelevanceが必要 しかし、コストと時間がかかるのでhuman annotationはしたくない 安価に⼿に⼊るClickデータを使ってRanking Systemを構築したい Relevanceだった部分をClickにそのまま⼊れ替えても⼤丈夫︖ 実際に使えるのはClickデータだけ

© So-net Media Networks Corporation. 8 ある検索クエリに対して10個のdocumentを表⽰したとき Position (k) Relevance ??? Click 1 ◎ ◎ 2 × × --- --- --- --- 9 ◎ × 10 × × 必ずしも Relevance = Click とは⾔えなさそう... ClickはRelevanceの代わりになる︖

© So-net Media Networks Corporation. 9 ClickとRelevanceを関係付けるため次のPosition-Based Modelを導⼊ かつ Click Position-Based Model (PBM) Examination (positionのみに依存) Relevance (query-docのみに依存) C: Click E: Examination R: Relevance

© So-net Media Networks Corporation. 10 ある検索クエリに対して10個のdocumentを表⽰したとき Position (k) Relevance Examine Click 1 ◎ ◎ ◎ 2 × ◎ × --- --- --- --- 9 ◎ × × 10 × × × Position-Based Model (PBM) 検討するか否か ClickデータはExaminationの存在によってバイアスがかかっている

© So-net Media Networks Corporation. 11 Relevanceだった部分をClickにそのまま⼊れ替えたらダメ︕ Inverse Propensity Approach

© So-net Media Networks Corporation. 12 Relevanceだった部分をClickにそのまま⼊れ替えたらダメ︕ Examination確率の逆数で重み付け [Joachims et al., WSDM2017] logに残ってる︕ Inverse Propensity Approach

© So-net Media Networks Corporation. 13 Examination確率の逆数で重み付け [Joachims et al. WSDM2017] logに残ってる︕ Inverse Propensity Approach Inverse Propensityの直感的な理解 • 下のpositionにも関わらずclickが発⽣したデータを重要視 • 理論的にも正当性が⽰される

© So-net Media Networks Corporation. 14 重み付けした 損失の期待値 真の損失 Unbiased! Inverse Propensity Approach

© So-net Media Networks Corporation. 関連研究

© So-net Media Networks Corporation. 16 WSDM2017で枠組みが提案されて以降、PBMのモデル化のもとで Examination確率をいかに推定するかが研究の主な焦点 • Swapping Experiment [Joachims et al. WSDM2017] • ランダムなランキング表⽰データを⽤いて推定 • Regression-EM [Wang et al. WSDM2018] • ランダム配信なしでパラメータをEM-basedな⼿法で推定 • Dual Learning Algorithm [Ai et al. SIGIR2018] • RelevanceとExaminationのunbiasedなlossを相互依存する形で最適化 関連研究

© So-net Media Networks Corporation. 17 WSDM2017で枠組みが提案されて以降、PBMのモデル化のもとで Examination確率をいかに推定するかが研究の主な焦点 • Swapping Experiment [Joachims et al. WSDM2017] • ランダムなランキング表⽰データを⽤いて推定 関連研究 • ⼤量の介⼊が必要・時間がかかる（コスト⼤）

© So-net Media Networks Corporation. 18 WSDM2017で枠組みが提案されて以降、PBMのモデル化のもとで Examination確率をいかに推定するかが研究の主な焦点 • Regression-EM [Wang et al. WSDM2018] • ランダム配信なしでパラメータをEM-basedな⼿法で推定 • Dual Learning Algorithm (前回発表) [Ai et al. SIGIR2018] • RelevanceとExaminationのunbiasedなlossを相互依存する形で最適化 関連研究 途中でRelevanceを推定必要がある (本末転倒感) (relevance modeling)

© So-net Media Networks Corporation. メタ情報

© So-net Media Networks Corporation. 20 Estimating Position Bias without Intrusive Interventions @WSDMʼ19 • サマリー • Rankerに関するA/Bテストが有する特殊な構造を活⽤ • Relevance modelingを必要とせずExamination確率を 効率的に推定する⽅法を提案 メタ情報・サマリー 押し付けがましい介⼊

© So-net Media Networks Corporation. 従来の推定⽅法の詳細

© So-net Media Networks Corporation. 22 Swapping Experimentによる推定⽅法 PBMのモデル化のもとでもっとも単純なexamination確率の推定⽅法 k番⽬とkʼ番⽬の結果を⼀定確率でswap 元の出⼒ swap後 1番⽬と3番⽬をswapする例 何が嬉しいのか︖ [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 23 Swapping Experimentによる推定⽅法 PBMのモデル化のもとでもっとも単純なexamination確率の推定⽅法 k番⽬とkʼ番⽬の結果を⼀定確率でswap 元の出⼒ swap後 1番⽬と3番⽬をswapする例 k, kʼ番⽬のrelevanceの期待値が⼀致 CTRの⽐はexamineの⽐に︕ [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 24 Swapping Experimentによる推定⽅法 PBMのモデル化のもとでもっとも単純なexamination確率の推定⽅法 元の出⼒ swap後 1番⽬と3番⽬をswapする例 k, kʼ番⽬のrelevanceの期待値が⼀致 CTRの⽐ Examine確率の⽐

© So-net Media Networks Corporation. 25 Swap Interventionのつらみ 元の出⼒ swap後 1番⽬と3番⽬をswapする例 Swappingではサンプル数を集め難い • 1query辺り1pairのみのswapしかしない 場合、いつ終わるかわからない • 1query辺りにたくさんのpairのswapを する場合、はちゃめちゃなランキングに [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 提案⼿法

© So-net Media Networks Corporation. 27 Intervention Harvesting Swapの⽋点に対応するため別のデータ形式を考えてみる どのqueryが来ても⼀定確率でm個の Rankerを割り当てる (A/B test) m=3の例 数式的には, どのqueryにも ⼀定確率 [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 28 AB testは⼤量の実験を⽣成している 異なるrankerによって偶発的に 異なるpositionに提⽰されたdocs ⼤元のrankerの選択はランダム [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 29 AB testは⼤量の実験を⽣成している 異なるrankerによって偶発的に 異なるpositionに提⽰されたdocs ⼤元のrankerの選択はランダム 局所的にたくさんのswappingが 同時に起こっているように⾒える [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 30 Interventional Set 複数RankerのA/B testによって観測されるデータを使って 次のInterventional Setというものを考える（ややこしい）

© So-net Media Networks Corporation. 31 Interventional Setの作り⽅ 複数RankerのA/B testによって観測されるデータを使って 次のInterventional Setというものを考える（ややこしい） 異なる2つのRankerによって それぞれk, kʼ番⽬にrankされたことがある queryとdocumentペアの集合

© So-net Media Networks Corporation. 32 Interventional Setの作り⽅ 複数RankerのA/B testによって観測されるデータを使って 次のInterventional Setというものを考える（ややこしい） 異なる2つのRankerによって それぞれk, kʼ番⽬にrankされたことがある queryとdocumentペアの集合

© So-net Media Networks Corporation. 33 Interventional Setの作り⽅ 複数RankerのA/B testによって観測されるデータを使って 次のInterventional Setというものを考える（ややこしい） 異なる2つのRankerによって それぞれk, kʼ番⽬にrankされたことがある queryとdocumentペアの集合

© So-net Media Networks Corporation. 34 Interventional Setの作り⽅（具体例） m=3の例 先ほどの例においては のようにInterventional Setを構成 (d_3, d_5でも作れます) 複数のsetに⼊ることも [Fang et al., SIGIR2019]のFigure 1

© So-net Media Networks Corporation. 35 Interventional Setの性質 (理論的な説明) （注）厳密には正しくないですが、時間制約もあり直感的な理解を優先しました A/Bテストによって⽣成されるInterventional Setにおいて

© So-net Media Networks Corporation. 36 Interventional Setの性質 (理論的な説明) （注）厳密には正しくないですが、時間制約もあり直感的な理解を優先しました 同じInterventional Setに属するデータについて A/Bテストによって⽣成されるInterventional Setにおいて

© So-net Media Networks Corporation. 37 Interventional Setの性質 (理論的な説明) （注）厳密には正しくないですが、時間制約もあり直感的な理解を優先しました k番⽬・kʼ番⽬におけるCTRの⽐ A/Bテストによって⽣成されるInterventional Setにおいて

© So-net Media Networks Corporation. 38 Interventional Setの性質 (理論的な説明) （注）厳密には正しくないですが、時間制約もあり直感的な理解を優先しました A/Bテストによって⽣成されるInterventional Setにおいて k番⽬・kʼ番⽬におけるCTRの k番⽬・kʼ番⽬におけるCTRの⽐ = Examination確率の⽐

© So-net Media Networks Corporation. 39 Interventional Setの性質 (理論的な説明) A/Bテストによって⽣成されるInterventional Setにおいて より多くのデータを活⽤できるInterventional Setを使っても Swappingと同様の推定が可能 (⼀致性が保証, 効率性が改善)

© So-net Media Networks Corporation. 実験結果

© So-net Media Networks Corporation. 41 Arxiv Full-Text Search Arxivにおけるこの画⾯のpositionごとのexamination確率を推定 query : unbiased learning-to-rank time : 2019/08/02, 06:29 Relevanceに設定して検索 https://arxiv.org

© So-net Media Networks Corporation. 42 Intervention Harvestingは効率的 設定 同数queryに対してSwap Experimentと Intervention Harvestingを⾏い k=20までのexamination確率を推定 結果 同数のqueryにおいてIntervention Harvestingは⼤量のデータを活⽤するため よりタイトな信頼区間 (by bootstrap) [Agarwal et al., WSDM2019] その他semi-synthetic dataを⽤いた実験もやってました

© So-net Media Networks Corporation. 43 まとめ • Examination確率のためのSwappingは⾼コストであり, Relevance modelingは本末転倒感 • Rankerに関するA/Bテストが有する特殊な構造を活⽤することで 効率的なExamination確率の推定を達成する Intervention Harvestingを提案 • 同数queryを使った実験においてSwappingよりも効率的で 他の⼿法よりも正確な推定が可能に

© So-net Media Networks Corporation. ご静聴ありがとうございました

© So-net Media Networks Corporation. 45 [Joachims et al. WSDM2017]: Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with biased feedback. In Proceedings of the 10th ACM International Conference on Web Search and Data Mining (WSDM ʼ17). [Wang et al. WSDM2018]: Xuanhui Wang, Nadav Golbandi, Michael Bendersky, Donald Metzler, and Marc Najork. 2018. Position Bias Estimation for Unbiased Learning to Rank in Personal Search. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining (WSDM ʼ18). [Ai et al. SIGIR2018]: Qingyao Ai, Keping Bi, Cheng Luo, Jiafeng Guo, and W. Bruce Croft. Unbiased learning to rank with unbiased propensity estimation. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval (SIGIRʼ18). [Agarwal et al. WSDM2019]: Aman Agarwal, Ivan Zaitsev, Xuanhui Wang, Cheng Li, Marc Najork and Thorsten Joachims. 2019. Estimating Position Bias without Intrusive Interventions. In The 12th ACM International Conference on Web Search and Data Mining (WSDM ʼ19) [Hu et al. WWW2019]: Ziniu Hu and Yang Wang, Qu Peng, Hang Li. 2019. Unbiased LambdaMART: An Unbiased Pairwise Learning- to-Rank Algorithm. In Proceedings of the 2019 World Wide Web Conference (WWW ʼ19) [Agarwal et al. WWW2019]: Aman Agarwal, Xuanhui Wang, Cheng Li, Mike Bendersky, and Marc Najork. 2019. Addressing Trust Bias for Unbiased Learning-to-Rank. In Proceedings of the 2019 World Wide Web Conference (WWW ʼ19) [Fang et al. SIGIR2019] Fang, Z., Agarwal, A., and Joachims, T. Intervention harvesting for context-dependent examination-bias estimation. arXiv preprint arXiv:1811.01802, 2018. References