Recommending What Video to Watch Next: A Multitask Ranking System

Transcript

1. Recommending What Video to Watch Next: A Multitask Ranking System

   田中 涼 @alpicola (SmartNews)

2. 論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending

   What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]

3. Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話

4. 問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -

   User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ

5. 論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -

   Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
6. None

7. MMoE バイアス 削減

8. Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -

   マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい

9. 学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい

10. 選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ

    アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける

11. 実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる

12. 実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -

    Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用

13. 著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力

    - Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習

14. 私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom

    でも十分かも - 各タスクのスコアはどう使う？ - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか？