Save 37% off PRO during our Black Friday Sale! »

Recommending What Video to Watch Next: A Multitask Ranking System

A7fef1ca043d64ac78302bcbee244f02?s=47 alpicola
October 05, 2019

Recommending What Video to Watch Next: A Multitask Ranking System

A7fef1ca043d64ac78302bcbee244f02?s=128

alpicola

October 05, 2019
Tweet

Transcript

  1. Recommending What Video to Watch Next: A Multitask Ranking System

    田中 涼 @alpicola (SmartNews)
  2. 論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending

    What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
  3. Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話

  4. 問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -

    User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
  5. 論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -

    Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
  6. None
  7. MMoE バイアス 削減

  8. Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -

    マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
  9. 学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい

  10. 選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ

    アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
  11. 実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる

  12. 実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -

    Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
  13. 著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力

    - Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
  14. 私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom

    でも十分かも - 各タスクのスコアはどう使う? - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか?