Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Recommending What Video to Watch Next: A Multit...
Search
alpicola
October 05, 2019
Research
1
880
Recommending What Video to Watch Next: A Multitask Ranking System
alpicola
October 05, 2019
Tweet
Share
More Decks by alpicola
See All by alpicola
商品レコメンドでのexplicit negative feedbackの活用
alpicola
2
740
Offline A/B testing for Recommender Systems
alpicola
0
2.1k
Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana
alpicola
0
940
Other Decks in Research
See All in Research
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
370
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
yumulab
0
230
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
5.7k
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
110
Looking for Escorts in Sydney?
lunsophia
1
120
「エージェントって何?」から「実際の開発現場で役立つ考え方やベストプラクティス」まで
mickey_kubo
0
120
SI-D案内資料_京都文教大学
ryojitakeuchi1116
0
1.6k
業界横断 副業・兼業者の実態調査
fkske
0
160
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
210
Streamlit 総合解説 ~ PythonistaのためのWebアプリ開発 ~
mickey_kubo
1
900
Transparency to sustain open science infrastructure - Printemps Couperin
mlarrieu
1
170
Computational OT #4 - Gradient flow and diffusion models
gpeyre
0
290
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
35
6.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
700
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Optimizing for Happiness
mojombo
379
70k
GraphQLとの向き合い方2022年版
quramy
47
14k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.3k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Rails Girls Zürich Keynote
gr2m
94
14k
Transcript
Recommending What Video to Watch Next: A Multitask Ranking System
田中 涼 @alpicola (SmartNews)
論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending
What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話
問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -
User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -
Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
None
MMoE バイアス 削減
Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -
マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい
選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ
アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる
実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -
Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力
- Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom
でも十分かも - 各タスクのスコアはどう使う? - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか?