Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介/Predicting Online Performance of News Reco...
Search
ysekky
December 22, 2015
Research
0
350
論文紹介/Predicting Online Performance of News Recommender Systems
ysekky
December 22, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2.2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.7k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2.1k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
760
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.8k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.5k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Other Decks in Research
See All in Research
90 分で学ぶ P 対 NP 問題
e869120
18
7.6k
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
450
電力システム最適化入門
mickey_kubo
1
730
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
140
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
1.2k
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
330
実行環境に中立なWebAssemblyライブマイグレーション機構/techtalk-2025spring
chikuwait
0
240
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
6
3.3k
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
770
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
730
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
450
Computational OT #4 - Gradient flow and diffusion models
gpeyre
0
320
Featured
See All Featured
Site-Speed That Sticks
csswizardry
10
700
BBQ
matthewcrist
89
9.7k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
990
Music & Morning Musume
bryan
46
6.7k
Practical Orchestrator
shlominoach
189
11k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
520
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
4 Signs Your Business is Dying
shpigford
184
22k
Transcript
Predic'ng Online Performance of News Recommender Systems Through Richer Evelua'on
Metrics (Recsys 2015) Andrii Maksai, Florent Garcin, Boi Fal'ngs Ar'ficaial Intelligence Lab, Switzerland Yoshifumi Seki Gunosyデータマイニング研究会 2015.12.09
概要 • ニュース推薦の構築に関する論文 • 多くの推薦評価指標について – 各指標内、指標間の相関について – 指標が実際の成果(CTR)に与える影響について • アルゴリズムのチューニングについて •
オフラインのデータからオンラインの結果をど のように予測するか
様々な推薦システムの指標 • Accuracy – RMSEとか, MAEとか, F値とか • Diversity –
多様性 • Novelty – ユーザに取って新しいアイテムをどれだけ提示できるか • Coverage – 商品をどれだけカバーできるか • Serendipity – 意外性
評価指標の相関 • 各カテゴリ内のさまざまな指標は相関してい た – すべてを満足させる必要はなく,ひとつ代表する ものを得ればよい • カテゴリ間では相関してない
記事リストの長さによる依存 • 記事リストの長さによって相関の度合いは変 わってくる
Metric trade-off
Predic'ng online from offline • Offline Accuracy – 推薦システムが存在しない状況で生成されたク リックログから予測されたクリック率 •
Online Accuracy – 推薦システムが稼働している状況でのクリック率
Feature Selec'on • Least Angle Regression • 各Featureが線形に作用してるという仮定 – L1正規化 •
これを用いて各Metricsがどの程度CTRに反映 させているかを測る y = T x + n X j=1 | xj |
Feature Selec'on
Regression model • MetricsからCTRを予測するモデルができた – 各Metrics間のTrade-offがわかる – Metricsがどのように寄与するかがわかる
Self adjust algorithm blend
Dataset[SwissInfo] • Swissinfo.ch – ニュースサイト • Offline data – 227k clicks, 28,525
stories, 118k users • Online data – 3つの推薦システムの動作時のログ • 直近200記事クリックを使って推薦 – 3週間 – 168k click
Dataset[Yahoo Front Page] • 15日間のYahooTopPageでのクリックデータ[Li +2011] • ページへの滞在が2値ベクトルとして記載, 20 アイテムが推薦されている
• 28M visit 653 items – 同じようなセッションを統合して5.7M click
Dataset[LePoint] • 3.5 days – 4.6M clicks and 3.3M users
Feature Selec'on
CTR Predic'on
Online Accuracy Predic'on
Algorithm Blending