Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介/Predicting Online Performance of News Reco...
Search
ysekky
December 22, 2015
Research
0
350
論文紹介/Predicting Online Performance of News Recommender Systems
ysekky
December 22, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2.2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.7k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2.1k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
780
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.8k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.5k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.2k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
4k
Other Decks in Research
See All in Research
集合間Bregmanダイバージェンスと置換不変NNによるその学習
wasyro
0
140
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
360
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
410
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
0
340
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
800
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
190
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
170
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
610
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
950
Stealing LUKS Keys via TPM and UUID Spoofing in 10 Minutes - BSides 2025
anykeyshik
0
120
AIグラフィックデザインの進化:断片から統合(One Piece)へ / From Fragment to One Piece: A Survey on AI-Driven Graphic Design
shunk031
0
440
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
10
4.2k
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
A Modern Web Designer's Workflow
chriscoyier
696
190k
RailsConf 2023
tenderlove
30
1.2k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Bash Introduction
62gerente
615
210k
Unsuck your backbone
ammeep
671
58k
Transcript
Predic'ng Online Performance of News Recommender Systems Through Richer Evelua'on
Metrics (Recsys 2015) Andrii Maksai, Florent Garcin, Boi Fal'ngs Ar'ficaial Intelligence Lab, Switzerland Yoshifumi Seki Gunosyデータマイニング研究会 2015.12.09
概要 • ニュース推薦の構築に関する論文 • 多くの推薦評価指標について – 各指標内、指標間の相関について – 指標が実際の成果(CTR)に与える影響について • アルゴリズムのチューニングについて •
オフラインのデータからオンラインの結果をど のように予測するか
様々な推薦システムの指標 • Accuracy – RMSEとか, MAEとか, F値とか • Diversity –
多様性 • Novelty – ユーザに取って新しいアイテムをどれだけ提示できるか • Coverage – 商品をどれだけカバーできるか • Serendipity – 意外性
評価指標の相関 • 各カテゴリ内のさまざまな指標は相関してい た – すべてを満足させる必要はなく,ひとつ代表する ものを得ればよい • カテゴリ間では相関してない
記事リストの長さによる依存 • 記事リストの長さによって相関の度合いは変 わってくる
Metric trade-off
Predic'ng online from offline • Offline Accuracy – 推薦システムが存在しない状況で生成されたク リックログから予測されたクリック率 •
Online Accuracy – 推薦システムが稼働している状況でのクリック率
Feature Selec'on • Least Angle Regression • 各Featureが線形に作用してるという仮定 – L1正規化 •
これを用いて各Metricsがどの程度CTRに反映 させているかを測る y = T x + n X j=1 | xj |
Feature Selec'on
Regression model • MetricsからCTRを予測するモデルができた – 各Metrics間のTrade-offがわかる – Metricsがどのように寄与するかがわかる
Self adjust algorithm blend
Dataset[SwissInfo] • Swissinfo.ch – ニュースサイト • Offline data – 227k clicks, 28,525
stories, 118k users • Online data – 3つの推薦システムの動作時のログ • 直近200記事クリックを使って推薦 – 3週間 – 168k click
Dataset[Yahoo Front Page] • 15日間のYahooTopPageでのクリックデータ[Li +2011] • ページへの滞在が2値ベクトルとして記載, 20 アイテムが推薦されている
• 28M visit 653 items – 同じようなセッションを統合して5.7M click
Dataset[LePoint] • 3.5 days – 4.6M clicks and 3.3M users
Feature Selec'on
CTR Predic'on
Online Accuracy Predic'on
Algorithm Blending