論文紹介/Predicting Online Performance of News Recommender Systems

Slide 1

Slide 1 text

Predic'ng Online Performance of News Recommender Systems Through Richer Evelua'on Metrics (Recsys 2015) Andrii Maksai, Florent Garcin, Boi Fal'ngs Ar'ﬁcaial Intelligence Lab, Switzerland Yoshifumi Seki Gunosyデータマイニング研究会 2015.12.09

Slide 2

Slide 2 text

概要 •  ニュース推薦の構築に関する論文 •  多くの推薦評価指標について – 各指標内、指標間の相関について – 指標が実際の成果(CTR)に与える影響について •  アルゴリズムのチューニングについて •  オフラインのデータからオンラインの結果をどのように予測するか

Slide 3

Slide 3 text

様々な推薦システムの指標 •  Accuracy –  RMSEとか, MAEとか, F値とか •  Diversity –  多様性 •  Novelty –  ユーザに取って新しいアイテムをどれだけ提示できるか •  Coverage –  商品をどれだけカバーできるか •  Serendipity –  意外性

Slide 4

Slide 4 text

評価指標の相関 •  各カテゴリ内のさまざまな指標は相関していた – すべてを満足させる必要はなく，ひとつ代表するものを得ればよい •  カテゴリ間では相関してない

Slide 5

Slide 5 text

記事リストの長さによる依存 •  記事リストの長さによって相関の度合いは変わってくる

Slide 6

Slide 6 text

Metric trade-oﬀ

Slide 7

Slide 7 text

Predic'ng online from oﬄine •  Oﬄine Accuracy – 推薦システムが存在しない状況で生成されたクリックログから予測されたクリック率 •  Online Accuracy – 推薦システムが稼働している状況でのクリック率

Slide 8

Slide 8 text

Feature Selec'on •  Least Angle Regression •  各Featureが線形に作用してるという仮定 – L1正規化 •  これを用いて各Metricsがどの程度CTRに反映させているかを測る y = T x + n X j=1 | xj |

Slide 9

Slide 9 text

Feature Selec'on

Slide 10

Slide 10 text

Regression model •  MetricsからCTRを予測するモデルができた – 各Metrics間のTrade-oﬀがわかる – Metricsがどのように寄与するかがわかる

Slide 11

Slide 11 text

Self adjust algorithm blend

Slide 12

Slide 12 text

Dataset[SwissInfo] •  Swissinfo.ch – ニュースサイト •  Oﬄine data – 227k clicks, 28,525 stories, 118k users •  Online data – 3つの推薦システムの動作時のログ •  直近200記事クリックを使って推薦 – 3週間 – 168k click

Slide 13

Slide 13 text

Dataset[Yahoo Front Page] •  15日間のYahooTopPageでのクリックデータ[Li +2011] •  ページへの滞在が2値ベクトルとして記載, 20 アイテムが推薦されている •  28M visit 653 items – 同じようなセッションを統合して5.7M click