Optimizing the Recency-Relevancy Trade-off in Online News Recommendations Abhijnan Chakraborty @Max Planck Institute for Software Technology, Indian Institute of Technology(IIT) Saptarshi Ghosh @IIT, Indian Institute of Engineering Science and Technology(IIEST) Shibpur Niloy Ganguly@IIT Krishna P. Gummadi@Max Planck Institute for Software Technology WWW’17 Yoshifumi Seki@Gunosy Inc. Gunosyデータマイニング研究会 #117 2017.04.12

自己紹介 ● 関 喜史 ○ Gunosy 共同創業者 ○ データ分析部研究開発チーム (仮) ○ 東大松尾研, 工学博士(2017年3月卒) ● 研究テーマ: ニュース推薦システムのサービス応用について ● 関心領域 ○ 推薦システム, ユーザ行動分析 ● 趣味 ○ アイドル、日本酒、将棋

概要 ● 目的: いいニュースをサイトのトップに出したい ○ パーソナライズをしたいわけではない ● 序盤は当たり前のことを言ってる ○ 新しいの出すだけだとダメ ○ 人気の出すだけだとダメ ○ その辺のトレードオフが辛い ● この後どれぐらい読まれるか予測したい ○ やってることはシンプル、 ○ どちらかというと問題定義に重きをおいた論文 ● 特別なデータセット使ってなくて、公開データ＆クロールでやってる

Datasets Used ● Yahoo! News Dataset ○ https://webscope.sandbox.yahoo.com/ ○ R6B ■ 652 news stories ■ 28,041,015 user visit ○ ニュース自体のデータはない ● CLEF NewsREEL Dataset ○ http://www.clef-newsreel.org/ ○ News recommendation systemの評価プラットフォーム ○ 244,48 news stories ● NYTimes Dataset ○ TwitterからNYTimesに関するニュースを収集 ○ そのニュースへのツイートを StreamingAPIから収集

Recency-Relevance Trade-offs ● Recency ○ ニュースは新しいといいよね！ ● Relevance ○ ニュースは面白いといいよね！ ■ パーソナライズの文脈だと関連性だよね！ ○ 面白いニュースを評価する指標として PV(share数)があるね！ ニュースの文脈だとこの2つはトレードオフ

Trade-offがどうなってるのかを分析する ● Latest ○ 最新のニュースを選ぶ ● Lifetime-Impact ○ ここまで一番PVがあったものを選ぶ ● Future-Impact ○ このあと一番PVがでるものを選ぶ ○ 理想（できないけど、最高の戦略として） ● Recent-Impact ○ 直近のある区間で一番 PVがあったやつを選ぶ ● Rising-Impact ○ 直近のある区間で一番 PVが上昇したのを選ぶ

● 各戦略でえらんだニュースを評価 ○ Average Age: 選ばれたニュースが出てからの平均時間 ○ Average Lifetime-Impact: 選ばれたニュースの PVの平均 ○ Average Future Impact: 選ばれたニュースのその後の PV ● 一番PVあるのえらんでも、その後は読まれないことが多い ● 新しいの選ぶだけでもだめ ● Rasing, RecentはLifetimeよりはいいけど、データによってはLatestのほうがいい

Future-Impactを予測したい ● 制約として、これまでのPVしか知らない状況でやる。 ● これまでのPVを知っているので、Future-Impactを予測することはLifetime-Impact を予測することと同義 ● 2つの方法で予測を試みる ○ Ordinary Least Squares(OLS) ○ Gradient Tree Boosting(GTB) ● x_s: 記事ベクトル． ○ m次元． ■ m: 記事が生成されてから、予測を始める時間までの 15分ごとのインターバルの数． ○ 各featureはその時間でのPV ○ (つまり、時間によって次元数が変わるってこと？？？？？怪しくない？？？？ )

Method1: Ordinary Least Squares(OLS) ● 　 ○ y_s: ニュースsのlifetime-impact(総PV) ○ β: ベクトル. β_0の項も考える(つまりm+1次元?) ■ (このβ, mの違いごとに学習するのだろうか ...) ○ ε: ランダムノイズ

Method2: Gradient Tree Boosting ● すごい雑にいうと、決定木を組み合わせてBoostingする方法 ○ Gradient Decision Tree Boosting(GDTB)のほうが一般的かも ○ 古い手法だけど、Kaggleとかで成果だしてて結構いまでも流行っている

● OLSのほうがよく予測できてる ○ （そんなかわんなくない・・・？） ● とはいえ、いままでの戦略よりはよくなってそうである

● うまくいったケース、後半はうまくいくケース、全然うまくいかないケース ● うまくいかないケースが、どのぐらいうまくいかなさそうなのかを考えたい

Uncertainty in future-impact prediction ● 予測がどのぐらい不確かなのか考えたい ● 予測区間を考える ○ 予測結果がどのぐらいばらつくのか？ ○ この論文では90%でこの範囲に収まりそうだ、というところ考えている

● 予測誤差が時間が経つにつれて小さくなる（情報が増える） ● (b) 時間が経つにつれて、予測区間も小さくなる ○ (ただ、これ正規化されてないから、平均？にしていいいのかという ) ○ (c) ただ、そもそもFuture-Impact自体が小さくなるから どうなんだろうね… ■ (著者は、時間が経つと予測対象になりにくく成るから意味ないっていってるけど、そもそも Prediction Intervalが相対的に縮まってるだけじゃねって ) ●

不確かさをうまく小さくしながら推薦したい ● K: 推薦する記事数 ● f_t(s): 記事のFuture-Impact ● f*: 推薦したときの最良の場合のFuture-Impact ○ これの導出方法 is 何 ○ 記事に紐づくものではないのかな？ ○ γ=0.99

不確かさを踏まえてやってみた ● 新しい記事が減る ● Future-Impactが下がるケースがほとんど ● 新しい記事がめっちゃ来る場合は、不確かさを踏まえた場合のほうがいいらしい

まとめ ● 問題設定で評価された論文という印象 ○ ただちゃんとしっかり実験をして通している点は評価できる ● ただ課題の難しさを示したというのが評価されたのだろうか ● 手法としては、時系列分析とかの領域で、もっとちゃんとしたのあるんじゃね？って 感想 ● 人気なものを出すのは難しいっていうのは体感として分かる話 ○ こういう形で出てくると、新しい取り組みとか提示しやすくなりそう。