Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019

D490d541e3d1ab04d5203e8b210b2233?s=47 ysekky
September 08, 2019
Research
0
890

Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019

D490d541e3d1ab04d5203e8b210b2233?s=128

ysekky

September 08, 2019
Tweet

More Decks by ysekky

See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
0
860
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
3
2k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
0
1.5k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
1
610
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
0
1.9k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
0
580
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
1
1.7k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
0
3.4k
多様性の導入による推薦システムにおけるユーザ体験向上の試み/ NLP2018招待論文講演/ nlp-2018-invitation-talk
D490d541e3d1ab04d5203e8b210b2233?s=48 ysekky
0
4.6k

Other Decks in Research

See All in Research
20211222_黒部市社協とjinjerの共同研究
899d94290679b4323849877c01e7f7cf?s=48 koshiba_noriaki
0
120
CGO'22 Tutorial Outro
0d2bf4a55ccf5ca212897c2c09e18c94?s=48 chriscummins
0
450
CVIM_2022_01
Cdf066fce1247cc62daf6aec83b78b54?s=48 keiichirokagawa
0
480
note #買ってよかったものレポート2021 / Best to Buy 2021
Af400542cd3845b9232e5e4e4c8cd50e?s=48 noteinc
1
140k
GovTechとマーケットデザイン （渋谷区山室係長）
E4a4f85037f5c40aaf7f95b1528b925a?s=48 daimoriwaki
0
140
Survey
50fd4166b01bdf6a7ae0564fe2364d4a?s=48 takumikato
0
120
第13回チャンピオンズミーティング・タウラス杯ラウンド1集計 / Umamusume Taurus 2022 Round1
9782dd351a8f1737d4ef02d839e821f9?s=48 kitachan_black
0
280
文献紹介：Dynamic Contextualized Word Embeddings
9e650916f36300d64c9c61eeb4ab697e?s=48 a1da4
2
150
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
6f881fac818f465f2b375ed7e335cf2a?s=48 tathi
1
160
データに基づくレヴィ流行語大賞2021
569640c367efbb9719e31fbfc4b6b147?s=48 levii
0
230
Natural language processing tells us the shape of language
0fee20d8bbb7283e1887e7075f638f59?s=48 eumesy
0
280
ABCIで回そう爆速深層学習 (基礎編)
E30ae1fd7ecce7aed0032ea0f87f6520?s=48 yoshipon
9
5.2k

Featured

See All Featured
Making Projects Easy
C4de88ea47538e4594750e3861a341c8?s=48 brettharned
98
4.3k
What the flash - Photography Introduction
5ce91fa49a613cbc3e20d5f96856473f?s=48 edds
61
10k
Automating Front-end Workflow
96270e4c3e5e9806cf7245475c00b275?s=48 addyosmani
1351
200k
Adopting Sorbet at Scale
2bb923c57a1fdc3a2eb484bb8d565fd2?s=48 ufuk
63
7.5k
Designing on Purpose - Digital PM Summit 2013
7653c7c449918ff6542880a8c284f5e7?s=48 jponch
106
5.6k
How to Ace a Technical Interview
2f5463832ccb768ccb4a1ca3607c27ef?s=48 jacobian
265
21k
How To Stay Up To Date on Web Technology
8081b26e05bb4354f7d65ffc34cbbd67?s=48 chriscoyier
780
250k
The Invisible Customer
4262b9cfacfb6b2c77f23e1d0310cd3e?s=48 myddelton
110
11k
Building an army of robots
5f2da528927a2ec9ba4fec2069cbc958?s=48 kneath
299
40k
The Invisible Side of Design
B3d6434763caa0ef5dc4b792662c49f7?s=48 smashingmag
289
48k
The Art of Programming - Codeland 2020
719435d98d452de7ac367c828266cf01?s=48 erikaheidi
32
5.8k
GitHub's CSS Performance
64827b31aef81498662e8af4bd6d5157?s=48 jonrohan
1020
410k

Transcript

  1. 株式会社 Gunosy Gunosy Tech Lab　関 喜史 2019年9月8日 WebDB Forum 2019

    技術報告 Gunosyにおけるニュース記事推薦

  2. （C） Gunosy Inc. All Rights Reserved. PAGE | 2 プロフィール

    東京大学工学部卒業、同大学院工学系研究科博士後期課程修了。博士(工学)。 2011年度未踏クリエイター。 大学院在籍中にGunosy（グノシー）を共同開発し、2012年当社を共同創業。 創業期からニュース配信ロジックの開発を担当。 現在は研究開発に従事し推薦システムを中心としたウェブマイニング、 機械学習応用、自然言語処理応用を専門とする。 株式会社Gunosy Gunosy Tech Lab 上席研究員 共同創業者 関 喜史（Yoshifumi Seki）

  3. （C） Gunosy Inc. All Rights Reserved. PAGE | 3 GunosyのAI組織体制「ミッション」

    ミッションが明確化された4つの軸で構成。 広告<->メディア間のロジック連携を含め、Private DMPを中心としたチー ム間の連携強化を図る。 BI - データによる経営の意思決 定サポート ML - 自社メディア・広告のアルゴ リズム開発 - アドネットワークのアルゴリ ズム開発 DR&MLOps - データ資産の価値最大化 - ML Opsの高度化 R&D - 論文投稿・学会発表 - 産学連携 MLOps BI Business Intelligence DMP Data Reliability ML Machine Learning R&D Research & Development

  4. （C） Gunosy Inc. All Rights Reserved. PAGE | 4 本日のお話

    • Gunosyにおける推薦システムの歴史 • 創業以来どのように推薦システムが変化してきたか • どのような背景・課題があったか • 直近の成果 • 即時性のあるニュース推薦システム (WI’19) — 実際に使われているニュース推薦アルゴリズムとアーキテクチャについて — w2vとクラスタリングを組み合わせたリアルタイムユーザモデリング — クラスタ内CTRによる評価の重み付け — ユーザの最終アクセス時間に応じた時間減衰 • パーソナライズのための貪欲最適マルチリービング (Recsys’19) — 複数のランキングアルゴリズムの結果を混ぜ合わせることにより、効率的に良いアル ゴリズムを探索できるマルチリービング — パーソナライズ環境に適した定式化によって、高い安定性と早い収束を実現 Gunosyにおける推薦システムの歴史、及び直近の成果について

  5. （C） Gunosy Inc. All Rights Reserved. PAGE | 5 本日のお話

    • Gunosyにおける推薦システムの歴史 • 創業以来どのように推薦システムが変化してきたか • どのような背景・課題があったか • 直近の成果 • 即時性のあるニュース推薦システム (WI’19) — 実際に使われているニュース推薦アルゴリズムとアーキテクチャについて — w2vとクラスタリングを組み合わせたリアルタイムユーザモデリング — クラスタ内CTRによる評価の重み付け — ユーザの最終アクセス時間に応じた時間減衰 • パーソナライズのための貪欲最適マルチリービング (Recsys’19) — 複数のランキングアルゴリズムの結果を混ぜ合わせることにより、効率的に良いアル ゴリズムを探索できるマルチリービング — パーソナライズ環境に適した定式化によって、高い安定性と早い収束を実現 Gunosyにおける推薦システムの歴史、及び直近の成果について

  6. （C） Gunosy Inc. All Rights Reserved. PAGE | 6 Gunosyの歴史

    • 2011年9月サービスリリース • SNSを連携すると、その投稿内容から1日1回ニュースを25件推薦するサービス • 2012年11月 法人化 • 2013年1月 iOSアプリリリース • 2014年3月 TVCM放送開始に伴い大規模リニューアル • 2015年4月 マザーズ上場 • 2017年12月 東証一部に市場変更 情報推薦技術を研究する修士学生3人で開発。その後法人化し、現在まで成長を続 けている

  7. （C） Gunosy Inc. All Rights Reserved. PAGE | 推薦システム変遷の歴史 ▪

    SNSの内容を元に 1日1回25件ニュー スを推薦する – アーリーアダプ タに人気 – コアな話題を提 供する ▪ 多様性の導入 ▪ アプリ化 ▪ チュートリアル改善 ▪ 脱SNS ▪ 1日2回の配信 ▪ あなたの好みから社 会の話題へ ▪ おもしろいニュースと はなにか ▪ タブ化 ▪ 話題まとめ ▪ クラスタベースの協 調フィルタリング ▪ リアルタイム推薦 API ▪ 最終アクセス時間か らの減衰モデル 再パーソナライズ マス化 拡大期 創業期 事業のフェーズに合わせて推薦の仕組みが変わってきている 多くのユーザに使われるために変化してきている 7

  8. （C） Gunosy Inc. All Rights Reserved. PAGE | 8 創業期:

    あなたにあったニュースを届けるサービス • SNSが日本でも浸透してきた • Twitter, Facebook • 個人の情報がオープンなデータとして扱えるようになった • 情報収集はRSSリーダーが主流 • 効率的な情報収集のために、毎日300件以上のタイトルをチェック • 非人間的、フィルタリングをSNSの投稿情報からできないか？ • SNSの投稿を用いてRSSリーダーをフィルタリングしようというアイデアがスタート • 1日1回メールで25件のニュースを送る • 自分たちで使ってみて定性評価 -> 友達に使ってもらう • サービスリリース • 自分たちのSNSのみで告知 => シェアされてベンチャーの人たちの中で話題に なる • 当時、人工知能（笑）を使ったサービスは新しかった SNSから興味関心を抽出し推薦する内容ベース推薦システム

  9. （C） Gunosy Inc. All Rights Reserved. PAGE | 9 拡大期:

    様々な改善を行うも限界も見えてくる • 多様性の導入によるサービス改善 • 創業前であったことをいいことに、いろんな実験をする • 論文化 -> 2018年度自然言語処理学会論文賞受賞 • SNSをあまり使わないユーザが新規ユーザに多くなる • 初期の情報がとれないので、ユーザの継続率がさがる — SNSの利用度合いと継続率に明確な相関がでる • チュートリアルの導入などで改善をはかる • ユーザの興味関心が異なる • もともとはテクノロジーやビジネスを好きなユーザが多かった • エンタメ、恋愛コラムなどが好きなユーザが増えていく • 対象コンテンツの拡充、言語モデルの改善などに取り組む • 一方で「あなたにあったニュース」の限界が見えてくる • 人は「自分にあったニュース」をそこまで求めていない • 「なにかおもしろいもの」「世の中の話題」 「あなたにあったニュース」というコンセプトの限界

  10. （C） Gunosy Inc. All Rights Reserved. PAGE | 10 マス化:

    世の中の旬のニュースをまとめ読み • 「みんなが読みたいニュース」がいつもあるサービス • 世の中の話題となっているニュース • 人気のあるニュース • 「編集機能の人工知能化」 • どのニュースをどの位置に出すか • 毎秒更新 + ユーザの反応の即時反映 • いくつかの要素技術の組み合わせ • カテゴリ分類 • イベント抽出（クラスタリング） — クラスタ数 -> 世の中での注目度合い • リアルタイム評価 — クリック率の相対評価による人気度推定 パーソナライズをやめるという決断とサービスの成長

  11. （C） Gunosy Inc. All Rights Reserved. PAGE | 11 再パーソナライズ:

    人気と趣向の反映 • リアルタイムオンデマンド推薦APIサーバ • ユーザは最新の情報が欲しい • 全ユーザにバッチで作るのは現実的ではない — 非アクティブなユーザが一定以上存在する • 行列演算で計算可能。30ms程度で推薦ができる • クラスタベース協調フィルタリング • ユーザごとの時間減衰 リアルタイム推薦 + クラスタベース協調フィルタリング Web Intelligence 2019に論文採択

  12. （C） Gunosy Inc. All Rights Reserved. PAGE | 12 本日のお話

    • Gunosyにおける推薦システムの歴史 • 創業以来どのように推薦システムが変化してきたか • どのような背景・課題があったか • 直近の成果 • 即時性のあるニュース推薦システム (WI’19) — 実際に使われているニュース推薦アルゴリズムとアーキテクチャについて — w2vとクラスタリングを組み合わせたリアルタイムユーザモデリング — クラスタ内CTRによる評価の重み付け — ユーザの最終アクセス時間に応じた時間減衰 • パーソナライズのための貪欲最適マルチリービング (Recsys’19) — 複数のランキングアルゴリズムの結果を混ぜ合わせることにより、効率的に良いアル ゴリズムを探索できるマルチリービング — パーソナライズ環境に適した定式化によって、高い安定性と早い収束を実現 Gunosyにおける推薦システムの歴史、及び直近の成果について

  13. （C） Gunosy Inc. All Rights Reserved. PAGE | 13 即時性のあるニュース推薦システム

    • 協調フィルタリングを使いたい • 更新性が低い • 直近の人気度を反映したい => CTRを使いたい • クラスタへの類似度とクラスタ内クリック率を利用した擬似的な協調フィルタリング • 類似度は事前に計算できる — k-meansの中心ベクトルとユーザベクトルとの距離 — k-meansは1日1回、ユーザベクトルは逐次更新 • CTRも事前に計算できる — 直近の人気度を反映できる • スコア計算は行列計算で高速にできる • リアルタイムに直近の人気を反映した協調フィルタリング リアルタイム推薦 + クラスタベース協調フィルタリング 時間減衰関数 クラスタとの 類似度 クラスタ内でのクリック率

  14. （C） Gunosy Inc. All Rights Reserved. PAGE | 14 即時性のあるニュース推薦システム

    システムアーキテクチャの詳細な記述

  15. （C） Gunosy Inc. All Rights Reserved. PAGE | 15 即時性のあるニュース推薦システム

    リアルタイム推薦 + クラスタベース協調フィルタリング

  16. （C） Gunosy Inc. All Rights Reserved. PAGE | 16 本日のお話

    • Gunosyにおける推薦システムの歴史 • 創業以来どのように推薦システムが変化してきたか • どのような背景・課題があったか • 直近の成果 • 即時性のあるニュース推薦システム (WI’19) — 実際に使われているニュース推薦アルゴリズムとアーキテクチャについて — w2vとクラスタリングを組み合わせたリアルタイムユーザモデリング — クラスタ内CTRによる評価の重み付け — ユーザの最終アクセス時間に応じた時間減衰 • パーソナライズのための貪欲最適マルチリービング (Recsys’19) — 複数のランキングアルゴリズムの結果を混ぜ合わせることにより、効率的に良いアル ゴリズムを探索できるマルチリービング — パーソナライズ環境に適した定式化によって、高い安定性と早い収束を実現 Gunosyにおける推薦システムの歴史、及び直近の成果について

  17. （C） Gunosy Inc. All Rights Reserved. PAGE |17 パーソナライズのための貪欲最適マルチリービング マルチリービングはオンラインで効率的にランキングを評価するための手法

  18. （C） Gunosy Inc. All Rights Reserved. PAGE |18 パーソナライズのための貪欲最適マルチリービング パーソナライズ環境における課題と提案手法

    • 推薦システムを評価するにはオンライン実験が不可欠 ◦ A/Bテストは時間がかかるのでパラメータサーチはしんどい ◦ ランキングを効率的に評価できるマルチリービングを導入したい • マルチリービングをパーソナライズ環境に適用するための課題 ◦ ユーザに早くにレスポンスを提供するには遅い ◦ 評価するランキングの数や、長さに対して安定性が低い • Greedy Optimized Multileaving (GOM)を提案 ◦ パーソナライズ環境であることを利用して目的関数を簡易にし、貪欲に解くこ とで高速なレスポンスを実現 ◦ 下位でのクリックを適切に評価するためにクレジット関数を提案し、ランキング の長さに対する安定性を向上

  19. （C） Gunosy Inc. All Rights Reserved. PAGE |19 パーソナライズのための貪欲最適マルチリービング パーソナライズ環境における課題と提案手法

    • 推薦システムを評価するにはオンライン実験が不可欠 ◦ A/Bテストは時間がかかるのでパラメータサーチはしんどい ◦ ランキングを効率的に評価できるマルチリービングを導入したい • マルチリービングをパーソナライズ環境に適用するための課題 ◦ ユーザに早くにレスポンスを提供するには遅い ◦ 評価するランキングの数や、長さに対して安定性が低い • Greedy Optimized Multileaving (GOM)を提案 ◦ パーソナライズ環境であることを利用して目的関数を簡易にし、貪欲に解くこ とで高速なレスポンスを実現 ◦ 下位でのクリックを適切に評価するためにクレジット関数を提案し、ランキング の長さに対する安定性を向上 Recsys 2019に論文採択

  20. （C） Gunosy Inc. All Rights Reserved. PAGE |20 パーソナライズのための貪欲最適マルチリービング 一度しかランキングが出力されないことを利用して簡易化

  21. （C） Gunosy Inc. All Rights Reserved. PAGE |21 パーソナライズのための貪欲最適マルチリービング ランキングの長さ、ランキングの数に対してロバストな結果を確認

    オンラインでのA/Bテストとの比較 オフラインでのシミュレーション

  22. （C） Gunosy Inc. All Rights Reserved. PAGE | 22 まとめ

    • よい推薦システムはサービスの成長を後押しするもの • サービスがどのような価値を提供するかによって、推薦システムに求められるも のは変わっていく • 事業の要件に対してどのような仕組みを提供するか • アーキテクチャも含めた総合格闘技になりつつある • パーソナライズは現代のウェブでは基本機能といえる • Facebook, Googleなどパーソナライズすることが当たり前の時代 • 精度だけではなく、体験のまで含めた設計が重要 • 研究開発を通した社内文化作りと外部発信 • 研究とは難しい問題を解くこと • 事業の中で自然に難しい問題を解く文化作り • 技術力だけでなく、論文を書ける・書くことを推奨する体制をアピールする サービスの性質に応じて推薦システムが提供すべき価値はかわる

  23. 情報を世界中の人に最適に届ける