日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system

Transcript

1. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ⽇経電⼦版における リアルタイムレコメンドシステム開発の事例紹介 日本経済新聞社 柳圭祐 2024/10/30 @Recommendation Industry Talks #4 1

2. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 柳　圭祐 • @yana_phys (X/Twitter) / @yng (bluesky) • 2020: PhD（素粒子物理） ◦ ダークマターや中性子星の理論研究をしていました • 2023年11月: 日経に入社 ◦ API・バックエンドチーム→AIチーム ◦ MLエンジニアとしてレコメンドシステムの開発をしています • 家族 ◦ 妻と一歳の息子 • 趣味 ◦ 読書 ◦ ビール・ウイスキー 2
 自己紹介
3. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経電子版の紹介 3
4. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 4
 日経電子版
5. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 5
 日経の利用ユーザー
6. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 6
 日経電子版のコンテンツ
7. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 7
 日経電子版のコンテンツ トップ・朝夕刊：報道のプロが選ぶ記事
8. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 8
 日経電子版のコンテンツ トップ・朝夕刊：報道のプロが選ぶ記事 For You：一人一人の関心に基づく記事 2023年新設！
9. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 9
 日経電子版のコンテンツ トップ・朝夕刊：報道のプロが選ぶ記事 For You：一人一人の関心に基づく記事 2023年新設！
10. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 新規有料会員登録ユーザー：「自分に合った記事が見つけづらい」 10
 新規ユーザーのオンボーディングにおける課題 トップや朝刊の記事は難しい 時間をかけずに読みたい 記事を探したい もっと個々人に合わせて情報を 取捨選択してほしい
11. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 11
 For Youでは二種類のレコメンドを提供 • アンケートの回答に基づくレコメンド • 登録直後でも関心に合う記事を推薦できる • 閲覧記事に基づくレコメンド • より直近の関心に応じた記事を推薦できる
12. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 12
 For Youでは二種類のレコメンドを提供 • アンケートの回答に基づくレコメンド • 登録直後でも関心に合う記事を推薦できる • 閲覧記事に基づくレコメンド • より直近の関心に応じた記事を推薦できる 本日はこちら↗のレコメンドシステムの新規開発事例を共有します
13. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経のニュースレコメンドにおける課題 13
14. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題 新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 14

15. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題 新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 15
 ユーザーコールドスタート 有料登録後経過日数 １ アクティブ率 翌日には数十％低下
16. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題 新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 16
 ユーザーコールドスタート 有料登録後経過日数 １ アクティブ率 翌日には数十％低下 アイテムコールドスタート 記事公開からの経過日数 記事閲覧数分布 閲覧は公開半日〜一日に集中
17. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題 新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 17
 ユーザーコールドスタート 有料登録後経過日数 １ アクティブ率 翌日には数十％低下 アイテムコールドスタート 記事公開からの経過日数 記事閲覧数分布 閲覧は公開半日〜一日に集中 「前日までの情報を使ってバッチで推論」だと遅い
18. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 新着の記事はよく読まれるので頻繁にシステムに取り込む必要性がある 18
 時々刻々と追加されていく記事 公開時刻
19. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. • 記事によっては長く読まれるものもある • 解説系の記事など新聞に不慣れなユーザーにも役立つ記事が多い 19
 最新記事だけをレコメンドすれば良い？
20. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. • 行動ログの少ない新規ユーザーにも効果的なレコメンドをしたい • 新着記事を随時システムに取り込みレコメンド候補に含めたい • ある程度過去の記事もレコメンドするため、対象記事数に対してスケールする 手法を選びたい 20
 ここまでのまとめ
21. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 採用したアプローチ 21
22. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. • Task：Next-item prediction • User Towerの特徴量: ユーザーの直近閲覧記事の系列 ◦ ユーザーIDに対する埋め込みを学習せずに済むので新規ユーザーに推薦しやすい ◦ 数記事読むだけで次に読みそうな記事が推薦できる • Article Towerの特徴量: 記事のタイトル・本文のNLPモデルによる埋め込み ◦ 記事IDに対する埋め込みを学習せずに済むので新着記事を推薦対象にしやすい ◦ 最近は品質が高い埋め込みが利用できるので特徴量として強い 22
 クリック系列を学習するTwo Towerモデルを作成 User Tower Article Tower User features Article features
23. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. • 記事の公開日時 • ユーザーの記事閲覧日時 ◦ YouTubeやNetflixで有効性が報告され ている ◦ 過去のある時点だけ人気だった記事が 過剰に推薦されるのを防ぐ 23
 Time featuresが重要 推薦記事の公開日分布
24. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. • Recall@Kで、公開時刻や閲覧カテゴリにもとづくルールベースと拮抗してしまった • 人気上位だけでなく下位の記事にも安定して性能が良かったTwo Towerモデルを採用 ◦ 上位の記事はその日大々的に扱われたニュースが多く、ここを当てても仕方ないのでは？という判断 24
 オフライン評価の難しさ 人気上位記事 人気下位記事 ルールベース ◎ △ Two Tower ◯ ◯
25. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 25
 ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによる ユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトル レコメンドAPI
26. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 26
 ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによる ユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトル レコメンドAPI 新着記事のベクトルを バッチで頻繁に推論
27. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 27
 ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによる ユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトル レコメンドAPI 行動ログを特徴量としたユーザーベクトルの リアルタイム推論
28. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 28
 ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによる ユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトル レコメンドAPI 日経ではユーザーのリアルタイム行動ログ収集 基盤(atlas)が以前から整備されている
29. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 29
 ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによる ユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトル レコメンドAPI ESによる近似近傍探索で推薦記事取得
30. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. リリースと効果検証 30
31. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. For Youレコメンド記事一覧のCTRを約15%アップ！ 31
 For Youタブへの展開 段階リリース開始日
32. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 既存のアプリトップのおすすめ：複数ロジックの組み合わせ • 閲覧カテゴリなどに基づくルールベース • 協調フィルタリング（jubatus） 2週間のABテストを実施 32
 電子版アプリトップでABテストを実施 Two TowerモデルのCTR 既存のおすすめロジックCTR ： +5%!
33. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. +XXXX万円のLTVアップに相当→For Youだけでなくアプリトップにも展開していくことに 日経のKPIツリー（採用資料より） 33
 CTRのアップリフトを事業貢献額として算出すると…
34. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. まとめ 34
35. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 1. 日経/ニュース記事におけるレコメンドではコールドスタート問題やリアルタ イム性に向き合うことが重要 2. データサイエンス的なアプローチとバックエンド・インフラ的なアプローチの 両方が必要 3. For YouやトップタブのCTRを改善することができた 35
 まとめ
36. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. • AIチームではML/AI技術を使ってサービス改善に取り組んでいます • バックエンド開発からモデルの構築・リリース後の効果検証まで幅広く担える環境です • 日経でのML/AI活用に興味がある方、ぜひカジュアル面談しましょう！ https://hack.nikkei.com/ 36
 最後に