日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 柳　圭祐 ● @yana_phys (X/Twitter) / @yng (bluesky) ● 2020: PhD（素粒子物理） ○ ダークマターや中性子星の理論研究をしていました ● 2023年11月: 日経に入社 ○ API・バックエンドチーム→AIチーム ○ MLエンジニアとしてレコメンドシステムの開発をしています ● 家族 ○ 妻と一歳の息子 ● 趣味 ○ 読書 ○ ビール・ウイスキー 2  自己紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 新規有料会員登録ユーザー：「自分に合った記事が見つけづらい」 10  新規ユーザーのオンボーディングにおける課題トップや朝刊の記事は難しい時間をかけずに読みたい記事を探したいもっと個々人に合わせて情報を取捨選択してほしい

Slide 11

Slide 11 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 11  For Youでは二種類のレコメンドを提供 ● アンケートの回答に基づくレコメンド ● 登録直後でも関心に合う記事を推薦できる ● 閲覧記事に基づくレコメンド ● より直近の関心に応じた記事を推薦できる

Slide 12

Slide 12 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 12  For Youでは二種類のレコメンドを提供 ● アンケートの回答に基づくレコメンド ● 登録直後でも関心に合う記事を推薦できる ● 閲覧記事に基づくレコメンド ● より直近の関心に応じた記事を推薦できる本日はこちら↗のレコメンドシステムの新規開発事例を共有します

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 15  ユーザーコールドスタート有料登録後経過日数１アクティブ率翌日には数十％低下

Slide 16

Slide 16 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 16  ユーザーコールドスタート有料登録後経過日数１アクティブ率翌日には数十％低下アイテムコールドスタート記事公開からの経過日数記事閲覧数分布閲覧は公開半日〜一日に集中

Slide 17

Slide 17 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 17  ユーザーコールドスタート有料登録後経過日数１アクティブ率翌日には数十％低下アイテムコールドスタート記事公開からの経過日数記事閲覧数分布閲覧は公開半日〜一日に集中「前日までの情報を使ってバッチで推論」だと遅い

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ● 行動ログの少ない新規ユーザーにも効果的なレコメンドをしたい ● 新着記事を随時システムに取り込みレコメンド候補に含めたい ● ある程度過去の記事もレコメンドするため、対象記事数に対してスケールする手法を選びたい 20  ここまでのまとめ

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ● Task：Next-item prediction ● User Towerの特徴量: ユーザーの直近閲覧記事の系列 ○ ユーザーIDに対する埋め込みを学習せずに済むので新規ユーザーに推薦しやすい ○ 数記事読むだけで次に読みそうな記事が推薦できる ● Article Towerの特徴量: 記事のタイトル・本文のNLPモデルによる埋め込み ○ 記事IDに対する埋め込みを学習せずに済むので新着記事を推薦対象にしやすい ○ 最近は品質が高い埋め込みが利用できるので特徴量として強い 22  クリック系列を学習するTwo Towerモデルを作成 User Tower Article Tower User features Article features

Slide 23

Slide 23 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ● 記事の公開日時 ● ユーザーの記事閲覧日時 ○ YouTubeやNetﬂixで有効性が報告されている ○ 過去のある時点だけ人気だった記事が過剰に推薦されるのを防ぐ 23  Time featuresが重要推薦記事の公開日分布

Slide 24

Slide 24 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ● Recall@Kで、公開時刻や閲覧カテゴリにもとづくルールベースと拮抗してしまった ● 人気上位だけでなく下位の記事にも安定して性能が良かったTwo Towerモデルを採用 ○ 上位の記事はその日大々的に扱われたニュースが多く、ここを当てても仕方ないのでは？という判断 24  オフライン評価の難しさ人気上位記事人気下位記事ルールベース ◎ △ Two Tower ◯ ◯

Slide 25

Slide 25 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 25  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ ● ユーザー行動ログ ● 記事ベクトルレコメンドAPI

Slide 26

Slide 26 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 26  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ ● ユーザー行動ログ ● 記事ベクトルレコメンドAPI 新着記事のベクトルをバッチで頻繁に推論

Slide 27

Slide 27 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 27  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ ● ユーザー行動ログ ● 記事ベクトルレコメンドAPI 行動ログを特徴量としたユーザーベクトルのリアルタイム推論

Slide 28

Slide 28 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 28  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ ● ユーザー行動ログ ● 記事ベクトルレコメンドAPI 日経ではユーザーのリアルタイム行動ログ収集基盤(atlas)が以前から整備されている

Slide 29

Slide 29 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 29  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ ● ユーザー行動ログ ● 記事ベクトルレコメンドAPI ESによる近似近傍探索で推薦記事取得

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 既存のアプリトップのおすすめ：複数ロジックの組み合わせ ● 閲覧カテゴリなどに基づくルールベース ● 協調フィルタリング（jubatus） 2週間のABテストを実施 32  電子版アプリトップでABテストを実施 Two TowerモデルのCTR 既存のおすすめロジックCTR ： +5%!

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 1. 日経/ニュース記事におけるレコメンドではコールドスタート問題やリアルタイム性に向き合うことが重要 2. データサイエンス的なアプローチとバックエンド・インフラ的なアプローチの両方が必要 3. For YouやトップタブのCTRを改善することができた 35  まとめ

Slide 36

Slide 36 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ● AIチームではML/AI技術を使ってサービス改善に取り組んでいます ● バックエンド開発からモデルの構築・リリース後の効果検証まで幅広く担える環境です ● 日経でのML/AI活用に興味がある方、ぜひカジュアル面談しましょう！ https://hack.nikkei.com/ 36  最後に