日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ⽇経電⼦版におけるリアルタイムレコメンドシステム開発の事例紹介
日本経済新聞社柳圭祐 2024/10/30 @Recommendation Industry Talks #4 1 

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Copyright ⓒ
2024 Nikkei Inc. All rights reserved. 柳　圭祐 • @yana_phys (X/Twitter) / @yng (bluesky) • 2020: PhD（素粒子物理） ◦ ダークマターや中性子星の理論研究をしていました • 2023年11月: 日経に入社 ◦ API・バックエンドチーム→AIチーム ◦ MLエンジニアとしてレコメンドシステムの開発をしています • 家族 ◦ 妻と一歳の息子 • 趣味 ◦ 読書 ◦ ビール・ウイスキー 2  自己紹介

2024 Nikkei Inc. All rights reserved. 日経/For Youにおけるコールドスタート問題新規ユーザー・アイテムはログが少なく効果的なレコメンドが難しい、という問題 17  ユーザーコールドスタート有料登録後経過日数１アクティブ率翌日には数十％低下アイテムコールドスタート記事公開からの経過日数記事閲覧数分布閲覧は公開半日〜一日に集中「前日までの情報を使ってバッチで推論」だと遅い

2024 Nikkei Inc. All rights reserved. • Task：Next-item prediction • User Towerの特徴量: ユーザーの直近閲覧記事の系列 ◦ ユーザーIDに対する埋め込みを学習せずに済むので新規ユーザーに推薦しやすい ◦ 数記事読むだけで次に読みそうな記事が推薦できる • Article Towerの特徴量: 記事のタイトル・本文のNLPモデルによる埋め込み ◦ 記事IDに対する埋め込みを学習せずに済むので新着記事を推薦対象にしやすい ◦ 最近は品質が高い埋め込みが利用できるので特徴量として強い 22  クリック系列を学習するTwo Towerモデルを作成 User Tower Article Tower User features Article features

2024 Nikkei Inc. All rights reserved. • Recall@Kで、公開時刻や閲覧カテゴリにもとづくルールベースと拮抗してしまった • 人気上位だけでなく下位の記事にも安定して性能が良かったTwo Towerモデルを採用 ◦ 上位の記事はその日大々的に扱われたニュースが多く、ここを当てても仕方ないのでは？という判断 24  オフライン評価の難しさ人気上位記事人気下位記事ルールベース ◎ △ Two Tower ◯ ◯

2024 Nikkei Inc. All rights reserved. 26  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトルレコメンドAPI 新着記事のベクトルをバッチで頻繁に推論

2024 Nikkei Inc. All rights reserved. 27  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトルレコメンドAPI 行動ログを特徴量としたユーザーベクトルのリアルタイム推論

2024 Nikkei Inc. All rights reserved. 28  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトルレコメンドAPI 日経ではユーザーのリアルタイム行動ログ収集基盤(atlas)が以前から整備されている

2024 Nikkei Inc. All rights reserved. 29  ニアリアルタイムで推論するための構成 Sagemaker: Two Towerモデルによるユーザーベクトルの推論 AWS Batch: 記事ベクトルの定期推論 Kinesis Data Streams: リアルタイム行動ログ • ユーザー行動ログ • 記事ベクトルレコメンドAPI ESによる近似近傍探索で推薦記事取得

日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime...

日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system

Transcript

More Decks by yng87

Other Decks in Technology

Featured