推薦タスクの整理と 時系列基盤モデル活用を考える How Recommender Systems Use Time-Series Data and Where Foundation Models Fit

Transcript

1. 推薦タスクの整理と 時系列基盤モデル活⽤を考える 株式会社ニューロジカ 開発部 三⽥剛雅
2. アジェンダ はじめに 時系列の要素 推薦タスクの流れ • はじめに：推薦タスクとは • 推薦タスクにおける時系列の要素 • 推薦タスクの流れと時系列特徴量 • 汎⽤的な時系列基盤モデルの導⼊価値 • まとめ © Neurogica Inc. 時系列基盤モデルの導⼊価値 まとめ
3. はじめに：推薦タスクとは はじめに • 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 ユーザーの興味や状況を推定し、多数の候補の中から そのユーザーにとって価値が⾼いと考えられる情報を提⽰する機械学習タスク • ECサイトの商品推薦、動画配信サービスの作品推薦、⾳楽配信サービスの楽曲推薦な ど、さまざまなサービスで利⽤されている © Neurogica Inc. まとめ
4. 推薦タスクにおける時系列の要素 はじめに 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 • ユーザーの⾏動履歴は、不規則なタイミングで発⽣する⾏動イベントの集合 • 推薦では、主に次の要素を考慮する ◦ ⾏動の順序：関⼼がどのように変化したか ◦ ⾏動間の時間差：短期的な⽬的か、⻑期的な嗜好か ◦ ⾏動の種類：閲覧・お気に⼊り・購⼊など、関⼼の強さ ◦ アイテム属性：カテゴリ・価格・ブランド・テキスト・画像 ◦ 短期と⻑期の両⽴：現在のセッション意図と継続的な好み © Neurogica Inc. まとめ
5. 推薦タスクの流れと時系列特徴量 はじめに 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 まとめ 推薦は⼤きく3段階で処理され、Retrieval、Rankingに 主にユーザの時系列データから作られた特徴量を⽤いる • ◦ • 全候補から、ユーザーに関連しそうな候補を⾼速に絞り込む。 Ranking（順位付け） ◦ • ユーザーの時系列⾏動ログなど Retrieval（候補⽣成） ユーザー、商品、現在⽂脈を使って候補を精密に評価する。 Re-ranking（最終調整） ◦ 多様性、鮮度、在庫、重複、ビジネスルールを反映する。 Deep Neural Networks for YouTube Recommendations [1] © Neurogica Inc. [1] Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for YouTube recommendations." Proceedings of the 10th ACM Conference on Recommender Systems (RecSys 2016). ACM, 2016.
6. 推薦タスクの流れと時系列特徴量 はじめに 時系列の要素 推薦タスクの流れ 1. ⼿作業の集計特徴量 2. ID EmbeddingとDNNによるユーザー表現 3. ⾏動順序を扱うSequential Recommendation 4. ⻑期・短期・リアルタイム系列の統合 5. ⼤規模な共通ユーザー⾏動モデル © Neurogica Inc. 時系列基盤モデルの導⼊価値 まとめ
7. ⼿作業の集計特徴量 はじめに 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 まとめ ※⼿法の主な時期:2010年代? • ユーザー履歴を、⼀定期間ごとの数値に集約 ◦ ◦ ◦ ◦ ◦ ◦ ◦ • 直近1⽇の視聴回数 直近7⽇のクリック数 直近30⽇のカテゴリ別視聴時間 最終視聴からの経過時間 曜⽇別・時間帯別の利⽤頻度 平均視聴完了率 前週⽐、前⽉⽐ など この⼿法を⽤いた研究 ◦ © Neurogica Inc. Wide & Deep Learning for Recommender Systems [2] Wide & Deep Learning for Recommender Systems[2] ▪ Google Playの推薦に実運⽤。⼿作業の交差特徴を使いつつ、モデルで特徴表現を学習 [2] : Cheng, Heng-Tze, et al. "Wide & Deep Learning for Recommender Systems." arXiv preprint arXiv:1606.07792, 2016.
8. ID EmbeddingとDNNによるユーザー表現 はじめに 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 まとめ ※⼿法の主な時期:2015〜 • ⼿作業特徴量だけでなく、閲覧した動画ID、商品ID、検索語などをEmbeddingへ変換し、 DNNでユーザー表現を学習する • ◦ 「どのようなコンテンツを好むユーザーか」を表現ベクトルとして学習 ◦ 類似した嗜好を持つユーザーは、近い表現空間上に配置される この⼿法を⽤いた研究 ◦ Deep Neural Networks for YouTube Recommendations Deep Neural Networks for YouTube Recommendations [1] © Neurogica Inc. [1] Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for YouTube recommendations." Proceedings of the 10th ACM Conference on Recommender Systems (RecSys 2016). ACM, 2016.
9. ⾏動順序を扱うSequential Recommendation 時系列の要素 はじめに 推薦タスクの流れ 時系列基盤モデルの導⼊価値 まとめ ※⼿法の主な時期:2016〜 • • ユーザー履歴を単なる集合ではなく、順番を持つイベント列として扱う ◦ 従来：何を⾒たか ◦ Sequential Recommendation：どの順番で⾒たか この⼿法を⽤いた研究 ◦ BERT4Rec ◦ Embedding-based News Recommendationfor Millions of Users[3] ▪ © Neurogica Inc. Yahoo! JAPANのニュース推薦へ導⼊され、CTR 23%、閲覧時間 10% の改善を達成 [3] : Okura, Shumpei, et al. "Embedding-based News Recommendation for Millions of Users." Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2017.
10. ⻑期・短期・リアルタイム系列の統合 はじめに 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 ※⼿法の主な時期:2020〜 • ユーザーの興味を、単⼀の系列ではなく 異なる時間スケールの表現として扱う • ◦ ⻑期嗜好：カテゴリやブランドの好み ◦ 短期意図：直近の閲覧・購⼊⽬的 ◦ リアルタイム状態：数分前の検索やクリック この分野の価値 ◦ 異なる時間スケールのユーザー表現を共通化し、 複数の推薦⾯で、⽬的に応じて再利⽤できる。 © Neurogica Inc. まとめ
11. ⼤規模な共通ユーザー⾏動モデル はじめに • • 推薦タスクの流れ 時系列基盤モデルの導⼊価値 まとめ ⼤量のユーザー⾏動系列から学習した共通モデルを複数の推薦⾯や予測タスクで利⽤ ◦ 従来： 推薦⾯ごとに個別モデルを構築 ◦ 近年： 共通モデルを各⽤途の予測に再利⽤ この分野の価値 ◦ ◦ • 時系列の要素 モデル本体を複数の推薦⾯で共通利⽤することで、 個別モデルの開発・運⽤コスト削減 新しい推薦へ展開しやすくなる この⼿法を⽤いた研究 ◦ ◦ ◦ © Neurogica Inc. Meta HSTU Kuaishou OneRec Meituan MTGR ※⼿法の主な時期:2024〜
12. 汎⽤的な時系列基盤モデルを取り⼊れる価値はあるか はじめに • 推薦タスクの流れ 時系列基盤モデルの導⼊価値 推薦専⽤のユーザー⾏動基盤モデル ◦ ◦ • 時系列の要素 ユーザーのクリック、閲覧、視聴、購⼊、検索などを item IDやevent tokenの系列として直接学習するモデル 例：HSTU、PinFM 汎⽤的な数値時系列基盤モデル ◦ ◦ © Neurogica Inc. 推薦ログに限定されず、さまざまなドメインの数値系列を 事前学習し、予測、異常検知、分類、表現学習などに 利⽤するモデル 例：TimesFM、MOMENT、Chronos、NV-Tesseract まとめ
13. 汎⽤的な時系列基盤モデルの導⼊価値 時系列の要素 はじめに 推薦タスクの流れ 時系列基盤モデルの導⼊価値 結論：限定的だが価値はある • 汎⽤時系列基盤モデルを使うメリット ◦ 時系列特徴量⽣成の共通化 ▪ ◦ 少量データでの新規タスク⽴ち上げ ▪ ◦ 新しい時系列へ⼤きな作り込みなしに移すことが価値 ログが少ないサービス 推薦戦略のルーティング ▪ ⻑期嗜好候補を強く出すべきか、 短期セッション候補を厚くするべきか などを決める⽤途 © Neurogica Inc. まとめ
14. 汎⽤的な時系列基盤モデルの導⼊価値 はじめに 時系列の要素 推薦タスクの流れ 時系列基盤モデルの導⼊価値 結論：限定的だが価値はある • ⼤規模サービス：✖ • ⼤量の⾃社⾏動ログと推薦専⽤⼈材があるため、 ⾃社データで事前学習した推薦専⽤モデルのほうが合理的 中規模サービス：◦ • 推薦・通知・離脱・CRMなど複数タスクがあり、 かつ⾃前でPinFM級を学習できない企業では、 汎⽤時系列基盤モデルを導⼊する価値がある ⼩規模サービス：✖ ◦ ◦ ◦ © Neurogica Inc. Ranking中⼼なら、まずは単純集計＋GBDTや軽量系列モデル まとめ
15. まとめ はじめに 時系列の要素 推薦タスクの流れ まとめ 時系列基盤モデルの導⼊価値 まとめ • 推薦タスクにおいて特徴量⽣成に時系列データが⽤いられる • 推薦タスクは古い⼿法もモチベーション次第で今でも使われているし新規導⼊に古典⼿法を 選ぶことがある • 時系列基盤モデルを活⽤する利点としては、以下が考えられる ◦ • 時系列特徴量⽣成の共通化、少量データでの新規タスク⽴ち上げ、推薦戦略のルーティング 上記より、推薦モデルへの活⽤を考えた場合、以下のようなケースが考えられる ◦ 共通ユーザー特徴量を⽤いて、複数モデル運⽤をしたい ◦ ⾏動データ量が少ないがモデルを運⽤したい ◦ モデル学習を少ない⼯数で実現したい © Neurogica Inc.