ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証

Transcript

1. AbemaTV, Inc. All Rights Reserved
 ABEMAにおけるLLMを用いたコンテンツベース推 薦システム導入と効果検証 2024 July 24 Shuhei Nakano 1
2. AbemaTV, Inc. All Rights Reserved
 2 自己紹介 Nakano Shuhei • 19年新卒 • 株式会社AbemaTV • Engineering Manager of the Search and Recommendation Team • Machine Learning Engineer • X: @nanay_desu
3. AbemaTV, Inc. All Rights Reserved
 本日伝えたいこと 3 [Topic] ABEMAの推薦でLLMを用いたコンテンツベース推薦を導入した [成果] 効果検証を通して推薦指標の向上を確認した [Why] なぜコンテンツベース推薦が必要になったか？ • 新規コンテンツ・消費サイクルが短いコンテンツに対して効果的なロジックが必要になっ たため ◦ スケーラビリティー: 大量にコンテンツ来た時耐えるのか? ◦ リードタイム: コンテンツ配信から推薦が機能するまでの時間 [Why] なぜ今まで導入されていなかったのか？ • コンテンツベース推薦に必要なメタデータ付与が課題だったため ◦ メタ品質: LLMの登場でサービス導入に耐えうるメタが付与可能になった ◦ 運用負荷: AlloyDBとVertex AIにより完全システム化可能になった
4. AbemaTV, Inc. All Rights Reserved
 アイスブレイク 4 Q1. ABEMAを知っている方？󰢧󰢨 Q2. ABEMAを使ったことがある方？󰢧󰢨 Q3. ABEMAをインストールしている方？󰢧󰢨
5. AbemaTV, Inc. All Rights Reserved
 5 1. ABEMAの推薦について 2. 既存推薦の課題とコンテンツベース推薦の導入の流れ 3. コンテンツベース推薦システム 4. アーキテクチャ 5. 効果検証 6. まとめ INDEX
6. AbemaTV, Inc. All Rights Reserved
 6 ABEMAの推薦について コンテンツ：番組のこと モジュール：何らかの条件を満たすコンテンツ集合-ァ
7. AbemaTV, Inc. All Rights Reserved
 7 バラエティを選んだあなたへ wrsd ユーザーが 再生中のコンテンツ ホーム面 視聴面 ABEMAの推薦について コンテンツ ：番組のこと (注：エピソード、シーズン、シリーズ) モジュール ：何らかの条件を満たすコンテンツ集合-ァ
8. AbemaTV, Inc. All Rights Reserved
 8 モジュール コンテンツ 推薦システムで作成 モジュールを設定 コンテンツ ：番組のこと (注：エピソード、シーズン、シリーズ) モジュール ：何らかの条件を満たすコンテンツ集合-ァ ABEMAの推薦について バラエティを選んだあなたへ
9. AbemaTV, Inc. All Rights Reserved
 9 システム名 ロジック 具体例 Dragon ヒューリスティック コンテンツAを視聴したらコンテンツ Bを推薦 ルールベース ルールベース 条件Aを満たすコンテンツを視聴したら条件 Bを満 たすコンテンツを推薦 Yatagarasu 機械学習 視聴履歴の機械学習を利用した推薦 ABEMAの推薦について ABEMAにはモジュールを作成する推薦システムが複数存在する-ァ
10. AbemaTV, Inc. All Rights Reserved
 10 ABEMAにはモジュールを作成する推薦システムが複数存在する ヒューリスティック ルールベース 機械学習 人間が設定 クエリで設定 クエリで設定 人間が設定 機械学習モデルが推論 ABEMAの推薦について
11. AbemaTV, Inc. All Rights Reserved
 11 既存推薦の課題とコンテンツベース推薦の導入の流れ 課題：視聴履歴が十分に蓄積されていないコンテンツに適した推薦システムがない - スケーラビリティー ：大量にコンテンツ来た時耐えるのか? - リードタイム ：コンテンツ配信から推薦が機能するまでの時間 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ： ABEMAにとって新しいコンテンツ
12. AbemaTV, Inc. All Rights Reserved
 12 既存推薦の課題とコンテンツベース推薦の導入の流れ 課題：視聴履歴が十分に蓄積されていないコンテンツに適した推薦システムがない - スケーラビリティー ：大量にコンテンツ来た時耐えるのか? - リードタイム ：コンテンツ配信から推薦が機能するまでの時間 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 消費サイクルが短いコンテンツ：ニュースなどユーザの興味関心に時間的減衰が大 きいもの
13. AbemaTV, Inc. All Rights Reserved
 13 既存推薦の課題とコンテンツベース推薦の導入の流れ 課題：視聴履歴が十分に蓄積されていないコンテンツに適した推薦システムがない - スケーラビリティー ：大量にコンテンツ来た時耐えるのか? - リードタイム ：コンテンツ配信から推薦が機能するまでの時間 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖
14. AbemaTV, Inc. All Rights Reserved
 14 既存推薦の課題とコンテンツベース推薦の導入の流れ 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ - 夜中に対応しなくてはいけない - 人間が設定するのでタイムラグが生じる 消費サイクルが短いコンテンツ - 人間が設定しても劣化してしまう
15. AbemaTV, Inc. All Rights Reserved
 15 ヒューリスティック 人間が設定 人間が設定 ABEMAの推薦について 新規コンテンツ - 夜中に対応しなくてはいけない - 人間が設定するのでタイムラグが生じる 消費サイクルが短いコンテンツ - 人間が設定しても劣化してしまう
16. AbemaTV, Inc. All Rights Reserved
 16 既存推薦の課題とコンテンツベース推薦の導入の流れ 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ - ABEMA内の知見が貯まるまで時間がかかる
17. AbemaTV, Inc. All Rights Reserved
 17 ルールベース クエリで設定 クエリで設定 既存推薦の課題とコンテンツベース推薦の導入の流れ 新規コンテンツ - ABEMA内の知見が貯まるまで時間がかかる
18. AbemaTV, Inc. All Rights Reserved
 18 既存推薦の課題とコンテンツベース推薦の導入の流れ 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ - 視聴履歴が貯まるまで時間がかかる 消費サイクルが短いコンテンツ - 視聴履歴が貯まるまで時間がかかるのでそもそも相性が悪い
19. AbemaTV, Inc. All Rights Reserved
 19 機械学習 機械学習モデルが推論 ABEMAの推薦について 新規コンテンツ - 視聴履歴が貯まるまで時間がかかる 消費サイクルが短いコンテンツ - 視聴履歴が貯まるまで時間がかかるのでそもそも相性が悪い
20. AbemaTV, Inc. All Rights Reserved
 既存推薦の課題とコンテンツベース推薦の導入の流れ 20 課題のまとめ ヒューリスティック • 新規コンテンツ ◦ 夜中に対応しなくてはいけない ◦ 人間が設定するのでタイムラグが生じる • 消費サイクルが短いコンテンツ ◦ 人間が設定しても劣化してしまう ルールベース • 新規コンテンツ ◦ ABEMA内の知見が貯まるまで時間がかかる 機械学習 • 新規コンテンツ ◦ 視聴履歴が貯まるまで時間がかかる • 消費サイクルが短いコンテンツ ◦ 視聴履歴が貯まるまで時間がかかるのでそもそも相性が悪い 既存の3つの推薦システムだと解決できない →新システムの開発
21. AbemaTV, Inc. All Rights Reserved
 21 既存推薦の課題とコンテンツベース推薦の導入の流れ 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ コンテンツベー ス コンテンツベース推薦システムがこれらの課題を解決するかを説明する
22. AbemaTV, Inc. All Rights Reserved
 22 コンテンツベース推薦システム 視聴したコンテンツ - アニメ - 異世界もの - アニメ - 異世界もの - スポーツ - サッカー 似ているので推薦 コンテンツ自体の特性（メタデータ）に基づいてユーザーに推薦を行う 仮定：ユーザは内容が似たコンテンツを視聴する
23. AbemaTV, Inc. All Rights Reserved
 23 コンテンツベース推薦システム 視聴したコンテンツ - アニメ - 異世界もの - アニメ - 異世界もの - スポーツ - サッカー 　 似ているので推薦 人間 システム メタ情報を付与 コンテンツ自体の特性（メタデータ）に基づいてユーザーに推薦を行う 課題： 精度がメタの品質に依存する コンテンツにメタを付与する運用コストが高い
24. AbemaTV, Inc. All Rights Reserved
 24 コンテンツベース推薦システム 視聴したコンテンツ - アニメ - 異世界もの - アニメ - 異世界もの - スポーツ - サッカー 　 似ているので推薦 メタ情報を付与 LLM コンテンツ自体の特性（メタデータ）に基づいてユーザーに推薦を行う 課題： 精度がメタの品質に依存する コンテンツにメタを付与する運用コストが高い
25. AbemaTV, Inc. All Rights Reserved
 25 コンテンツベース推薦システム embedding space LLM コンテンツ自体の特性（メタデータ）に基づいてユーザーに推薦を行う 課題： 精度がメタの品質に依存する コンテンツにメタを付与する運用コストが高い 解決策： - LLMの近年の進化によって、難易度が下がった
26. AbemaTV, Inc. All Rights Reserved
 26 既存推薦の課題とコンテンツベース推薦の導入の流れ 新規コンテンツ 消費サイクルが短いコンテンツ スケーラビリティー リードタイム スケーラビリティー リードタイム ヒューリスティッ ク ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ コンテンツベー ス まとめ • コンテンツベースは視聴履歴を必要としないので新規コンテンツ推薦と相性 がいい • LLMを用いてシステム化することで消費サイクルが短いコンテンツにも対応 可能
27. AbemaTV, Inc. All Rights Reserved
 27 システムアーキテクチャ
28. AbemaTV, Inc. All Rights Reserved
 28 コンテンツベース推薦システムの説明 Cloud Load Balancing Vertex AI AlloyDB ユーザー Gateway Google Kubernetes Engine Recommend Google Kubernetes Engine Batch Worker Google Kubernetes Engine Cloud Load Balancing 入稿 Gateway Google Kubernetes Engine BigQuery embedding部分
29. AbemaTV, Inc. All Rights Reserved
 29 コンテンツベース推薦システムの説明 AlloyDBの選定理由 - コンテンツデータをAlloyDBに移行していた - AlloyDB AIの機能でVertexAIのモデルを利用できる - AlloyDBからVertexAIの定義済みモデルが直接利用することができる - EmbeddingなどがSQLで完結し、実装コストが低く検証フェーズとも相性がよ い - AlloyDB パフォーマンス - ベクトル検索における近似最近傍探索(ANN)のインデックスを改良したものを 利用できる - 開発に便利な機能が揃っていた - EXPLAINやクエリインサイトでパフォーマンスを確認できる - 読み取り専用のレプリカが作成できる
30. AbemaTV, Inc. All Rights Reserved
 30 効果検証
31. AbemaTV, Inc. All Rights Reserved
 31 効果検証 施策立案 /PRDの作成 モデル選定 オフライン評 価 負荷試験 定性評価 仮説立案 AB初速確認 ABサマリ分 析 リリース 判断 100%適用 インサイト分 析 仮説の 方向性 の妥当 性 AB検証設計 仮説棄却 推薦チーム 施策分析チーム Yes No No
32. AbemaTV, Inc. All Rights Reserved
 32 効果検証 施策立案 /PRDの作成 モデル選定 オフライン評 価 負荷試験 定性評価 仮説立案 AB初速確認 ABサマリ分 析 リリース 判断 100%適用 インサイト分 析 仮説の 方向性 の妥当 性 AB検証設計 仮説棄却 推薦チーム 施策分析チーム Yes No No 効果検証方法を考える 推薦モデルが妥当 か？ システム化してパフォーマンス的に問題ないか？ ドメイン責任者が最終確認
33. AbemaTV, Inc. All Rights Reserved
 33 効果検証 施策立案 /PRDの作成 モデル選定 オフライン評 価 負荷試験 定性評価 仮説立案 AB初速確認 ABサマリ分 析 リリース 判断 100%適用 インサイト分 析 仮説の 方向性 の妥当 性 AB検証設計 仮説棄却 推薦チーム 施策分析チーム Yes No No マイナス影響の確認 - 改善点はないか？ - なぜプラスの効果だったのか？
34. AbemaTV, Inc. All Rights Reserved
 ABテストの検証デザイン 34 検証期間 • 1週間 対象デバイス • 全て 推薦システム • Control：ヒューリスティック • Treatment：コンテンツベース推薦 指標 • 5分間視聴
35. AbemaTV, Inc. All Rights Reserved
 ABテストの検証結果 (1/2) 35 日付を消す グラフの見方 • オレンジの実線 : 5分視聴回数 の相対比 (Treatment/Control) • 青の実線: 相対比=1の点 (Treatment=Controlとなる 点) • 赤の背景: 実験期間 A/Bテスト検定・時系列を併せてみると5分視聴回数がプラスの影響を受けている 検証期間前のばらつきより検証期間中のばらつきが高い推移をしている
36. AbemaTV, Inc. All Rights Reserved
 ABテストの検証結果 (2/2) 36 グラフの見方 • オレンジの背景: ユーザに表示されや すくなった • 青の背景: ユーザに表示されにくく なった • 赤の点線: 影響を受けなかった ユーザに表示されるコンテンツに変化があった 赤の破線から遠いプロットほど「介入によって表示される数が変わってる」
37. AbemaTV, Inc. All Rights Reserved
 LLMコンテンツベースが最強なのか ? 37 類似度: 高　　　　　　　　　　　類似度 : 低　　　　　　 ユーザに表示される範囲 embedding space L L M 課題 純粋に内容が近いものがユーザに推薦される 期待 LLMが改善されているので、仕組み化すればメタの品質は向上する？ 他の要素を考慮した方がユーザ体験はい い？ :トレンド、注目度が高い番組 恐ろしいスピードで改善されていく
38. AbemaTV, Inc. All Rights Reserved
 まとめ 38 [Topic] ABEMAの推薦でLLMを用いたコンテンツベース推薦を導入した [成果] 効果検証を通して推薦指標の向上を確認した [Why] なぜコンテンツベース推薦が必要になったか？ • 新規コンテンツ・消費サイクルが短いコンテンツに対して効果的なロジックが必要になっ たため ◦ スケーラビリティー: 大量にコンテンツ来た時耐えるのか? ◦ リードタイム: コンテンツ配信から推薦が機能するまでの時間 [Why] なぜ今まで導入されていなかったのか？ • コンテンツベース推薦に必要なメタデータ付与が課題だったため ◦ メタ品質: LLMの登場でサービス導入に耐えうるメタが付与可能になった ◦ 運用負荷: AlloyDBとVertex AIにより完全システム化可能になった
39. AbemaTV, Inc. All Rights Reserved
 39 ぜひお話しましょう！本日参加しているメンバー (五十音表記) - 検索推薦チーム - 井上翔太 / Machine Learning Engineer / @show_5821 - 海老澤 颯 / Machine Learning Engineer / @ebisawa_hayata - 清水 俊樹 / Machine Learning Engineer / @toshiki_ml - 施策分析チーム - 宇戸 慎吾 / Data Scientist / @s1ok69oo - 久保田 大樹 / Data Scientist 最後に