ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証

by CyberAgent

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

AbemaTV, Inc. All Rights Reserved  本日伝えたいこと 3 [Topic] ABEMAの推薦でLLMを用いたコンテンツベース推薦を導入した [成果] 効果検証を通して推薦指標の向上を確認した [Why] なぜコンテンツベース推薦が必要になったか？ ● 新規コンテンツ・消費サイクルが短いコンテンツに対して効果的なロジックが必要になったため ○ スケーラビリティー: 大量にコンテンツ来た時耐えるのか? ○ リードタイム: コンテンツ配信から推薦が機能するまでの時間 [Why] なぜ今まで導入されていなかったのか？ ● コンテンツベース推薦に必要なメタデータ付与が課題だったため ○ メタ品質: LLMの登場でサービス導入に耐えうるメタが付与可能になった ○ 運用負荷: AlloyDBとVertex AIにより完全システム化可能になった

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

AbemaTV, Inc. All Rights Reserved  9 システム名ロジック具体例 Dragon ヒューリスティックコンテンツAを視聴したらコンテンツ Bを推薦ルールベースルールベース条件Aを満たすコンテンツを視聴したら条件 Bを満たすコンテンツを推薦 Yatagarasu 機械学習視聴履歴の機械学習を利用した推薦 ABEMAの推薦について ABEMAにはモジュールを作成する推薦システムが複数存在する-ァ

Slide 10

Slide 10 text

Slide 11

Slide 11 text

AbemaTV, Inc. All Rights Reserved  11 既存推薦の課題とコンテンツベース推薦の導入の流れ課題：視聴履歴が十分に蓄積されていないコンテンツに適した推薦システムがない - スケーラビリティー：大量にコンテンツ来た時耐えるのか? - リードタイム：コンテンツ配信から推薦が機能するまでの時間新規コンテンツ消費サイクルが短いコンテンツスケーラビリティーリードタイムスケーラビリティーリードタイムヒューリスティック ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ： ABEMAにとって新しいコンテンツ

Slide 12

Slide 12 text

AbemaTV, Inc. All Rights Reserved  12 既存推薦の課題とコンテンツベース推薦の導入の流れ課題：視聴履歴が十分に蓄積されていないコンテンツに適した推薦システムがない - スケーラビリティー：大量にコンテンツ来た時耐えるのか? - リードタイム：コンテンツ配信から推薦が機能するまでの時間新規コンテンツ消費サイクルが短いコンテンツスケーラビリティーリードタイムスケーラビリティーリードタイムヒューリスティック ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 消費サイクルが短いコンテンツ：ニュースなどユーザの興味関心に時間的減衰が大きいもの

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved  13 既存推薦の課題とコンテンツベース推薦の導入の流れ課題：視聴履歴が十分に蓄積されていないコンテンツに適した推薦システムがない - スケーラビリティー：大量にコンテンツ来た時耐えるのか? - リードタイム：コンテンツ配信から推薦が機能するまでの時間新規コンテンツ消費サイクルが短いコンテンツスケーラビリティーリードタイムスケーラビリティーリードタイムヒューリスティック ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved  14 既存推薦の課題とコンテンツベース推薦の導入の流れ新規コンテンツ消費サイクルが短いコンテンツスケーラビリティーリードタイムスケーラビリティーリードタイムヒューリスティック ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ - 夜中に対応しなくてはいけない - 人間が設定するのでタイムラグが生じる消費サイクルが短いコンテンツ - 人間が設定しても劣化してしまう

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

AbemaTV, Inc. All Rights Reserved  18 既存推薦の課題とコンテンツベース推薦の導入の流れ新規コンテンツ消費サイクルが短いコンテンツスケーラビリティーリードタイムスケーラビリティーリードタイムヒューリスティック ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ 新規コンテンツ - 視聴履歴が貯まるまで時間がかかる消費サイクルが短いコンテンツ - 視聴履歴が貯まるまで時間がかかるのでそもそも相性が悪い

Slide 19

Slide 19 text

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved  既存推薦の課題とコンテンツベース推薦の導入の流れ 20 課題のまとめヒューリスティック ● 新規コンテンツ ○ 夜中に対応しなくてはいけない ○ 人間が設定するのでタイムラグが生じる ● 消費サイクルが短いコンテンツ ○ 人間が設定しても劣化してしまうルールベース ● 新規コンテンツ ○ ABEMA内の知見が貯まるまで時間がかかる機械学習 ● 新規コンテンツ ○ 視聴履歴が貯まるまで時間がかかる ● 消費サイクルが短いコンテンツ ○ 視聴履歴が貯まるまで時間がかかるのでそもそも相性が悪い既存の3つの推薦システムだと解決できない →新システムの開発

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

AbemaTV, Inc. All Rights Reserved  26 既存推薦の課題とコンテンツベース推薦の導入の流れ新規コンテンツ消費サイクルが短いコンテンツスケーラビリティーリードタイムスケーラビリティーリードタイムヒューリスティック ✖ ✖ ✖ ✖ ルールベース ◯ ✖ ◯ △ 機械学習 ◯ ✖ ◯ ✖ コンテンツベースまとめ ● コンテンツベースは視聴履歴を必要としないので新規コンテンツ推薦と相性がいい ● LLMを用いてシステム化することで消費サイクルが短いコンテンツにも対応可能

Slide 27

Slide 27 text

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved  28 コンテンツベース推薦システムの説明 Cloud Load Balancing Vertex AI AlloyDB ユーザー Gateway Google Kubernetes Engine Recommend Google Kubernetes Engine Batch Worker Google Kubernetes Engine Cloud Load Balancing 入稿 Gateway Google Kubernetes Engine BigQuery embedding部分

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved  29 コンテンツベース推薦システムの説明 AlloyDBの選定理由 - コンテンツデータをAlloyDBに移行していた - AlloyDB AIの機能でVertexAIのモデルを利用できる - AlloyDBからVertexAIの定義済みモデルが直接利用することができる - EmbeddingなどがSQLで完結し、実装コストが低く検証フェーズとも相性がよい - AlloyDB パフォーマンス - ベクトル検索における近似最近傍探索(ANN)のインデックスを改良したものを利用できる - 開発に便利な機能が揃っていた - EXPLAINやクエリインサイトでパフォーマンスを確認できる - 読み取り専用のレプリカが作成できる

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

AbemaTV, Inc. All Rights Reserved  32 効果検証施策立案 /PRDの作成モデル選定オフライン評価負荷試験定性評価仮説立案 AB初速確認 ABサマリ分析リリース判断 100%適用インサイト分析仮説の方向性の妥当性 AB検証設計仮説棄却推薦チーム施策分析チーム Yes No No 効果検証方法を考える推薦モデルが妥当か？システム化してパフォーマンス的に問題ないか？ドメイン責任者が最終確認

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

AbemaTV, Inc. All Rights Reserved  ABテストの検証結果 (1/2) 35 日付を消すグラフの見方 ● オレンジの実線 : 5分視聴回数の相対比 (Treatment/Control) ● 青の実線: 相対比=1の点 (Treatment=Controlとなる点) ● 赤の背景: 実験期間 A/Bテスト検定・時系列を併せてみると5分視聴回数がプラスの影響を受けている検証期間前のばらつきより検証期間中のばらつきが高い推移をしている

Slide 36

Slide 36 text

Slide 37

Slide 37 text

AbemaTV, Inc. All Rights Reserved  LLMコンテンツベースが最強なのか ? 37 類似度: 高　　　　　　　　　　　類似度 : 低　　　　　　ユーザに表示される範囲 embedding space L L M 課題純粋に内容が近いものがユーザに推薦される期待 LLMが改善されているので、仕組み化すればメタの品質は向上する？他の要素を考慮した方がユーザ体験はいい？ :トレンド、注目度が高い番組恐ろしいスピードで改善されていく

Slide 38

Slide 38 text

AbemaTV, Inc. All Rights Reserved  まとめ 38 [Topic] ABEMAの推薦でLLMを用いたコンテンツベース推薦を導入した [成果] 効果検証を通して推薦指標の向上を確認した [Why] なぜコンテンツベース推薦が必要になったか？ ● 新規コンテンツ・消費サイクルが短いコンテンツに対して効果的なロジックが必要になったため ○ スケーラビリティー: 大量にコンテンツ来た時耐えるのか? ○ リードタイム: コンテンツ配信から推薦が機能するまでの時間 [Why] なぜ今まで導入されていなかったのか？ ● コンテンツベース推薦に必要なメタデータ付与が課題だったため ○ メタ品質: LLMの登場でサービス導入に耐えうるメタが付与可能になった ○ 運用負荷: AlloyDBとVertex AIにより完全システム化可能になった

Slide 39

Slide 39 text

AbemaTV, Inc. All Rights Reserved  39 ぜひお話しましょう！本日参加しているメンバー (五十音表記) - 検索推薦チーム - 井上翔太 / Machine Learning Engineer / @show_5821 - 海老澤颯 / Machine Learning Engineer / @ebisawa_hayata - 清水俊樹 / Machine Learning Engineer / @toshiki_ml - 施策分析チーム - 宇戸慎吾 / Data Scientist / @s1ok69oo - 久保田大樹 / Data Scientist 最後に