LLMを用いたメタデータベースレコメンド検証

Slide 1

Slide 1 text

Slide 2

Slide 2 text

AbemaTV, Inc. All Rights Reserved  ● 名前: 宇戸慎吾（うとしんご） ● 仕事: ABEMAのDS ● 経歴: ○ 2015/04: 九州大学経済工学科入学 ○ （中略） ○ 2023/08: CA中途入社（ABEMAにジョイン） ○ 2025/04〜現在 ■ いろんな施策の効果検証をしたり ■ データから広告売上を伸ばすための戦略を考えたり ● 趣味: キックボクシング自己紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

AbemaTV, Inc. All Rights Reserved  視聴中のコンテンツに対し、MLベースのレコメンドロジックが適用されている ABEMAの視聴ページにおける推薦枠のレコメンドコンテンツ1 コンテンツ2 コンテンツ1を視聴するユーザーはコンテンツ2もよく視聴する傾向 → コンテンツ1の推薦枠にコンテンツ2をレコメンド視聴ページ原則として、視聴ページの推薦枠には視聴コンテンツと”似ている”コンテンツを表示したい

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved  Control:Treatment=34:33とし、10日間のA/Bテストを実施実験デザインユーザーのログイン時にAorBをランダムに割り振る Control Group MLベース Treatment Group メタデータベースランダムに割り振っていても実験前からA/B間で差があることがあるため、実験前のアウトカムをコントロールする以下の回帰モデルを用いて処置効果τを推定 Y i, t = β 0 + β 1 ・Y i, t-1 + τ・T i + u i ● i: user_idを表す添字 ● t: 期間を表す添字 ○ t=0: 実験期間前10日間 ○ t=1: 実験期間中10日間 ● Y: 視聴KPI ● T: 処置を表すダミー変数 ○ T=0: MLベースレコメンド ○ T=1: メタデータベースレコメンド ● u: 誤差項

Slide 15

Slide 15 text

Slide 16

Slide 16 text

AbemaTV, Inc. All Rights Reserved  ● 全コンテンツの視聴KPIはユーザー1人当たり0.0027減少 ○ majorコンテンツの視聴KPIはユーザー1人当たり0.0063減少 ○ minorコンテンツの視聴KPIはユーザー1人当たり0.0036増加 → 推薦枠経由の視聴は減少しており、悲しみにくれながらサービス全体への影響も確認推薦枠のレコメンドロジックを変えたため、推薦枠経由の視聴の変動を調べる視聴ページ推薦枠（介入対象枠）経由の視聴KPIへの効果 ***は有意水準1%で有意であることを表す ALLコンテンツ majorコンテンツ minorコンテンツ -0.0027*** (0.0003) -0.0063*** (0.0002) +0.0036*** (0.0003)

Slide 17

Slide 17 text

AbemaTV, Inc. All Rights Reserved  ● 全コンテンツの視聴KPIはユーザー1人あたり0.0141増加 ○ majorコンテンツの視聴KPIは統計的に有意な差はない（まぁ下がってそう） ○ minorコンテンツの視聴KPIはユーザー1人当たり0.0202増加 → 推薦枠経由の結果とは逆の結果に！サービス全体の視聴KPIへの効果全コンテンツ majorコンテンツ minorコンテンツ +0.0141** (0.0069) -0.0061 (0.0038) +0.0202*** (0.0056) ***, **はそれぞれ有意水準1%, 5%で有意であることを表すまさかの結果が得られる

Slide 18

Slide 18 text

AbemaTV, Inc. All Rights Reserved  ここまでの整理と考察推薦枠（介入対象枠）経由の視聴時間サービス全体 majorコンテンツ minorコンテンツ -0.0063*** (0.0002) +0.0036*** (0.0003) majorコンテンツ minorコンテンツ -0.0061 (0.0038) +0.0202*** (0.0056) > < ***は有意水準1%で有意であることを表す介入対象枠の経由視聴KPIは悪化しているが、サービス全体の視聴KPIは改善されている → 推薦枠以外の面/枠の経由視聴が増加しているはず！ → ユーザーのトラフィックが多い、TOP面/ジャンルTOP面経由の視聴KPIを確認

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved  いずれの面も ● majorコンテンツの視聴KPIのみ増加しており、 ● minorコンテンツの視聴KPIは変化ナシ（減少していない） TOP経由 TOP/ジャンルTOP面経由の視聴KPIへの効果ジャンルTOP経由 majorコンテンツ minorコンテンツ +0.0032*** (0.0010) +0.0007 (0.0013) majorコンテンツ minorコンテンツ +0.0019*** (0.0005) +0.0007 (0.0009) ***は有意水準1%で有意であることを表す

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved  推薦枠 major: 多 minor: 少旧ロジックこれらの結果を踏まえた考察 TOP面などを回遊 majorを視聴 majorを視聴新ロジック TOP面などを回遊 majorを視聴 minorを視聴推薦枠 major: 少 minor: 多推薦枠のロジックを変えたことによる、視聴面を起点としたユーザー行動の変化推薦枠におけるmajorコンテンツの表示が減少したことによる major視聴の減少分の一部は、TOP面などで回収された推薦枠経由のmajor視聴は減少し、代わりにminor視聴が増加した

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved  ● Popularity Biasの問題に対処するためにメタデータベースのレコメンドを開発 ○ 莫大なコンテンツ数に対応するためにLLMを用いてメタデータを生成 ● A/Bテストによる効果検証を実施し、サービス全体では視聴が増加 ○ majorコンテンツの視聴は減少し、minorコンテンツの視聴は増加 ○ 推薦枠経由のmajorコンテンツ視聴は減少したが、その減少分の一部はTOP面などで回収されていたまとめ

Slide 22

Slide 22 text

Slide 23

Slide 23 text