ABEMAにおけるサムネイル検証とOPE活用

2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。
https://cyberagent.connpass.com/event/270224/

Transcript

1. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 1 ABEMAにおける サムネイル検証と OPE活用 2023 February 16th Ebisawa Hayata (ABEMA), ABE KENSHI (AI Lab), Yasui Shota(AI Lab)
2. AbemaTV, Inc. All Rights Reserved
 海老澤 颯 えびさわ はやた 2022年度 新卒入社 株式会社AbemaTV 開発本部 Abema Data Center 2 Profile Computer Visionを活用した機械学習システムの開発 画像サムネイル検証とデータ分析 @ebisawa_hayata
3. AbemaTV, Inc. All Rights Reserved
 3 1. ABEMAにおけるサムネイル 2. サムネイル検証 3. サムネイル選択 4. 今後について INDEX
4. AbemaTV, Inc. All Rights Reserved
 ABEMAにおけるサムネイル 4
5. AbemaTV, Inc. All Rights Reserved
 ABEMAとは 5 動画ストリーミングサービス クリック
6. AbemaTV, Inc. All Rights Reserved
 ABEMAとは 6 動画ストリーミングサービス クリック ここで何を見せるかがコンテンツ消費に影響する ・どのコンテンツを見せるか?（推薦） ・どのサムネイルを見せるか？（サムネイル）
7. AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 7 ユーザーに表示された コンテンツの魅力を伝える サムネイル ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間
8. AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 8 ユーザーに表示された コンテンツの魅力を伝える サムネイル ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たちけっこんしました 4. チャンスの時間
9. AbemaTV, Inc. All Rights Reserved
 サムネイルの検証 9
10. AbemaTV, Inc. All Rights Reserved
 サムネイル検証のゴール 10 サムネイルの 価値とナレッジ を知る
11. AbemaTV, Inc. All Rights Reserved
 サムネイルの価値とナレッジとは 11 “悪役のキャラクターがよい”等の 再現性の高い知見 ナレッジ • KPIの変化率 ◦ CTVR20%上昇など ◦ 変化なし、減少も重要 価値 引用: https://about.netflix.com/en/news/the-power-of-a-picture
12. AbemaTV, Inc. All Rights Reserved
 具体的に何を検証するのか 12 • バッジ • ロゴ • タイトル • キャプション • 素材画像 各要素の有無や、位置や色、内容等の影響を検証
13. AbemaTV, Inc. All Rights Reserved
 検証方法: ABテスト 13
14. AbemaTV, Inc. All Rights Reserved
 評価方法 14 • ベイズ検定 ベータ分布から導出した事後分布の平均 の差で判定 検定 評価指標 • watchUU サムネイルをクリックして 遷移したエピソードを視聴した UU数 • impUU サムネイルが表示された UU数
15. AbemaTV, Inc. All Rights Reserved
 検証に用いるコンテンツ 15 番組概要 最高の恋を手にするために 集まった男女10人。 ただし、メンバーの中には、 女子側に 「恋をしないオオカミちゃん」が 1人以上。そして男子側にも 「恋をしないオオカミくん」が 1人以上潜んでいる。 オオカミの甘い誘惑や嘘に 惑わされることなく 最高の恋を見つけることが できるのか？
16. AbemaTV, Inc. All Rights Reserved
 検証場所 16
17. AbemaTV, Inc. All Rights Reserved
 サムネイルの検証結果 17
18. AbemaTV, Inc. All Rights Reserved
 18 第１回：検証に用いたサムネイル 3つのサムネイルでABテストを実施
19. AbemaTV, Inc. All Rights Reserved
 19 第１回：結果 高 低 それぞれのサムネイルで差のある結果が得られた +12.5%
20. AbemaTV, Inc. All Rights Reserved
 20 第１回：検証結果から考えられる仮説 • キャストの興味がユーザごとに異なる? • キャプションで差が出ている? • タイトルの大きさ?
21. AbemaTV, Inc. All Rights Reserved
 21 第１回：検証結果から考えられる仮説 • タイトルの視認性かも??
22. AbemaTV, Inc. All Rights Reserved
 22 第２回：検証に用いたサムネイル • 検証1回目ではバラバラだった素材画像を統一する • キービジュアル(オレンジ背景のサムネイル)を追加
23. AbemaTV, Inc. All Rights Reserved
 23 第２回：結果 高 低 +19.9%
24. AbemaTV, Inc. All Rights Reserved
 24 第２回：結果 タイトルの視認性が重要な可能性が高い!!
25. AbemaTV, Inc. All Rights Reserved
 25 第３回：検証に用いたサムネイル • 検証２回目と同じサムネイル構成を採用し 再現性を確かめる
26. AbemaTV, Inc. All Rights Reserved
 26 第３回：結果 高 低 +23.4%
27. AbemaTV, Inc. All Rights Reserved
 27 第３回：結果 タイトルの視認性が重要なことが再確認できた！
28. AbemaTV, Inc. All Rights Reserved
 問われる再現性の問題 28 問われる再現性の問題 「オオカミちゃん」 だけなんじゃないの? 他のコンテンツでも 同じこと言えんの??
29. AbemaTV, Inc. All Rights Reserved
 29 恋する週末ホームステイ 高 低 +7.9% 問われる再現性の問題
30. AbemaTV, Inc. All Rights Reserved
 30 シャッフルアイランド 高 低 +7.4% 問われる再現性の問題
31. AbemaTV, Inc. All Rights Reserved
 問われる再現性の問題 31 他番組でも同様の結果が得られている • 私たち結婚しました • 恋愛ドラマな恋がしたい • プレミアリーグ • …
32. AbemaTV, Inc. All Rights Reserved
 キービジュアルよりも良いサムネイル 32
33. AbemaTV, Inc. All Rights Reserved
 キービジュアルよりも良いサムネイル 33
34. AbemaTV, Inc. All Rights Reserved
 検証全体のイメージ 34 KPI
35. AbemaTV, Inc. All Rights Reserved
 サムネイル検証まとめ 35 • 価値 ◦ サムネイルがコンテンツの消費に大きく影響する ◦ CTVR20%以上の改善 • ナレッジ ◦ タイトルの視認性が重要 ▪ 多くの番組でABテストを行い 再現性のある結果が得られている
36. AbemaTV, Inc. All Rights Reserved
 よいサムネイルを選べていたら? 36 検証でサムネイルに明確に差があることがわかった よいサムネイルを選べていたら よりCTVRが増えていたのでは?
37. AbemaTV, Inc. All Rights Reserved
 サムネイルの選択 37
38. AbemaTV, Inc. All Rights Reserved
 サムネイル選択とは 38
39. AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 39 KPIの最大化が目的 • バンディットアルゴリズム サムネイル選択 ナレッジを得ることが目的 • ABテストを行う ◦ タイトルの視認性が重要などの ナレッジを得る サムネイル検証
40. AbemaTV, Inc. All Rights Reserved
 サムネイル選択の誤解 40 サムネイル選択でKPIの最大化ができる!! オフライン検証せずに とりあえずアルゴリズムを実装しよう!!
41. AbemaTV, Inc. All Rights Reserved
 サムネイル検証のアルゴリズムへの誤解 41 サムネイル選択でKPIの最大化ができる!! 本当にそうなのか?? オフライン検証をしてみた
42. AbemaTV, Inc. All Rights Reserved
 評価方法 42 評価指標 • clickUU サムネイルをクリックして 遷移したエピソードを視聴した UU数 • impUU サムネイルが表示された UU数 オフライン検証手法 • Replay Method ランダムに配信された結果を用いて アルゴリズムの性能検証する
43. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 43 時間 ランダム アルゴリズム
44. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 44 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない
45. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 45 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない バイアスのない評価が可能になる 評価に使えるデータ = 全体からランダムに サンプリングされたデータ
46. AbemaTV, Inc. All Rights Reserved
 46 オフライン検証に用いたサムネイル サムネイル検証1回目の オオカミちゃん 第4話のABテストの結果を使用
47. AbemaTV, Inc. All Rights Reserved
 実験結果 47 手法 CTR ランダム配信 - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Sampling がランダム配信にも劣っている …
48. AbemaTV, Inc. All Rights Reserved
 なぜランダム配信以下の性能なのか 48 日付 CTR CTRの順序が入れ替わっている 初期に良かったサムネイルの性能が途中で悪化している しかし、そのままそのアームが引かれ続けてしまった
49. AbemaTV, Inc. All Rights Reserved
 入れ替わった要因はなにか？ 49 日 付 CTR CTRの順序が入れ替 わっている 入れ替わった要因はなにか？ 要因が分かれば最適化アルゴリズ ムに活用できるかも？
50. AbemaTV, Inc. All Rights Reserved
 逆転が起こる要因を説明するための理想的なユーザセグメント 50 ユーザーセグメントA ユーザーセグメントB 累積CTR 割合 累積CTR ?
51. AbemaTV, Inc. All Rights Reserved
 入れ替わっている要因は? 51 • ユーザの好みのジャンル • ABEMAの使用頻度 • 過去のエピソードを視聴したことがあるか
52. AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別 52 ジャンル コンテンツには • 恋愛番組 • バラエティ • アニメなど ジャンルが分けられている。 オオカミちゃんをよく視聴しているのは 恋愛番組のジャンルを好むユーザーなので 恋愛番組を好むユーザーとそれ以外で 違いをみてみる オオカミちゃんとオオカミくんには騙さ・・
53. AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別：結果 53 割合は変化しているものの 恋リアジャンルでCTRが逆転している
54. AbemaTV, Inc. All Rights Reserved
 ABEMAの使用頻度別 54 使用頻度 直近で、ユーザーがどのくらいの頻度で ABEMAにログインしているか
55. AbemaTV, Inc. All Rights Reserved
 ABEMAの使用頻度別：結果 55 割合は変化しているものの よく使うと普通に使うユーザーでCTRが逆転している
56. AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか 56 視聴 ユーザーがシリーズ内の コンテンツの過去のエピソードを 視聴しているかどうか • オオカミシリーズ ◦ オオカミくんには騙されない ▪ 第1話 ▪ 第2話 ◦ オオカミちゃんとオオカミくんには騙されない ▪ 第1話 ▪ 第2話 ▪ 第3話 ▪ 第4話
57. AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか：結果 57 割合が変化していないものの 視聴と未視聴ユーザーでの逆転がほぼない
58. AbemaTV, Inc. All Rights Reserved
 逆転が起こるのを明確に 説明できる要因を見つけることは 出来なかった。 ただし、視聴未視聴でユーザーを分けること で逆転が軽減されることが 確認できた。 順序が入れ替わった要因分析 58 結論
59. AbemaTV, Inc. All Rights Reserved
 視聴ユーザ群と未視聴ユーザ群で それぞれ独立した thompson samplingを走らせれば 性能が向上するのでは? オフライン検証の精度向上のための仮説 59 仮説 CTR
60. AbemaTV, Inc. All Rights Reserved
 視聴と未視聴のユーザーでTSを分けてみた結果 60 手法 CTR ランダム配信 - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Sampling(watch) +1.53% 大幅に性能が向上した!
61. AbemaTV, Inc. All Rights Reserved
 まとめ 61 • 検証と選択の役割 ◦ サムネイル検証とサムネイル選択は別物。 混ぜるな危険! • 検証結果 ◦ バンディットアルゴリズムは万能ではない ◦ オフライン検証せずにバンディットアルゴリズムを 選択することがあるがランダム配信以下の性能に\なって ることがある。
62. AbemaTV, Inc. All Rights Reserved
 今後について 62
63. AbemaTV, Inc. All Rights Reserved
 今後について: AI Labとの連携 63 AI技術の研究組織 産学連携を強化し、ビジネス課題の解決だけでなく学術 的貢献を目指し研究開発に取り組んでいる。 AI Lab 引き続き一緒に課題解決に取り組みつつ 論文も投稿していく予定
64. AbemaTV, Inc. All Rights Reserved
 • Thompson Sampling（watch）の実装 • Contextual Banditsのオフライン検証とプロダクト実装 今後について: プロダクトへの実装 64
65. AbemaTV, Inc. All Rights Reserved
 今後について: 検証ジャンルの拡大 65 恋愛 バラエティ ドラマ スポーツ ニュース 韓流 アニメ 映画
66. AbemaTV, Inc. All Rights Reserved
 検証結果を考慮しサムネイルに 最適な素材画像を自動で抽出し提案する 今後について: サムネイル制作の半自動化 66
67. AbemaTV, Inc. All Rights Reserved
 We are hiring! 67 @ebisawa_hayata 追加の質問などはこちら 新卒・中途向け カジュアル面談はこちら