Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ABEMAにおけるサムネイル検証とOPE活用

EbisawaHayata
January 18, 2023

 ABEMAにおけるサムネイル検証とOPE活用

CFML勉強会で発表した資料です(https://cfml.connpass.com/event/264017/)

概要: ABEMAにおいてサムネイルは、番組へユーザーを誘導する重要な役割を担っており、より良いサムネイルを作成するための検証や、ユーザーにとって相性の良いサムネイルを選択する最適化は非常に重要なデータサイエンスのタスクとなっています。この発表では、そういった検証や最適化における、A/BテストやOPEの活用の事例についてお話しします。

EbisawaHayata

January 18, 2023
Tweet

Other Decks in Research

Transcript

  1. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    1 ABEMAにおける サムネイル検証と OPE活用 2022 January 14th Ebisawa Hayata (ABEMA), ABE KENSHI (AI Lab), Yasui Shota(AI Lab)
  2. AbemaTV, Inc. All Rights Reserved
 海老澤 颯 えびさわ はやた 2022年度

    新卒入社 株式会社AbemaTV 開発本部 Abema Data Center 2 Profile Computer Visionを活用した機械学習システムの開発 画像サムネイル検証とデータ分析 @ebisawa_hayata
  3. AbemaTV, Inc. All Rights Reserved
 ABEMAとは 6 動画ストリーミングサービス クリック ここで何を見せるかがコンテンツ消費に影響する

    ・どのコンテンツを見せるか?(推薦) ・どのサムネイルを見せるか?(サムネイル)
  4. AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 7 ユーザーに表示された コンテンツの魅力を伝える サムネイル

    ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間
  5. AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 8 ユーザーに表示された コンテンツの魅力を伝える サムネイル

    ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たちけっこんしました 4. チャンスの時間
  6. AbemaTV, Inc. All Rights Reserved
 Netflixの事例 11 悪役のキャラクターがよい 検証結果例 •

    「コンテンツを視聴する という決定に最大の影響を あたえる • ユーザーの82%が 画像にフォーカス ユーザー調査 引用: https://about.netflix.com/en/news/the-power-of-a-picture
  7. AbemaTV, Inc. All Rights Reserved
 具体的に何を検証するのか 12 • バッジ •

    ロゴ • タイトル • キャプション • 素材画像 各要素の有無や、位置や色、テキスト等の影響を検証
  8. AbemaTV, Inc. All Rights Reserved
 評価方法 14 • ベイズ検定 ベータ分布から導出した事後分布

    の平均の差で判定 検定 評価指標 • watchUU サムネイルをクリックして 遷移したエピソードを視聴した UU数 • impUU サムネイルが表示された UU数
  9. AbemaTV, Inc. All Rights Reserved
 検証に用いるコンテンツ 15 番組概要 最高の恋を手にするために集まった男女 10人。

    ただし、メンバーの中には、 女子側に「恋をしないオオカミちゃん」が 1人以上 そして、男子側にも 「恋をしないオオカミくん」が 1人以上 潜んでいる。 オオカミの甘い誘惑や嘘に惑わされることなく 最高の恋を見つけることができるのか?
  10. AbemaTV, Inc. All Rights Reserved
 サムネイル検証まとめ 32 • サムネイルがコンテンツの消費に大きく影響する •

    タイトルの視認性が重要 • 多くの番組でABテストを行い再現性のある結果が得られている
  11. AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 35 選択はKPIの最大化が目的 • バンディットアルゴリズム

    サムネイル選択 検証は知見を得ることが目的 • ABテストを行う タイトルの視認性が重要などの知見を得る サムネイル検証
  12. AbemaTV, Inc. All Rights Reserved
 評価方法 38 評価指標 • clickUU

    サムネイルをクリックして 遷移したエピソードを視聴したUU数 • impUU サムネイルが表示されたUU数 オフライン検証手法 • Replay Method ランダムに配信された結果を用いて アルゴリズムの性能検証する
  13. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 39 引用: L.

    Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない
  14. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 43 引用: L.

    Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない
  15. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 44 引用: L.

    Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない • 評価に使えるか使えないかの選択がランダムに行われる 評価に使えるデータ = 全体からランダムにサンプリングされたデータ バイアスのない評価が可能になる
  16. AbemaTV, Inc. All Rights Reserved
 実験結果 46 手法 CTR ランダム配信

    - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Samplingがランダム配信にも劣っている …
  17. AbemaTV, Inc. All Rights Reserved
 なぜランダム配信以下の性能なのか 47 日付 CTR CTRの順序が入れ替わっている

    初期に良かったサムネイルの性能が途中で悪化している しかし、そのままそのアームが引かれ続けてしまった
  18. AbemaTV, Inc. All Rights Reserved
 入れ替わっている要因は? 49 • ユーザの好みのジャンル •

    ABEMAの使用頻度 • 過去のエピソードを視聴したことがあるか
  19. AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別 50 ジャンル コンテンツには •

    恋愛番組 • バラエティ • アニメなど ジャンルが分けられている。 オオカミちゃんをよく視聴しているのは 恋愛番組のジャンルを好むユーザーなので 恋愛番組を好むユーザーとそれ以外で 違いをみてみる オオカミちゃんとオオカミくんには騙さ・・
  20. AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか 54 視聴 ユーザーがシリーズ内のコンテンツの 過去のエピソードを視聴しているかどうか

    • オオカミシリーズ ◦ オオカミくんには騙されない ▪ 第1話 ▪ 第2話 ◦ オオカミちゃんとオオカミくんには騙されない ▪ 第1話 ▪ 第2話 ▪ 第3話 ▪ 第4話
  21. AbemaTV, Inc. All Rights Reserved
 視聴と未視聴のユーザーで分けてみた 58 手法 CTR ランダム配信

    - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Sampling(watch) +1.53% 大幅に性能が向上した!
  22. AbemaTV, Inc. All Rights Reserved
 まとめ 59 • 検証と選択の役割 ◦

    サムネイル検証とサムネイル選択は別物。混ぜるな危険! • 検証結果 ◦ バンディットアルゴリズムは万能ではない ◦ 一般にオフライン検証せずに 脳死でバンディットアルゴリズムを選択することがあるが ランダム配信以下の性能になってることがある。
  23. AbemaTV, Inc. All Rights Reserved
 今後について: AI Labとの連携 61 AI技術の研究組織

    産学連携を強化し、ビジネス課題の解決だけでなく学術 的貢献を目指し研究開発に取り組んでいる。 AI Lab 引き続き一緒に課題解決に取り組みつつ 論文も投稿していく予定
  24. AbemaTV, Inc. All Rights Reserved
 • Thompson Sampling(watch)の実装 • Contextual

    Banditsのオフライン検証とプロダクト実装 今後について: プロダクトへの実装 62
  25. AbemaTV, Inc. All Rights Reserved
 We are hiring! 65 新卒・中途向け

    カジュアル面談はこちら @ebisawa_hayata 追加の質問などはこちら