ABEMAにおけるサムネイル検証とOPE活用

CFML勉強会で発表した資料です(https://cfml.connpass.com/event/264017/)

概要: ABEMAにおいてサムネイルは、番組へユーザーを誘導する重要な役割を担っており、より良いサムネイルを作成するための検証や、ユーザーにとって相性の良いサムネイルを選択する最適化は非常に重要なデータサイエンスのタスクとなっています。この発表では、そういった検証や最適化における、A/BテストやOPEの活用の事例についてお話しします。

Transcript

1. AbemaTV, Inc. All Rights Reserved

   AbemaTV, Inc. All Rights Reserved
 1
   ABEMAにおける
   サムネイル検証と
   OPE活用
   2022 January 14th
   Ebisawa Hayata (ABEMA), ABE KENSHI (AI Lab), Yasui Shota(AI Lab)
   

   View Slide

2. AbemaTV, Inc. All Rights Reserved

   海老澤 颯 えびさわ はやた
   2022年度 新卒入社
   株式会社AbemaTV 開発本部 Abema Data Center
   2
   Profile
   Computer Visionを活用した機械学習システムの開発
   画像サムネイル検証とデータ分析
   @ebisawa_hayata
   

   View Slide

3. AbemaTV, Inc. All Rights Reserved
 3
   1. ABEMAにおけるサムネイル
   2. サムネイル検証
   3. サムネイル選択
   4. 今後について
   INDEX
   

   View Slide

4. AbemaTV, Inc. All Rights Reserved

   ABEMAにおけるサムネイル
   4
   

   View Slide

5. AbemaTV, Inc. All Rights Reserved

   ABEMAとは
   5
   動画ストリーミングサービス
   クリック
   

   View Slide

6. AbemaTV, Inc. All Rights Reserved

   ABEMAとは
   6
   動画ストリーミングサービス
   クリック
   ここで何を見せるかがコンテンツ消費に影響する
   ・どのコンテンツを見せるか?（推薦）
   ・どのサムネイルを見せるか？（サムネイル）
   

   View Slide

7. AbemaTV, Inc. All Rights Reserved

   推薦とサムネイルの役割の違い
   7
   ユーザーに表示された
   コンテンツの魅力を伝える
   サムネイル
   ユーザーの
   好みのコンテンツを表示
   推薦
   ● 私たち結婚しました
   ● オオカミちゃん
   ● 恋愛ドラマな恋がしたい
   ● チャンスの時間
   1. オオカミちゃん
   2. 恋愛ドラマな恋がしたい
   3. 私たち結婚しました
   4. チャンスの時間
   

   View Slide

8. AbemaTV, Inc. All Rights Reserved

   推薦とサムネイルの役割の違い
   8
   ユーザーに表示された
   コンテンツの魅力を伝える
   サムネイル
   ユーザーの
   好みのコンテンツを表示
   推薦
   ● 私たち結婚しました
   ● オオカミちゃん
   ● 恋愛ドラマな恋がしたい
   ● チャンスの時間
   1. オオカミちゃん
   2. 恋愛ドラマな恋がしたい
   3. 私たちけっこんしました
   4. チャンスの時間
   

   View Slide

9. AbemaTV, Inc. All Rights Reserved

   サムネイルの検証
   9
   

   View Slide

10. AbemaTV, Inc. All Rights Reserved

    サムネイル検証のゴール
    10
    よりコンテンツの
    魅力が伝わる
    サムネイルを作る
    

    View Slide

11. AbemaTV, Inc. All Rights Reserved

    Netflixの事例
    11
    悪役のキャラクターがよい
    検証結果例
    ● 「コンテンツを視聴する
    という決定に最大の影響を
    あたえる
    ● ユーザーの82%が
    画像にフォーカス
    ユーザー調査
    引用: https://about.netflix.com/en/news/the-power-of-a-picture
    

    View Slide

12. AbemaTV, Inc. All Rights Reserved

    具体的に何を検証するのか
    12
    ● バッジ
    ● ロゴ
    ● タイトル
    ● キャプション
    ● 素材画像
    各要素の有無や、位置や色、テキスト等の影響を検証
    

    View Slide

13. AbemaTV, Inc. All Rights Reserved

    検証方法: ABテスト
    13
    

    View Slide

14. AbemaTV, Inc. All Rights Reserved

    評価方法
    14
    ● ベイズ検定
    ベータ分布から導出した事後分布
    の平均の差で判定
    検定
    評価指標
    ● watchUU
    サムネイルをクリックして
    遷移したエピソードを視聴した UU数
    ● impUU
    サムネイルが表示された UU数
    

    View Slide

15. AbemaTV, Inc. All Rights Reserved

    検証に用いるコンテンツ
    15
    番組概要
    最高の恋を手にするために集まった男女 10人。
    ただし、メンバーの中には、
    女子側に「恋をしないオオカミちゃん」が 1人以上
    そして、男子側にも
    「恋をしないオオカミくん」が 1人以上
    潜んでいる。
    オオカミの甘い誘惑や嘘に惑わされることなく
    最高の恋を見つけることができるのか？
    

    View Slide

16. AbemaTV, Inc. All Rights Reserved

    検証場所
    16
    

    View Slide

17. AbemaTV, Inc. All Rights Reserved

    サムネイルの検証結果
    17
    

    View Slide

18. AbemaTV, Inc. All Rights Reserved
 18
    第１回：検証に用いたサムネイル
    3つのサムネイルでABテストを実施
    

    View Slide

19. AbemaTV, Inc. All Rights Reserved
 19
    第１回：結果
    高
    低
    それぞれのサムネイルで差のある結果が得られた
    +12.5%
    

    View Slide

20. AbemaTV, Inc. All Rights Reserved
 20
    第１回：検証結果から考えられる仮説
    ● キャストの興味がユーザごとに異なる?
    ● キャプションで差が出ている?
    ● タイトルの大きさ?
    

    View Slide

21. AbemaTV, Inc. All Rights Reserved
 21
    第１回：検証結果から考えられる仮説
    ● タイトルの視認性かも??
    

    View Slide

22. AbemaTV, Inc. All Rights Reserved
 22
    第２回：検証に用いたサムネイル
    ● 検証1回目ではバラバラだった素材画像を統一する
    ● キービジュアル(オレンジ背景のサムネイル)を追加
    

    View Slide

23. AbemaTV, Inc. All Rights Reserved
 23
    第２回：結果
    高
    低
    +19.9%
    

    View Slide

24. AbemaTV, Inc. All Rights Reserved
 24
    第２回：結果
    タイトルの視認性が重要な可能性が高い!!
    

    View Slide

25. AbemaTV, Inc. All Rights Reserved
 25
    第３回：検証に用いたサムネイル
    ● 検証２回目と同じサムネイル構成を採用し、再現性を確かめる
    

    View Slide

26. AbemaTV, Inc. All Rights Reserved
 26
    第３回：結果
    高
    低
    +23.4%
    

    View Slide

27. AbemaTV, Inc. All Rights Reserved
 27
    第３回：結果
    タイトルの視認性が重要なことが再確認できた！
    

    View Slide

28. AbemaTV, Inc. All Rights Reserved

    問われる再現性の問題
    28
    問われる再現性の問題
    「オオカミちゃん」
    だけなんじゃないの?
    他のコンテンツでも
    同じこと言えんの??
    

    View Slide

29. AbemaTV, Inc. All Rights Reserved
 29
    恋する週末ホームステイ
    高
    低
    +7.9%
    問われる再現性の問題
    

    View Slide

30. AbemaTV, Inc. All Rights Reserved
 30
    シャッフルアイランド
    高
    低
    +7.4%
    問われる再現性の問題
    

    View Slide

31. AbemaTV, Inc. All Rights Reserved

    問われる再現性の問題
    31
    他番組でも同様の結果が得られている
    ● 私たち結婚しました
    ● 恋愛ドラマな恋がしたい
    ● プレミアリーグ
    ● …
    

    View Slide

32. AbemaTV, Inc. All Rights Reserved

    サムネイル検証まとめ
    32
    ● サムネイルがコンテンツの消費に大きく影響する
    ● タイトルの視認性が重要
    ● 多くの番組でABテストを行い再現性のある結果が得られている
    

    View Slide

33. AbemaTV, Inc. All Rights Reserved

    よいサムネイルを選べていたら?
    33
    検証でサムネイルに明確に差があることがわかった
    よいサムネイルを選べていたら
    よりCTVRが増えていたのでは?
    

    View Slide

34. AbemaTV, Inc. All Rights Reserved

    サムネイルの選択
    34
    

    View Slide

35. AbemaTV, Inc. All Rights Reserved

    サムネイル検証とサムネイル選択の違い
    35
    選択はKPIの最大化が目的
    ● バンディットアルゴリズム
    サムネイル選択
    検証は知見を得ることが目的
    ● ABテストを行う
    タイトルの視認性が重要などの知見を得る
    サムネイル検証
    

    View Slide

36. AbemaTV, Inc. All Rights Reserved

    サムネイル検証とサムネイル選択の違い
    36
    サムネイル選択でKPIの最大化ができる!!
    検証せずサムネイル選択のアルゴリズムを実装しよう!!
    

    View Slide

37. AbemaTV, Inc. All Rights Reserved

    サムネイル検証とサムネイル選択の違い
    37
    サムネイル選択でKPIの最大化ができる!!
    本当にそうなのか??
    

    View Slide

38. AbemaTV, Inc. All Rights Reserved

    評価方法
    38
    評価指標
    ● clickUU
    サムネイルをクリックして
    遷移したエピソードを視聴したUU数
    ● impUU
    サムネイルが表示されたUU数
    オフライン検証手法
    ● Replay Method
    ランダムに配信された結果を用いて
    アルゴリズムの性能検証する
    

    View Slide

39. AbemaTV, Inc. All Rights Reserved

    Replay Methodとは
    39
    引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,”
    ● ランダムに配信されたログを用いる
    ○ サムネイル検証でABテストで配信されたログを用いる
    ● ランダムの選択とアルゴリズムの選択が一致すれば
    報酬の評価に使う
    ○ 一致しなければ使わない
    

    View Slide

40. AbemaTV, Inc. All Rights Reserved

    Replay methodとは
    40
    時間
    ランダム
    アルゴリズム
    

    View Slide

41. AbemaTV, Inc. All Rights Reserved

    Replay methodとは
    41
    時間
    ランダム
    アルゴリズム
    

    View Slide

42. AbemaTV, Inc. All Rights Reserved

    Replay methodとは
    42
    時間
    ランダム
    アルゴリズム
    

    View Slide

43. AbemaTV, Inc. All Rights Reserved

    Replay Methodとは
    43
    引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,”
    ● ランダムに配信されたログを用いる
    ○ サムネイル検証でABテストで配信されたログを用いる
    ● ランダムの選択とアルゴリズムの選択が一致すれば
    報酬の評価に使う
    ○ 一致しなければ使わない
    

    View Slide

44. AbemaTV, Inc. All Rights Reserved

    Replay Methodとは
    44
    引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,”
    ● ランダムに配信されたログを用いる
    ○ サムネイル検証でABテストで配信されたログを用いる
    ● ランダムの選択とアルゴリズムの選択が一致すれば
    報酬の評価に使う
    ○ 一致しなければ使わない
    ● 評価に使えるか使えないかの選択がランダムに行われる
    評価に使えるデータ = 全体からランダムにサンプリングされたデータ
    バイアスのない評価が可能になる
    

    View Slide

45. AbemaTV, Inc. All Rights Reserved
 45
    OPE検証に用いたサムネイル
    サムネイル検証1回目の
    オオカミちゃん 第4話のABテストの結果を使用
    

    View Slide

46. AbemaTV, Inc. All Rights Reserved

    実験結果
    46
    手法 CTR
    ランダム配信 -
    ε-greedy +0.57%
    Thompson Sampling -0.96%
    Thompson Samplingがランダム配信にも劣っている …
    

    View Slide

47. AbemaTV, Inc. All Rights Reserved

    なぜランダム配信以下の性能なのか
    47
    日付
    CTR
    CTRの順序が入れ替わっている
    初期に良かったサムネイルの性能が途中で悪化している
    しかし、そのままそのアームが引かれ続けてしまった
    

    View Slide

48. AbemaTV, Inc. All Rights Reserved

    なぜランダム配信以下の性能なのか
    48
    日付
    CTR
    CTRの順序が入れ替わっている
    入れ替わった部分で何かが変化したのでは?
    

    View Slide

49. AbemaTV, Inc. All Rights Reserved

    入れ替わっている要因は?
    49
    ● ユーザの好みのジャンル
    ● ABEMAの使用頻度
    ● 過去のエピソードを視聴したことがあるか
    

    View Slide

50. AbemaTV, Inc. All Rights Reserved

    ユーザーの好みのジャンル別
    50
    ジャンル
    コンテンツには
    ● 恋愛番組
    ● バラエティ
    ● アニメなど
    ジャンルが分けられている。
    オオカミちゃんをよく視聴しているのは
    恋愛番組のジャンルを好むユーザーなので
    恋愛番組を好むユーザーとそれ以外で
    違いをみてみる
    オオカミちゃんとオオカミくんには騙さ・・
    

    View Slide

51. AbemaTV, Inc. All Rights Reserved

    ユーザーの好みのジャンル別：結果
    51
    サムネイルの順に差なし
    CTR
    

    View Slide

52. AbemaTV, Inc. All Rights Reserved

    ABEMAの使用頻度別
    52
    使用頻度
    直近で、ユーザーがどのくらいの頻度で
    ABEMAにログインしているか
    

    View Slide

53. AbemaTV, Inc. All Rights Reserved

    ABEMAの使用頻度別：結果
    53
    サムネイルの順に差なし
    CTR
    

    View Slide

54. AbemaTV, Inc. All Rights Reserved

    過去のエピソードを視聴したことがあるか
    54
    視聴
    ユーザーがシリーズ内のコンテンツの
    過去のエピソードを視聴しているかどうか
    ● オオカミシリーズ
    ○ オオカミくんには騙されない
    ■ 第1話
    ■ 第2話
    ○ オオカミちゃんとオオカミくんには騙されない
    ■ 第1話
    ■ 第2話
    ■ 第3話
    ■ 第4話
    

    View Slide

55. AbemaTV, Inc. All Rights Reserved

    過去のエピソードを視聴したことがあるか：結果
    55
    視聴と未視聴でCTRの順に差が出た
    CTR
    

    View Slide

56. AbemaTV, Inc. All Rights Reserved

    過去のエピソードを視聴したことがあるか：結果
    56
    視聴と未視聴でCTRの順に差が出た
    CTR
    

    View Slide

57. AbemaTV, Inc. All Rights Reserved

    視聴ユーザ群と未視聴ユーザ群で
    それぞれ独立した
    thompson samplingを走らせれば
    性能が向上するのでは?
    過去のエピソードを視聴したことがあるか：考察
    57
    仮説
    

    View Slide

58. AbemaTV, Inc. All Rights Reserved

    視聴と未視聴のユーザーで分けてみた
    58
    手法 CTR
    ランダム配信 -
    ε-greedy +0.57%
    Thompson Sampling -0.96%
    Thompson Sampling(watch) +1.53%
    大幅に性能が向上した!
    

    View Slide

59. AbemaTV, Inc. All Rights Reserved

    まとめ
    59
    ● 検証と選択の役割
    ○ サムネイル検証とサムネイル選択は別物。混ぜるな危険!
    ● 検証結果
    ○ バンディットアルゴリズムは万能ではない
    ○ 一般にオフライン検証せずに
    脳死でバンディットアルゴリズムを選択することがあるが
    ランダム配信以下の性能になってることがある。
    

    View Slide

60. AbemaTV, Inc. All Rights Reserved

    今後について
    60
    

    View Slide

61. AbemaTV, Inc. All Rights Reserved

    今後について: AI Labとの連携
    61
    AI技術の研究組織
    産学連携を強化し、ビジネス課題の解決だけでなく学術
    的貢献を目指し研究開発に取り組んでいる。
    AI Lab
    引き続き一緒に課題解決に取り組みつつ
    論文も投稿していく予定
    

    View Slide

62. AbemaTV, Inc. All Rights Reserved

    ● Thompson Sampling（watch）の実装
    ● Contextual Banditsのオフライン検証とプロダクト実装
    今後について: プロダクトへの実装
    62
    

    View Slide

63. AbemaTV, Inc. All Rights Reserved

    今後について: 検証ジャンルの拡大
    63
    恋愛
    バラエティ
    ドラマ
    スポーツ
    ニュース
    韓流
    アニメ
    映画
    

    View Slide

64. AbemaTV, Inc. All Rights Reserved

    検証結果を考慮しサムネイルに最適な素材画像を自動で抽出し、提案する
    今後について: サムネイル制作の半自動化
    64
    

    View Slide

65. AbemaTV, Inc. All Rights Reserved

    We are hiring!
    65
    新卒・中途向け
    カジュアル面談はこちら
    @ebisawa_hayata
    追加の質問などはこちら
    

    View Slide