Tweet
Tweet

Slide 1

Slide 1 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 1 ABEMAにおける サムネイル検証と OPE活用 2022 January 14th Ebisawa Hayata (ABEMA), ABE KENSHI (AI Lab), Yasui Shota(AI Lab)

Slide 2

Slide 2 text

AbemaTV, Inc. All Rights Reserved
 海老澤 颯 えびさわ はやた 2022年度 新卒入社 株式会社AbemaTV 開発本部 Abema Data Center 2 Profile Computer Visionを活用した機械学習システムの開発 画像サムネイル検証とデータ分析 @ebisawa_hayata

Slide 3

Slide 3 text

AbemaTV, Inc. All Rights Reserved
 3 1. ABEMAにおけるサムネイル 2. サムネイル検証 3. サムネイル選択 4. 今後について INDEX

Slide 4

Slide 4 text

AbemaTV, Inc. All Rights Reserved
 ABEMAにおけるサムネイル 4

Slide 5

Slide 5 text

AbemaTV, Inc. All Rights Reserved
 ABEMAとは 5 動画ストリーミングサービス クリック

Slide 6

Slide 6 text

AbemaTV, Inc. All Rights Reserved
 ABEMAとは 6 動画ストリーミングサービス クリック ここで何を見せるかがコンテンツ消費に影響する ・どのコンテンツを見せるか?（推薦） ・どのサムネイルを見せるか？（サムネイル）

Slide 7

Slide 7 text

AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 7 ユーザーに表示された コンテンツの魅力を伝える サムネイル ユーザーの 好みのコンテンツを表示 推薦 ● 私たち結婚しました ● オオカミちゃん ● 恋愛ドラマな恋がしたい ● チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間

Slide 8

Slide 8 text

AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 8 ユーザーに表示された コンテンツの魅力を伝える サムネイル ユーザーの 好みのコンテンツを表示 推薦 ● 私たち結婚しました ● オオカミちゃん ● 恋愛ドラマな恋がしたい ● チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たちけっこんしました 4. チャンスの時間

Slide 9

Slide 9 text

AbemaTV, Inc. All Rights Reserved
 サムネイルの検証 9

Slide 10

Slide 10 text

AbemaTV, Inc. All Rights Reserved
 サムネイル検証のゴール 10 よりコンテンツの 魅力が伝わる サムネイルを作る

Slide 11

Slide 11 text

AbemaTV, Inc. All Rights Reserved
 Netflixの事例 11 悪役のキャラクターがよい 検証結果例 ● 「コンテンツを視聴する という決定に最大の影響を あたえる ● ユーザーの82%が 画像にフォーカス ユーザー調査 引用: https://about.netflix.com/en/news/the-power-of-a-picture

Slide 12

Slide 12 text

AbemaTV, Inc. All Rights Reserved
 具体的に何を検証するのか 12 ● バッジ ● ロゴ ● タイトル ● キャプション ● 素材画像 各要素の有無や、位置や色、テキスト等の影響を検証

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved
 検証方法: ABテスト 13

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved
 評価方法 14 ● ベイズ検定 ベータ分布から導出した事後分布 の平均の差で判定 検定 評価指標 ● watchUU サムネイルをクリックして 遷移したエピソードを視聴した UU数 ● impUU サムネイルが表示された UU数

Slide 15

Slide 15 text

AbemaTV, Inc. All Rights Reserved
 検証に用いるコンテンツ 15 番組概要 最高の恋を手にするために集まった男女 10人。 ただし、メンバーの中には、 女子側に「恋をしないオオカミちゃん」が 1人以上 そして、男子側にも 「恋をしないオオカミくん」が 1人以上 潜んでいる。 オオカミの甘い誘惑や嘘に惑わされることなく 最高の恋を見つけることができるのか？

Slide 16

Slide 16 text

AbemaTV, Inc. All Rights Reserved
 検証場所 16

Slide 17

Slide 17 text

AbemaTV, Inc. All Rights Reserved
 サムネイルの検証結果 17

Slide 18

Slide 18 text

AbemaTV, Inc. All Rights Reserved
 18 第１回：検証に用いたサムネイル 3つのサムネイルでABテストを実施

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved
 19 第１回：結果 高 低 それぞれのサムネイルで差のある結果が得られた +12.5%

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved
 20 第１回：検証結果から考えられる仮説 ● キャストの興味がユーザごとに異なる? ● キャプションで差が出ている? ● タイトルの大きさ?

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved
 21 第１回：検証結果から考えられる仮説 ● タイトルの視認性かも??

Slide 22

Slide 22 text

AbemaTV, Inc. All Rights Reserved
 22 第２回：検証に用いたサムネイル ● 検証1回目ではバラバラだった素材画像を統一する ● キービジュアル(オレンジ背景のサムネイル)を追加

Slide 23

Slide 23 text

AbemaTV, Inc. All Rights Reserved
 23 第２回：結果 高 低 +19.9%

Slide 24

Slide 24 text

AbemaTV, Inc. All Rights Reserved
 24 第２回：結果 タイトルの視認性が重要な可能性が高い!!

Slide 25

Slide 25 text

AbemaTV, Inc. All Rights Reserved
 25 第３回：検証に用いたサムネイル ● 検証２回目と同じサムネイル構成を採用し、再現性を確かめる

Slide 26

Slide 26 text

AbemaTV, Inc. All Rights Reserved
 26 第３回：結果 高 低 +23.4%

Slide 27

Slide 27 text

AbemaTV, Inc. All Rights Reserved
 27 第３回：結果 タイトルの視認性が重要なことが再確認できた！

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved
 問われる再現性の問題 28 問われる再現性の問題 「オオカミちゃん」 だけなんじゃないの? 他のコンテンツでも 同じこと言えんの??

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved
 29 恋する週末ホームステイ 高 低 +7.9% 問われる再現性の問題

Slide 30

Slide 30 text

AbemaTV, Inc. All Rights Reserved
 30 シャッフルアイランド 高 低 +7.4% 問われる再現性の問題

Slide 31

Slide 31 text

AbemaTV, Inc. All Rights Reserved
 問われる再現性の問題 31 他番組でも同様の結果が得られている ● 私たち結婚しました ● 恋愛ドラマな恋がしたい ● プレミアリーグ ● …

Slide 32

Slide 32 text

AbemaTV, Inc. All Rights Reserved
 サムネイル検証まとめ 32 ● サムネイルがコンテンツの消費に大きく影響する ● タイトルの視認性が重要 ● 多くの番組でABテストを行い再現性のある結果が得られている

Slide 33

Slide 33 text

AbemaTV, Inc. All Rights Reserved
 よいサムネイルを選べていたら? 33 検証でサムネイルに明確に差があることがわかった よいサムネイルを選べていたら よりCTVRが増えていたのでは?

Slide 34

Slide 34 text

AbemaTV, Inc. All Rights Reserved
 サムネイルの選択 34

Slide 35

Slide 35 text

AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 35 選択はKPIの最大化が目的 ● バンディットアルゴリズム サムネイル選択 検証は知見を得ることが目的 ● ABテストを行う タイトルの視認性が重要などの知見を得る サムネイル検証

Slide 36

Slide 36 text

AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 36 サムネイル選択でKPIの最大化ができる!! 検証せずサムネイル選択のアルゴリズムを実装しよう!!

Slide 37

Slide 37 text

AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 37 サムネイル選択でKPIの最大化ができる!! 本当にそうなのか??

Slide 38

Slide 38 text

AbemaTV, Inc. All Rights Reserved
 評価方法 38 評価指標 ● clickUU サムネイルをクリックして 遷移したエピソードを視聴したUU数 ● impUU サムネイルが表示されたUU数 オフライン検証手法 ● Replay Method ランダムに配信された結果を用いて アルゴリズムの性能検証する

Slide 39

Slide 39 text

AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 39 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” ● ランダムに配信されたログを用いる ○ サムネイル検証でABテストで配信されたログを用いる ● ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ○ 一致しなければ使わない

Slide 40

Slide 40 text

AbemaTV, Inc. All Rights Reserved
 Replay methodとは 40 時間 ランダム アルゴリズム

Slide 41

Slide 41 text

AbemaTV, Inc. All Rights Reserved
 Replay methodとは 41 時間 ランダム アルゴリズム

Slide 42

Slide 42 text

AbemaTV, Inc. All Rights Reserved
 Replay methodとは 42 時間 ランダム アルゴリズム

Slide 43

Slide 43 text

AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 43 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” ● ランダムに配信されたログを用いる ○ サムネイル検証でABテストで配信されたログを用いる ● ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ○ 一致しなければ使わない

Slide 44

Slide 44 text

AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 44 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” ● ランダムに配信されたログを用いる ○ サムネイル検証でABテストで配信されたログを用いる ● ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ○ 一致しなければ使わない ● 評価に使えるか使えないかの選択がランダムに行われる 評価に使えるデータ = 全体からランダムにサンプリングされたデータ バイアスのない評価が可能になる

Slide 45

Slide 45 text

AbemaTV, Inc. All Rights Reserved
 45 OPE検証に用いたサムネイル サムネイル検証1回目の オオカミちゃん 第4話のABテストの結果を使用

Slide 46

Slide 46 text

AbemaTV, Inc. All Rights Reserved
 実験結果 46 手法 CTR ランダム配信 - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Samplingがランダム配信にも劣っている …

Slide 47

Slide 47 text

AbemaTV, Inc. All Rights Reserved
 なぜランダム配信以下の性能なのか 47 日付 CTR CTRの順序が入れ替わっている 初期に良かったサムネイルの性能が途中で悪化している しかし、そのままそのアームが引かれ続けてしまった

Slide 48

Slide 48 text

AbemaTV, Inc. All Rights Reserved
 なぜランダム配信以下の性能なのか 48 日付 CTR CTRの順序が入れ替わっている 入れ替わった部分で何かが変化したのでは?

Slide 49

Slide 49 text

AbemaTV, Inc. All Rights Reserved
 入れ替わっている要因は? 49 ● ユーザの好みのジャンル ● ABEMAの使用頻度 ● 過去のエピソードを視聴したことがあるか

Slide 50

Slide 50 text

AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別 50 ジャンル コンテンツには ● 恋愛番組 ● バラエティ ● アニメなど ジャンルが分けられている。 オオカミちゃんをよく視聴しているのは 恋愛番組のジャンルを好むユーザーなので 恋愛番組を好むユーザーとそれ以外で 違いをみてみる オオカミちゃんとオオカミくんには騙さ・・

Slide 51

Slide 51 text

AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別：結果 51 サムネイルの順に差なし CTR

Slide 52

Slide 52 text

AbemaTV, Inc. All Rights Reserved
 ABEMAの使用頻度別 52 使用頻度 直近で、ユーザーがどのくらいの頻度で ABEMAにログインしているか

Slide 53

Slide 53 text

AbemaTV, Inc. All Rights Reserved
 ABEMAの使用頻度別：結果 53 サムネイルの順に差なし CTR

Slide 54

Slide 54 text

AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか 54 視聴 ユーザーがシリーズ内のコンテンツの 過去のエピソードを視聴しているかどうか ● オオカミシリーズ ○ オオカミくんには騙されない ■ 第1話 ■ 第2話 ○ オオカミちゃんとオオカミくんには騙されない ■ 第1話 ■ 第2話 ■ 第3話 ■ 第4話

Slide 55

Slide 55 text

AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか：結果 55 視聴と未視聴でCTRの順に差が出た CTR

Slide 56

Slide 56 text

AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか：結果 56 視聴と未視聴でCTRの順に差が出た CTR

Slide 57

Slide 57 text

AbemaTV, Inc. All Rights Reserved
 視聴ユーザ群と未視聴ユーザ群で それぞれ独立した thompson samplingを走らせれば 性能が向上するのでは? 過去のエピソードを視聴したことがあるか：考察 57 仮説

Slide 58

Slide 58 text

AbemaTV, Inc. All Rights Reserved
 視聴と未視聴のユーザーで分けてみた 58 手法 CTR ランダム配信 - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Sampling(watch) +1.53% 大幅に性能が向上した!

Slide 59

Slide 59 text

AbemaTV, Inc. All Rights Reserved
 まとめ 59 ● 検証と選択の役割 ○ サムネイル検証とサムネイル選択は別物。混ぜるな危険! ● 検証結果 ○ バンディットアルゴリズムは万能ではない ○ 一般にオフライン検証せずに 脳死でバンディットアルゴリズムを選択することがあるが ランダム配信以下の性能になってることがある。

Slide 60

Slide 60 text

AbemaTV, Inc. All Rights Reserved
 今後について 60

Slide 61

Slide 61 text

AbemaTV, Inc. All Rights Reserved
 今後について: AI Labとの連携 61 AI技術の研究組織 産学連携を強化し、ビジネス課題の解決だけでなく学術 的貢献を目指し研究開発に取り組んでいる。 AI Lab 引き続き一緒に課題解決に取り組みつつ 論文も投稿していく予定

Slide 62

Slide 62 text

AbemaTV, Inc. All Rights Reserved
 ● Thompson Sampling（watch）の実装 ● Contextual Banditsのオフライン検証とプロダクト実装 今後について: プロダクトへの実装 62

Slide 63

Slide 63 text

AbemaTV, Inc. All Rights Reserved
 今後について: 検証ジャンルの拡大 63 恋愛 バラエティ ドラマ スポーツ ニュース 韓流 アニメ 映画

Slide 64

Slide 64 text

AbemaTV, Inc. All Rights Reserved
 検証結果を考慮しサムネイルに最適な素材画像を自動で抽出し、提案する 今後について: サムネイル制作の半自動化 64

Slide 65

Slide 65 text

AbemaTV, Inc. All Rights Reserved
 We are hiring! 65 新卒・中途向け カジュアル面談はこちら @ebisawa_hayata 追加の質問などはこちら