ABEMAにおける効果検証

Transcript

1. AbemaTV, Inc. All Rights Reserved

   ABEMAにおける効果検証
   2023.09.04
   1
   施策分析・効果検証チーム
   Shota Yasui
   

   View Slide

2. AbemaTV, Inc. All Rights Reserved

   2
   名前：安井翔太

   職業：主席データサイエンティスト
   

   Economic Research Scientist

   Data Science Center 副所長

   　 ABEMA 効果検証 Lead Analyst
   

   経歴：

   2011年 立教大学 経済学部卒業
   

   2013年 Norwegian School of Economics MSc in Economics
   

   2013年 Cyberagent 入社（総合職, 微妙な分析の量産）
   

   2015年 アドテク部門へ異動（専門職, MLの応用）
   

   2017年 AILabへ異動（研究職, ML + CI回りの応用）
   

   2023年 ABEMAで効果検証

   

   @housecat442

   

   View Slide

3. AbemaTV, Inc. All Rights Reserved
 3
   Home画面の広告はユーザー体験に
   悪影響があるのか？
   今日の活用事例

   

   View Slide

4. AbemaTV, Inc. All Rights Reserved

   4
   放送中の

   他のチャンネル

   スポンサードアド(SAD)
   
 イチオシ
 放送中のCh

   Home画面の挙動（広告入稿時）
   ● ファーストビューは広告
   ● スワイプすると一押しのコンテンツ紹介
   ● さらにスワイプすると放送中のチャンネルが見れる
   ● スワイプせずに下にスクロールも可能
   AD
   (SAD)
   Promotion
   (イチオシ)
   Recommend
   Recommend
   Ch
   

   View Slide

5. AbemaTV, Inc. All Rights Reserved

   5
   放送中の

   他のチャンネル

   イチオシ
 放送中のCh

   Home画面の挙動（広告未入稿時）
   ● ファーストビューが一押しのコンテンツ紹介
   ● さらにスワイプすると放送中のチャンネルが見れる
   ● スワイプせずに下にスクロールも可能
   Promotion
   (イチオシ)
   Recommend
   Recommend
   Ch
   

   View Slide

6. AbemaTV, Inc. All Rights Reserved
 6
   A/Bテストしてみた。

   

   View Slide

7. AbemaTV, Inc. All Rights Reserved

   4週間のA/Bテストを実施
   ● 広告入稿時のみControl/Treatment間に差が出る
   ● SADによってイチオシがfirst viewから消える
   ● 画面内のコンテンツが減るのでスクロール
   /スワイプを増やす可能性がある
   →画面に表示されるコンテンツの選択肢が変化することで視聴に影響が生まれる
   AD
   (SAD)
   Promotion
   (イチオシ)
   Recommend
   Recommend
   Promotion
   (イチオシ)
   Recommend
   Recommend
   Control
   Treatment
   

   View Slide

8. AbemaTV, Inc. All Rights Reserved

   忘れていただきたい先入観
   8
   繰り返される広告・・・ 貯まる広告疲れ・・・
   いわゆるAd Fatigueと呼ばれる仮説
   ● 広告それ自体に悪影響があり、それによってユーザーの体験が損なわれるというもの。
   ● この仮説と今回の実験の実態は大きくかけ離れているので忘れて欲しい。
   ● 実際の効果は「広告それ自体の影響」と「広告が奪った場所で表示してたものの影響」の和
   その結果としての離脱
   

   View Slide

9. AbemaTV, Inc. All Rights Reserved
 9
   ①施策は機能しているか？
   

   View Slide

10. AbemaTV, Inc. All Rights Reserved

    施策の挙動：View+Clickの変化
    10
    実験期間
    直接的な効果

    ● イチオシはpv,clickともに低下
    

    ● SADは両方増加

    

    間接的な効果

    ● チャンネル選択バナーのclickが増加
    

    ○ channel_list

    ● 下部のモジュールで両方増加
    

    ○ suggestFeature1

    広告有りグループと無しグループでの差
    広告有りで
    SADのviewが増加
    広告有りで
    イチオシのviewが減少
    広告有りで
    イチオシのclickが減少
    SADは日によって表示の有無がある。
    →　期間全体で平均をとるとその影響は薄くなる
    0
    減
    少
    増
    加
    0
    減
    少
    増
    加
    

    View Slide

11. AbemaTV, Inc. All Rights Reserved

    施策挙動のまとめ
    11
    挙動自体は想定通り（SADのview, click増＋イチオシは減）

    SADによってユーザーの視聴傾向は変化

    

    View Slide

12. AbemaTV, Inc. All Rights Reserved
 12
    ② 視聴への効果
    

    View Slide

13. AbemaTV, Inc. All Rights Reserved

    ATEの推定結果
    13
    ● ユーザー単位のデータで分析すると・・・
    ○ 一定時間以上の視聴UU数 → -A%
    ○ そのほかの視聴系の指標も -B%
    ● しかし全て統計的に有意な差ではなかった ※ 差が0という意味ではない
    ● 広告が入稿されない日があるので、効果0のユーザーが大量にいる。
    → 想定通りの結果と言える
    

    View Slide

14. AbemaTV, Inc. All Rights Reserved

    DIDっぽい分析：一定時間以上の視聴回数
    14
    広告有りグループと無しグループでの差
    ● 実験前は差が0付近 

    ● 実験中は差が負の方向に傾く 

    ○ SADがない日は差が0付近に戻る
    

    ○ 実験の最終日とその前日を除いた7日間は
    イチオシのclick差がグループ間で無い
    

    ● 実験後は差が0付近に戻る 

    実験期間
    0
    減
    少
    増
    加
    

    View Slide

15. AbemaTV, Inc. All Rights Reserved

    DIDっぽい分析：イチオシで紹介されたコンテンツの視聴時間
    15
    広告有りグループと無しグループでの差
    ● 実験前は差が0付近 

    ● 実験中は差が負の方向に振れる 

    ○ SADがない日は差が0付近に戻る
    

    ○ 実験の最終日とその前日を除いた7日間
    はイチオシのclick差が無い
    

    ● 実験後は差が0付近に戻る 

    → イチオシでの紹介が消えたことでそれらのコンテンツはもろに影響を受けている 

    実験期間
    0
    減
    少
    増
    加
    

    View Slide

16. AbemaTV, Inc. All Rights Reserved

    効果のまとめ
    16
    ● SADによって視聴は減少傾向

    ● 全体平均での減少はあまりなかった（平均的な効果は小さい）

    ● イチオシのコンテンツの視聴がSADによって減少している

    → イチオシで紹介されるコンテンツの視聴減に原因がありそう

    

    View Slide

17. AbemaTV, Inc. All Rights Reserved
 17
    ③コンテンツ別評価
    

    View Slide

18. AbemaTV, Inc. All Rights Reserved

    モチベーション
    18
    ● イチオシのコンテンツの視聴が減っていることがわかった

    ● コンテンツごとで影響が違うことが想定される

    ● 種類が多いのでいくつかの例だけ抜粋

    

    View Slide

19. AbemaTV, Inc. All Rights Reserved

    体験への影響：シリーズ別視聴時間（例）
    19
    実験期間
    コンテンツ①での視聴時間の差
    0
    グラフの見方

    ● 横軸：日付

    ● 縦軸：合計視聴時間のグループ差 

    ○ - yなら広告有りグループのこのシリーズの合計視聴時間
    がy時間少ない

    ● 点のサイズ：イチオシでのview数 

    ○ 大きければイチオシでのviewが多い 

    ● 点の色：イチオシのview数のグループ差 

    ○ 黒ければ差が大きくイチオシが阻害されている状態 

    新コンテンツが追加
    減
    少
    増
    加
    実験前
    イチオシPVが減少
    

    View Slide

20. AbemaTV, Inc. All Rights Reserved

    体験への影響：シリーズ別視聴時間（例）
    20
    #2でも若干影響がある
    気もするが・・・
    実験期間
    0
    コンテンツ②での視聴時間の差
    新コンテンツが追加
    ＋
    イチオシPV減少
    ● 実験の途中から始まったシリーズ 

    ● 初日にイチオシでのviewの差がついて視聴が低下 

    ● その後戻して差は0付近 

    実験前
    減
    少
    増
    加
    

    View Slide

21. AbemaTV, Inc. All Rights Reserved

    結果の概要
    21
    ● イチオシで紹介されるコンテンツは100以上

    ● 効果は大まかに分けると

    ○ 広告でイチオシのPVが減少して視聴の低下が起きている

    ○ 広告でイチオシのPVが減少しても変化なし

    ● 紹介されないコンテンツでは視聴がむしろ増加するものがある

    ○ スクロールすると表示されるコンテンツ

    → 広告自体よりも、イチオシが見えなくなったことによる影響が大きい。
    

    

    View Slide

22. AbemaTV, Inc. All Rights Reserved

    もう少しまとめると・・・
    22
    ● 広告を出す悪影響は「元々何があったか？」に依存する

    ● 元々あったイチオシは紹介コンテンツで効果が異なる

    ● イチオシの影響をより深く理解することが重要

    → もう少し詳細な効果を調べる

    

    View Slide

23. AbemaTV, Inc. All Rights Reserved
 23
    ④分布への効果を考える
    

    View Slide

24. AbemaTV, Inc. All Rights Reserved

    視聴時間の平均に対する効果
    24
    あるコンテンツでの

    イチオシが見えないことの

    平均的な視聴時間への効果は大体-0.006分/user

    

    View Slide

25. AbemaTV, Inc. All Rights Reserved

    平均的な効果の概要
    25
    効果と
    考えられる場所
    0
    あるコンテンツの
    視聴時間
    Treatment群
    の平均
    Control群
    の平均
    ここが0.006分

    ※ 厳密にはもっと狭い

    平均がどの程度違うか？という効果の考え方
    

    View Slide

26. AbemaTV, Inc. All Rights Reserved

    平均的な効果の概要
    26
    0
    あるコンテンツの
    視聴時間
    実際に知りたいのは「どの程度視聴するユーザーが増減するか？」
    という分布の変化なのではないか？
    

    View Slide

27. AbemaTV, Inc. All Rights Reserved

    DTE: Distributional Treatment Effect
    27
    0 Y
    y
    control群における Y < yの累積密度
    0 Y
    y
    treatment群における Y < yの累積密度
    

    View Slide

28. AbemaTV, Inc. All Rights Reserved

    DTE: Distributional Treatment Effect
    28
    対照群における
    Y < yの累積密度
    Y < y であれば1になるアウトカムに対して
    回帰を行えばそれぞれ推定可能
    介入群における
    Y < yの累積密度
    

    View Slide

29. AbemaTV, Inc. All Rights Reserved

    DTE: Distributional Treatment Effect
    29
    0 0
    Y Y
    y1 y2 y3 y4 y5 y1 y2 y3 y4 y5
    複数のyでDTEをみることで変化を理解する
    y1,y2,...,y5 でそれぞれDTEの推定が必要
    → より細かく見ようと思うと推定する回数は膨大に・・・
    

    View Slide

30. AbemaTV, Inc. All Rights Reserved

    PTE: Probability Treatment Effect
    30
    h
    y
    h
    y
    ある区間 y ~ y+h における比較
    （例：視聴時間が 5-10分のユーザはどれだけ増えたか？）
    → 推定自体はDTEの差を取ればOK
    

    View Slide

31. AbemaTV, Inc. All Rights Reserved

    DTE + Regression Adjustmentの研究やってます @AILab
    31
    ● DTEを推定する箇所を増やすと推定時間はかなり長い

    ○ コンテンツの数 x コンテンツの長さ（分） = いっぱい

    ○ 標準誤差を得るのにもbootstrapが必要

    ● データのサブサンプルが必須

    ○ データが減るので標準誤差が↑

    ○ 分散の削減が重要に・・・

    

    View Slide

32. AbemaTV, Inc. All Rights Reserved

    推定結果①：40分くらいの番組
    32
    ● （上：DTE）0~y分の視聴をする人の増減を比較 

    ● （下：PTE）y ~ y+1分の視聴をする人の増減を比較 

    ○ 0分はtreatmentの方が少ない（未視聴が減） 

    ○ 1-50分にかけてまばらに増えている 

    ○ 1-5分くらいが多い

    → 施策で未視聴は減ってるが長くはコンテンツを見てない 

    

    View Slide

33. AbemaTV, Inc. All Rights Reserved

    推定結果②: 5分の番組
    33
    ● （上：DTE）0~y分の視聴をする人の増減を比較 

    ● （下：PTE）y ~ y+1分の視聴をする人の増減を比較 

    ○ 0分はtreatmentの方が少ない（未視聴が減） 

    ○ 5分あたりが増えている（コンテンツが5分） 

    → 未視聴だったユーザーがコンテンツを見終わっている 

    

    View Slide

34. AbemaTV, Inc. All Rights Reserved
 34
    まとめ
    

    View Slide

35. AbemaTV, Inc. All Rights Reserved

    結局何が起きていたのか？
    35
    ● SADはイチオシのviewを増減させていた

    ● その結果イチオシで紹介されていたコンテンツの視聴が減少

    ● 一方でイチオシで紹介する効果は限定的に見える

    ○ 短い時間の視聴に止まるケースが多い

    ○ 短いコンテンツは見終えている

    ○ 相性が存在しそう

    

    View Slide

36. AbemaTV, Inc. All Rights Reserved
 36
    We are hiring!
    

    View Slide