ABEMAにおける効果検証

Transcript

1. AbemaTV, Inc. All Rights Reserved
 ABEMAにおける効果検証 2023.09.04 1 施策分析・効果検証チーム Shota Yasui
2. AbemaTV, Inc. All Rights Reserved
 2 名前：安井翔太
 職業：主席データサイエンティスト 
 Economic Research Scientist
 Data Science Center 副所長
 　 ABEMA 効果検証 Lead Analyst 
 経歴：
 2011年 立教大学 経済学部卒業 
 2013年 Norwegian School of Economics MSc in Economics 
 2013年 Cyberagent 入社（総合職, 微妙な分析の量産） 
 2015年 アドテク部門へ異動（専門職, MLの応用） 
 2017年 AILabへ異動（研究職, ML + CI回りの応用） 
 2023年 ABEMAで効果検証
 
 @housecat442

3. AbemaTV, Inc. All Rights Reserved
 3 Home画面の広告はユーザー体験に 悪影響があるのか？ 今日の活用事例

4. AbemaTV, Inc. All Rights Reserved
 4 放送中の
 他のチャンネル
 スポンサードアド(SAD) 
 イチオシ
 放送中のCh
 Home画面の挙動（広告入稿時） • ファーストビューは広告 • スワイプすると一押しのコンテンツ紹介 • さらにスワイプすると放送中のチャンネルが見れる • スワイプせずに下にスクロールも可能 AD (SAD) Promotion (イチオシ) Recommend Recommend Ch
5. AbemaTV, Inc. All Rights Reserved
 5 放送中の
 他のチャンネル
 イチオシ
 放送中のCh
 Home画面の挙動（広告未入稿時） • ファーストビューが一押しのコンテンツ紹介 • さらにスワイプすると放送中のチャンネルが見れる • スワイプせずに下にスクロールも可能 Promotion (イチオシ) Recommend Recommend Ch
6. AbemaTV, Inc. All Rights Reserved
 6 A/Bテストしてみた。

7. AbemaTV, Inc. All Rights Reserved
 4週間のA/Bテストを実施 • 広告入稿時のみControl/Treatment間に差が出る • SADによってイチオシがfirst viewから消える • 画面内のコンテンツが減るのでスクロール /スワイプを増やす可能性がある →画面に表示されるコンテンツの選択肢が変化することで視聴に影響が生まれる AD (SAD) Promotion (イチオシ) Recommend Recommend Promotion (イチオシ) Recommend Recommend Control Treatment
8. AbemaTV, Inc. All Rights Reserved
 忘れていただきたい先入観 8 繰り返される広告・・・ 貯まる広告疲れ・・・ いわゆるAd Fatigueと呼ばれる仮説 • 広告それ自体に悪影響があり、それによってユーザーの体験が損なわれるというもの。 • この仮説と今回の実験の実態は大きくかけ離れているので忘れて欲しい。 • 実際の効果は「広告それ自体の影響」と「広告が奪った場所で表示してたものの影響」の和 その結果としての離脱
9. AbemaTV, Inc. All Rights Reserved
 9 ①施策は機能しているか？
10. AbemaTV, Inc. All Rights Reserved
 施策の挙動：View+Clickの変化 10 実験期間 直接的な効果
 • イチオシはpv,clickともに低下 
 • SADは両方増加
 
 間接的な効果
 • チャンネル選択バナーのclickが増加 
 ◦ channel_list
 • 下部のモジュールで両方増加 
 ◦ suggestFeature1
 広告有りグループと無しグループでの差 広告有りで SADのviewが増加 広告有りで イチオシのviewが減少 広告有りで イチオシのclickが減少 SADは日によって表示の有無がある。 →　期間全体で平均をとるとその影響は薄くなる 0 減 少 増 加 0 減 少 増 加
11. AbemaTV, Inc. All Rights Reserved
 施策挙動のまとめ 11 挙動自体は想定通り（SADのview, click増＋イチオシは減）
 SADによってユーザーの視聴傾向は変化

12. AbemaTV, Inc. All Rights Reserved
 12 ② 視聴への効果
13. AbemaTV, Inc. All Rights Reserved
 ATEの推定結果 13 • ユーザー単位のデータで分析すると・・・ ◦ 一定時間以上の視聴UU数 → -A% ◦ そのほかの視聴系の指標も -B% • しかし全て統計的に有意な差ではなかった ※ 差が0という意味ではない • 広告が入稿されない日があるので、効果0のユーザーが大量にいる。 → 想定通りの結果と言える
14. AbemaTV, Inc. All Rights Reserved
 DIDっぽい分析：一定時間以上の視聴回数 14 広告有りグループと無しグループでの差 • 実験前は差が0付近 
 • 実験中は差が負の方向に傾く 
 ◦ SADがない日は差が0付近に戻る 
 ◦ 実験の最終日とその前日を除いた7日間は イチオシのclick差がグループ間で無い 
 • 実験後は差が0付近に戻る 
 実験期間 0 減 少 増 加
15. AbemaTV, Inc. All Rights Reserved
 DIDっぽい分析：イチオシで紹介されたコンテンツの視聴時間 15 広告有りグループと無しグループでの差 • 実験前は差が0付近 
 • 実験中は差が負の方向に振れる 
 ◦ SADがない日は差が0付近に戻る 
 ◦ 実験の最終日とその前日を除いた7日間 はイチオシのclick差が無い 
 • 実験後は差が0付近に戻る 
 → イチオシでの紹介が消えたことでそれらのコンテンツはもろに影響を受けている 
 実験期間 0 減 少 増 加
16. AbemaTV, Inc. All Rights Reserved
 効果のまとめ 16 • SADによって視聴は減少傾向
 • 全体平均での減少はあまりなかった（平均的な効果は小さい）
 • イチオシのコンテンツの視聴がSADによって減少している
 → イチオシで紹介されるコンテンツの視聴減に原因がありそう

17. AbemaTV, Inc. All Rights Reserved
 17 ③コンテンツ別評価
18. AbemaTV, Inc. All Rights Reserved
 モチベーション 18 • イチオシのコンテンツの視聴が減っていることがわかった
 • コンテンツごとで影響が違うことが想定される
 • 種類が多いのでいくつかの例だけ抜粋

19. AbemaTV, Inc. All Rights Reserved
 体験への影響：シリーズ別視聴時間（例） 19 実験期間 コンテンツ①での視聴時間の差 0 グラフの見方
 • 横軸：日付
 • 縦軸：合計視聴時間のグループ差 
 ◦ - yなら広告有りグループのこのシリーズの合計視聴時間 がy時間少ない
 • 点のサイズ：イチオシでのview数 
 ◦ 大きければイチオシでのviewが多い 
 • 点の色：イチオシのview数のグループ差 
 ◦ 黒ければ差が大きくイチオシが阻害されている状態 
 新コンテンツが追加 減 少 増 加 実験前 イチオシPVが減少
20. AbemaTV, Inc. All Rights Reserved
 体験への影響：シリーズ別視聴時間（例） 20 #2でも若干影響がある 気もするが・・・ 実験期間 0 コンテンツ②での視聴時間の差 新コンテンツが追加 ＋ イチオシPV減少 • 実験の途中から始まったシリーズ 
 • 初日にイチオシでのviewの差がついて視聴が低下 
 • その後戻して差は0付近 
 実験前 減 少 増 加
21. AbemaTV, Inc. All Rights Reserved
 結果の概要 21 • イチオシで紹介されるコンテンツは100以上
 • 効果は大まかに分けると
 ◦ 広告でイチオシのPVが減少して視聴の低下が起きている
 ◦ 広告でイチオシのPVが減少しても変化なし
 • 紹介されないコンテンツでは視聴がむしろ増加するものがある
 ◦ スクロールすると表示されるコンテンツ
 → 広告自体よりも、イチオシが見えなくなったことによる影響が大きい。 

22. AbemaTV, Inc. All Rights Reserved
 もう少しまとめると・・・ 22 • 広告を出す悪影響は「元々何があったか？」に依存する
 • 元々あったイチオシは紹介コンテンツで効果が異なる
 • イチオシの影響をより深く理解することが重要
 → もう少し詳細な効果を調べる

23. AbemaTV, Inc. All Rights Reserved
 23 ④分布への効果を考える
24. AbemaTV, Inc. All Rights Reserved
 視聴時間の平均に対する効果 24 あるコンテンツでの
 イチオシが見えないことの
 平均的な視聴時間への効果は大体-0.006分/user

25. AbemaTV, Inc. All Rights Reserved
 平均的な効果の概要 25 効果と 考えられる場所 0 あるコンテンツの 視聴時間 Treatment群 の平均 Control群 の平均 ここが0.006分
 ※ 厳密にはもっと狭い
 平均がどの程度違うか？という効果の考え方
26. AbemaTV, Inc. All Rights Reserved
 平均的な効果の概要 26 0 あるコンテンツの 視聴時間 実際に知りたいのは「どの程度視聴するユーザーが増減するか？」 という分布の変化なのではないか？
27. AbemaTV, Inc. All Rights Reserved
 DTE: Distributional Treatment Effect 27 0 Y y control群における Y < yの累積密度 0 Y y treatment群における Y < yの累積密度
28. AbemaTV, Inc. All Rights Reserved
 DTE: Distributional Treatment Effect 28 対照群における Y < yの累積密度 Y < y であれば1になるアウトカムに対して 回帰を行えばそれぞれ推定可能 介入群における Y < yの累積密度
29. AbemaTV, Inc. All Rights Reserved
 DTE: Distributional Treatment Effect 29 0 0 Y Y y1 y2 y3 y4 y5 y1 y2 y3 y4 y5 複数のyでDTEをみることで変化を理解する y1,y2,...,y5 でそれぞれDTEの推定が必要 → より細かく見ようと思うと推定する回数は膨大に・・・
30. AbemaTV, Inc. All Rights Reserved
 PTE: Probability Treatment Effect 30 h y h y ある区間 y ~ y+h における比較 （例：視聴時間が 5-10分のユーザはどれだけ増えたか？） → 推定自体はDTEの差を取ればOK
31. AbemaTV, Inc. All Rights Reserved
 DTE + Regression Adjustmentの研究やってます @AILab 31 • DTEを推定する箇所を増やすと推定時間はかなり長い
 ◦ コンテンツの数 x コンテンツの長さ（分） = いっぱい
 ◦ 標準誤差を得るのにもbootstrapが必要
 • データのサブサンプルが必須
 ◦ データが減るので標準誤差が↑
 ◦ 分散の削減が重要に・・・

32. AbemaTV, Inc. All Rights Reserved
 推定結果①：40分くらいの番組 32 • （上：DTE）0~y分の視聴をする人の増減を比較 
 • （下：PTE）y ~ y+1分の視聴をする人の増減を比較 
 ◦ 0分はtreatmentの方が少ない（未視聴が減） 
 ◦ 1-50分にかけてまばらに増えている 
 ◦ 1-5分くらいが多い
 → 施策で未視聴は減ってるが長くはコンテンツを見てない 

33. AbemaTV, Inc. All Rights Reserved
 推定結果②: 5分の番組 33 • （上：DTE）0~y分の視聴をする人の増減を比較 
 • （下：PTE）y ~ y+1分の視聴をする人の増減を比較 
 ◦ 0分はtreatmentの方が少ない（未視聴が減） 
 ◦ 5分あたりが増えている（コンテンツが5分） 
 → 未視聴だったユーザーがコンテンツを見終わっている 

34. AbemaTV, Inc. All Rights Reserved
 34 まとめ
35. AbemaTV, Inc. All Rights Reserved
 結局何が起きていたのか？ 35 • SADはイチオシのviewを増減させていた
 • その結果イチオシで紹介されていたコンテンツの視聴が減少
 • 一方でイチオシで紹介する効果は限定的に見える
 ◦ 短い時間の視聴に止まるケースが多い
 ◦ 短いコンテンツは見終えている
 ◦ 相性が存在しそう

36. AbemaTV, Inc. All Rights Reserved
 36 We are hiring!