ABEMAにおける効果検証

Slide 1

Slide 1 text

Slide 2

Slide 2 text

AbemaTV, Inc. All Rights Reserved  2 名前：安井翔太  職業：主席データサイエンティスト   Economic Research Scientist  Data Science Center 副所長  　 ABEMA 効果検証 Lead Analyst   経歴：  2011年立教大学経済学部卒業   2013年 Norwegian School of Economics MSc in Economics   2013年 Cyberagent 入社（総合職, 微妙な分析の量産）   2015年アドテク部門へ異動（専門職, MLの応用）   2017年 AILabへ異動（研究職, ML + CI回りの応用）   2023年 ABEMAで効果検証    @housecat442 

Slide 3

Slide 3 text

Slide 4

Slide 4 text

AbemaTV, Inc. All Rights Reserved  4 放送中の  他のチャンネル  スポンサードアド(SAD)   イチオシ  放送中のCh  Home画面の挙動（広告入稿時） ● ファーストビューは広告 ● スワイプすると一押しのコンテンツ紹介 ● さらにスワイプすると放送中のチャンネルが見れる ● スワイプせずに下にスクロールも可能 AD (SAD) Promotion (イチオシ) Recommend Recommend Ch

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

AbemaTV, Inc. All Rights Reserved  4週間のA/Bテストを実施 ● 広告入稿時のみControl/Treatment間に差が出る ● SADによってイチオシがfirst viewから消える ● 画面内のコンテンツが減るのでスクロール /スワイプを増やす可能性がある →画面に表示されるコンテンツの選択肢が変化することで視聴に影響が生まれる AD (SAD) Promotion (イチオシ) Recommend Recommend Promotion (イチオシ) Recommend Recommend Control Treatment

Slide 8

Slide 8 text

AbemaTV, Inc. All Rights Reserved  忘れていただきたい先入観 8 繰り返される広告・・・貯まる広告疲れ・・・いわゆるAd Fatigueと呼ばれる仮説 ● 広告それ自体に悪影響があり、それによってユーザーの体験が損なわれるというもの。 ● この仮説と今回の実験の実態は大きくかけ離れているので忘れて欲しい。 ● 実際の効果は「広告それ自体の影響」と「広告が奪った場所で表示してたものの影響」の和その結果としての離脱

Slide 9

Slide 9 text

Slide 10

Slide 10 text

AbemaTV, Inc. All Rights Reserved  施策の挙動：View+Clickの変化 10 実験期間直接的な効果  ● イチオシはpv,clickともに低下   ● SADは両方増加    間接的な効果  ● チャンネル選択バナーのclickが増加   ○ channel_list  ● 下部のモジュールで両方増加   ○ suggestFeature1  広告有りグループと無しグループでの差広告有りで SADのviewが増加広告有りでイチオシのviewが減少広告有りでイチオシのclickが減少 SADは日によって表示の有無がある。 →　期間全体で平均をとるとその影響は薄くなる 0 減少増加 0 減少増加

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved  DIDっぽい分析：一定時間以上の視聴回数 14 広告有りグループと無しグループでの差 ● 実験前は差が0付近   ● 実験中は差が負の方向に傾く   ○ SADがない日は差が0付近に戻る   ○ 実験の最終日とその前日を除いた7日間はイチオシのclick差がグループ間で無い   ● 実験後は差が0付近に戻る   実験期間 0 減少増加

Slide 15

Slide 15 text

AbemaTV, Inc. All Rights Reserved  DIDっぽい分析：イチオシで紹介されたコンテンツの視聴時間 15 広告有りグループと無しグループでの差 ● 実験前は差が0付近   ● 実験中は差が負の方向に振れる   ○ SADがない日は差が0付近に戻る   ○ 実験の最終日とその前日を除いた7日間はイチオシのclick差が無い   ● 実験後は差が0付近に戻る   → イチオシでの紹介が消えたことでそれらのコンテンツはもろに影響を受けている   実験期間 0 減少増加

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved  体験への影響：シリーズ別視聴時間（例） 19 実験期間コンテンツ①での視聴時間の差 0 グラフの見方  ● 横軸：日付  ● 縦軸：合計視聴時間のグループ差   ○ - yなら広告有りグループのこのシリーズの合計視聴時間がy時間少ない  ● 点のサイズ：イチオシでのview数   ○ 大きければイチオシでのviewが多い   ● 点の色：イチオシのview数のグループ差   ○ 黒ければ差が大きくイチオシが阻害されている状態   新コンテンツが追加減少増加実験前イチオシPVが減少

Slide 20

Slide 20 text

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved  結果の概要 21 ● イチオシで紹介されるコンテンツは100以上  ● 効果は大まかに分けると  ○ 広告でイチオシのPVが減少して視聴の低下が起きている  ○ 広告でイチオシのPVが減少しても変化なし  ● 紹介されないコンテンツでは視聴がむしろ増加するものがある  ○ スクロールすると表示されるコンテンツ  → 広告自体よりも、イチオシが見えなくなったことによる影響が大きい。  

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

AbemaTV, Inc. All Rights Reserved  DTE + Regression Adjustmentの研究やってます @AILab 31 ● DTEを推定する箇所を増やすと推定時間はかなり長い  ○ コンテンツの数 x コンテンツの長さ（分） = いっぱい  ○ 標準誤差を得るのにもbootstrapが必要  ● データのサブサンプルが必須  ○ データが減るので標準誤差が↑  ○ 分散の削減が重要に・・・ 

Slide 32

Slide 32 text

AbemaTV, Inc. All Rights Reserved  推定結果①：40分くらいの番組 32 ● （上：DTE）0~y分の視聴をする人の増減を比較   ● （下：PTE）y ~ y+1分の視聴をする人の増減を比較   ○ 0分はtreatmentの方が少ない（未視聴が減）   ○ 1-50分にかけてまばらに増えている   ○ 1-5分くらいが多い  → 施策で未視聴は減ってるが長くはコンテンツを見てない  