ABEMAの効果検証事例〜効果の異質性を考える〜

3/7に行われた、株式会社ブレインパッドのイベント登壇資料です。

イベントリンクはこちらです。
https://brainpad.connpass.com/event/310103/

Transcript

1. ABEMAの効果検証事例 ~効果の異質性を考える~
2. アジェンダ • ABEMAの概要 • 検証の背景と概要 • 分析結果
3. ABEMAの概要
4. 好きな時間に好きな場所で、話題の動画を楽しめる新しい未来のテレビ ABEMAの紹介
5. モジュールの最適化だけでもやることがいっぱい、、、 • どんなモジュールを表示するか • モジュール内でコンテンツを横にどう並び替えるか • モジュールそのものを縦にどう並び替えるか ABEMAのホーム画面のイメージ ホーム画面=ユーザーがアプリ起動時に遷移する画面 コ ン テ ン ツ 1 コ ン テ ン ツ 3 コ ン テ ン ツ 2 hogeコンテンツ コ ン テ ン ツ a コ ン テ ン ツ c コ ン テ ン ツ b fugaコンテンツ コ ン テ ン ツ 4 コ ン テ ン ツ 5 何らかの条件を満たすコンテンツが横1行に並べられている →横1行のコンテンツの集合をモジュールと呼ぶ ホーム画面のイメージ
6. なぜA/Bテストをするのか？答えは簡単 ABEMAのDSは日々A/Bテストと効果検証を繰り返している 本気で効果検証と向き合ったことがあるDSなら伝わるはず ※観察データによる因果推論を否定してるわけではないので悪しからず そもそもA/Bテストしないと効果とか分からないじゃん？
7. 検証の背景と概要
8. ABEMAの視聴形態 リニアとビデオという視聴形態が存在する リニア 決まった日時に配信されるテレビのような視聴 形態 ビデオ 公開されている動画をユーザーが好きなタイミ ングで視聴できるオンデマンド式の視聴形態 ※本来リニア・ビデオは視聴形態を指すが、本資料では便宜上コンテンツのこともリニア・ビデオと表現する
9. 今回、紹介する検証の背景 検証前のホーム 表示されるコンテンツはほとんどビデオ ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ 過去の分析の知見 リニアの表示を増やしたら視聴が伸びた リニア1 fooコンテンツ hogeコンテンツ リニアコンテンツを並べるモジュールをホームに表示したら視聴が伸びるのでは？
10. リ ニ ア 1 リ ニ ア 3 リ ニ ア 2 放送中コンテンツ 放送中モジュール検証 リニアコンテンツを並べる「放送中モジュール」を作成し、A/Bテストを実施 ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ コントロールグループのホーム(A) fugaコンテンツ トリートメントグループのホーム(B) hogeコンテンツ 放送中モジュール ユーザーのログイン時にAorBをランダムに割り振る
11. 想定される効果 リニア視聴の増加&ビデオ視聴の減少 リ ニ ア 1 リ ニ ア 3 リ ニ ア 2 放送中コンテンツ ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ fugaコンテンツ hogeコンテンツ ビ デ オ a ビ デ オ c ビ デ オ b ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 リニアコンテンツのimpが増えるた め、リニア視聴が増える ビデオコンテンツを表示するモ ジュールが押し下げられてビデオの impが減り、ビデオ視聴が減る
12. 分析結果
13. 分析結果（時系列の結果） 実験前・中のリニア・ビデオ視聴時間の相対比を時系列でプロット グラフの見方 • 青の実線: リニアの視聴時間の 相対比(Treatment/Control) • 橙の実線: ビデオの視聴時間の 相対比(Treatment/Control) • 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) • 赤の背景: 実験期間 リニア視聴が増加し、ビデオ視聴がやや減少している
14. 分析結果（DIDによる推定結果） 回帰分析の枠組みでDIDを行い、介入効果を推定した結果 アウトカム リニア視聴時間 ビデオ視聴時間 推定値 0.004** (0.002) -0.003 (0.002) ※ ()内の値はユーザーをクラスター単位としたクラスター標準誤差であり、**は有意水準0.05で有意であることを示す リニア視聴時間が0.004増加し、ビデオ視聴時間が0.003減少している （推定された効果の符号は、時系列の結果と整合している） ※モデルについてはAppendixを参照。
15. 検証結果 想定通り、リニアの視聴が増加して、ビデオの視聴が減少した。おわり。
16. ではない、、！！！
17. 効果の異質性が存在する可能性。たとえば、、、 放送中モジュールは全ユーザーに表示するべきか？ もともとリニアを見ていたユーザーの リニア視聴を促進させただけかも？ 逆にビデオばかり見ていたユーザーが リニアを見るようになった？
18. 今回はユーザーを2つに分類 ユーザーを過去の視聴傾向別にわけて分析 linear_type 実験前30日間でビデオ視聴時間より リニア視聴時間の方が多かったユーザー video_type 実験前30日間でリニア視聴時間より ビデオ視聴時間の方が多かったユーザー
19. ユーザーの視聴傾向別のリニア視聴時間の変動（時系列） 実験前・中のlinear_type・video_typeのリニア視聴時間の相対比 video_typeのリニア視聴は伸びてるが、linear_typeのリニア視聴は伸びていない グラフの見方 • 青の実線: linear_typeの視聴時間 の相対比(Treatment/Control) • 橙の実線: video_typeの視聴時間 の相対比(Treatment/Control) • 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) • 赤の背景: 実験期間
20. ユーザーの視聴傾向別のビデオ視聴時間の変動（時系列） 実験前・中のlinear_type・video_typeのビデオ視聴時間の相対比 グラフの見方 • 青の実線: linear_typeの視聴時間 の相対比(Treatment/Control) • 橙の実線: video_typeの視聴時間 の相対比(Treatment/Control) • 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) • 赤の背景: 実験期間 video_typeのビデオ視聴は変わらないが、linear_typeのビデオ視聴は下がっている
21. DMLを用いたHTEの推定結果 詳細な効果の異質性を捉えるため、実験前のリニア視聴割合別に効果を推定 リニア視聴割合 0.0 0.2 0.4 0.6 0.8 1.0 リニア視聴への 介入効果 0.0074*** (0.0012) 0.0062** (0.0024) 0.0050 (0.0047) 0.0038 (0.0070) 0.0026 (0.0094) 0.0015 (0.0118) ビデオ視聴への 介入効果 -0.0062 (0.0052) -0.0065 (0.0042) -0.0067** (0.0034) -0.0070** (0.0030) -0.0072** (0.0030) -0.0075** (0.0036) ※ ()内の値は標準誤差であり、**は有意水準0.05で有意、***は有意水準0.01で有意であることを示す 効果には異質性があり、リニアの視聴割合が高くなるにつれて リニア視聴への正の効果が小さく、ビデオ視聴への負の効果が大きくなっている ※リニア視聴割合は実験前30日間におけるリニア視聴時間/全視聴時間と定義した。モデルについてはAppendixを参照 video_typeに相当 linear_typeに相当
22. 放送中モジュールによってリニアコンテンツのimpが 増えたことにより、リニア視聴が増えた。 一方で、もともとビデオを視聴する傾向が強いため、 ビデオ視聴はあまり減らなかった。 HTEの推定結果の整理と考察 linear_type リニア視聴は変わらず、ビデオ視聴が減少 video_type リニア視聴は増加、ビデオ視聴は変わらず 放送中モジュールがなくともリニアを見るので、リニ ア視聴はあまり増えなかった。 一方で、ビデオコンテンツのimpが減るのでビデオ視 聴が減った。
23. 結論 • 全体としてはリニア視聴が増加し、ビデオ視聴が減少した • 効果の異質性に注目し、過去の視聴傾向別で効果を確認すると ◦ もともとリニアをよく見ていたユーザーのビデオ視聴が減少 ◦ もともとビデオをよく見ていたユーザーのリニア視聴が増加 • 放送中モジュールはもともとビデオをよく見ていたユーザーに表示す ると効果的であることが分かった
24. Appendix
25. 以下の回帰モデルを用いて、介入効果δを推定 Y it = α + β・Z i + γ・D t + δ・Z i ・D t + η it • 添字i: ユーザー • 添字t: 期間（実験前or実験中） • Y: リニアまたはビデオの視聴時間 • D: 期間tが実験中であれば1、実験前であれば0を表すダミー変数 • Z: ユーザーiがトリートメントグループであれば1、コントロールグループであれば0を表 すダミー変数 • η: 誤差項 • α, β, γ, δ: パラメータ DIDのモデルについて
26. DIDのモデルについて（平行トレンドの確認） リニア・ビデオともに平行トレンドの仮定は満たしていると判断
27. 1段階目では以下の予測タスクを行う Y i = g(X i , W i ) + u i , Z i = f(X i , W i ) + v i • 添字i: ユーザー • Y: リニアまたはビデオの視聴時間 • Z: ユーザーiがトリートメントグループであれば1、コントロールグループであれば0を表 すダミー変数（ここでは介入を表す） • X: 実験前30日間のリニアの視聴割合=リニアの視聴時間/全視聴時間（効果修飾因子） • W: 実験前の視聴時間 • u, v: 誤差項 • g(・), f(・): ノンパラメトリックな関数（今回は勾配ブースティングを用いた） DMLのモデルについて（1/2）
28. 2段階目では以下の回帰モデルを用いて処置効果を推定 (Y i の残差) = θ(X i )・(Z i の残差) + ε i • θ(X): Xの値に応じた介入効果（今回はθ(X)を一次の線形関数と仮定した） • ε: 誤差項 この結果から得られるθ(X)の推定値は以下の回帰式におけるθ(X)の不偏推 定量となることが知られている（参考: Chernozhukov 18） Y i = θ(X i )・Z i + q(X i , W i ) + ε i ただし、q(・)はノンパラ関数 DMLのモデルについて（2/2）