Slide 1

Slide 1 text

ABEMAの効果検証事例 ~効果の異質性を考える~

Slide 2

Slide 2 text

アジェンダ ● ABEMAの概要 ● 検証の背景と概要 ● 分析結果

Slide 3

Slide 3 text

ABEMAの概要

Slide 4

Slide 4 text

好きな時間に好きな場所で、話題の動画を楽しめる新しい未来のテレビ ABEMAの紹介

Slide 5

Slide 5 text

モジュールの最適化だけでもやることがいっぱい、、、 ● どんなモジュールを表示するか ● モジュール内でコンテンツを横にどう並び替えるか ● モジュールそのものを縦にどう並び替えるか ABEMAのホーム画面のイメージ ホーム画面=ユーザーがアプリ起動時に遷移する画面 コ ン テ ン ツ 1 コ ン テ ン ツ 3 コ ン テ ン ツ 2 hogeコンテンツ コ ン テ ン ツ a コ ン テ ン ツ c コ ン テ ン ツ b fugaコンテンツ コ ン テ ン ツ 4 コ ン テ ン ツ 5 何らかの条件を満たすコンテンツが横1行に並べられている →横1行のコンテンツの集合をモジュールと呼ぶ ホーム画面のイメージ

Slide 6

Slide 6 text

なぜA/Bテストをするのか?答えは簡単 ABEMAのDSは日々A/Bテストと効果検証を繰り返している 本気で効果検証と向き合ったことがあるDSなら伝わるはず ※観察データによる因果推論を否定してるわけではないので悪しからず そもそもA/Bテストしないと効果とか分からないじゃん?

Slide 7

Slide 7 text

検証の背景と概要

Slide 8

Slide 8 text

ABEMAの視聴形態 リニアとビデオという視聴形態が存在する リニア 決まった日時に配信されるテレビのような視聴 形態 ビデオ 公開されている動画をユーザーが好きなタイミ ングで視聴できるオンデマンド式の視聴形態 ※本来リニア・ビデオは視聴形態を指すが、本資料では便宜上コンテンツのこともリニア・ビデオと表現する

Slide 9

Slide 9 text

今回、紹介する検証の背景 検証前のホーム 表示されるコンテンツはほとんどビデオ ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ 過去の分析の知見 リニアの表示を増やしたら視聴が伸びた リニア1 fooコンテンツ hogeコンテンツ リニアコンテンツを並べるモジュールをホームに表示したら視聴が伸びるのでは?

Slide 10

Slide 10 text

リ ニ ア 1 リ ニ ア 3 リ ニ ア 2 放送中コンテンツ 放送中モジュール検証 リニアコンテンツを並べる「放送中モジュール」を作成し、A/Bテストを実施 ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ コントロールグループのホーム(A) fugaコンテンツ トリートメントグループのホーム(B) hogeコンテンツ 放送中モジュール ユーザーのログイン時にAorBをランダムに割り振る

Slide 11

Slide 11 text

想定される効果 リニア視聴の増加&ビデオ視聴の減少 リ ニ ア 1 リ ニ ア 3 リ ニ ア 2 放送中コンテンツ ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ fugaコンテンツ hogeコンテンツ ビ デ オ a ビ デ オ c ビ デ オ b ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 リニアコンテンツのimpが増えるた め、リニア視聴が増える ビデオコンテンツを表示するモ ジュールが押し下げられてビデオの impが減り、ビデオ視聴が減る

Slide 12

Slide 12 text

分析結果

Slide 13

Slide 13 text

分析結果(時系列の結果) 実験前・中のリニア・ビデオ視聴時間の相対比を時系列でプロット グラフの見方 ● 青の実線: リニアの視聴時間の 相対比(Treatment/Control) ● 橙の実線: ビデオの視聴時間の 相対比(Treatment/Control) ● 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) ● 赤の背景: 実験期間 リニア視聴が増加し、ビデオ視聴がやや減少している

Slide 14

Slide 14 text

分析結果(DIDによる推定結果) 回帰分析の枠組みでDIDを行い、介入効果を推定した結果 アウトカム リニア視聴時間 ビデオ視聴時間 推定値 0.004** (0.002) -0.003 (0.002) ※ ()内の値はユーザーをクラスター単位としたクラスター標準誤差であり、**は有意水準0.05で有意であることを示す リニア視聴時間が0.004増加し、ビデオ視聴時間が0.003減少している (推定された効果の符号は、時系列の結果と整合している) ※モデルについてはAppendixを参照。

Slide 15

Slide 15 text

検証結果 想定通り、リニアの視聴が増加して、ビデオの視聴が減少した。おわり。

Slide 16

Slide 16 text

ではない、、!!!

Slide 17

Slide 17 text

効果の異質性が存在する可能性。たとえば、、、 放送中モジュールは全ユーザーに表示するべきか? もともとリニアを見ていたユーザーの リニア視聴を促進させただけかも? 逆にビデオばかり見ていたユーザーが リニアを見るようになった?

Slide 18

Slide 18 text

今回はユーザーを2つに分類 ユーザーを過去の視聴傾向別にわけて分析 linear_type 実験前30日間でビデオ視聴時間より リニア視聴時間の方が多かったユーザー video_type 実験前30日間でリニア視聴時間より ビデオ視聴時間の方が多かったユーザー

Slide 19

Slide 19 text

ユーザーの視聴傾向別のリニア視聴時間の変動(時系列) 実験前・中のlinear_type・video_typeのリニア視聴時間の相対比 video_typeのリニア視聴は伸びてるが、linear_typeのリニア視聴は伸びていない グラフの見方 ● 青の実線: linear_typeの視聴時間 の相対比(Treatment/Control) ● 橙の実線: video_typeの視聴時間 の相対比(Treatment/Control) ● 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) ● 赤の背景: 実験期間

Slide 20

Slide 20 text

ユーザーの視聴傾向別のビデオ視聴時間の変動(時系列) 実験前・中のlinear_type・video_typeのビデオ視聴時間の相対比 グラフの見方 ● 青の実線: linear_typeの視聴時間 の相対比(Treatment/Control) ● 橙の実線: video_typeの視聴時間 の相対比(Treatment/Control) ● 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) ● 赤の背景: 実験期間 video_typeのビデオ視聴は変わらないが、linear_typeのビデオ視聴は下がっている

Slide 21

Slide 21 text

DMLを用いたHTEの推定結果 詳細な効果の異質性を捉えるため、実験前のリニア視聴割合別に効果を推定 リニア視聴割合 0.0 0.2 0.4 0.6 0.8 1.0 リニア視聴への 介入効果 0.0074*** (0.0012) 0.0062** (0.0024) 0.0050 (0.0047) 0.0038 (0.0070) 0.0026 (0.0094) 0.0015 (0.0118) ビデオ視聴への 介入効果 -0.0062 (0.0052) -0.0065 (0.0042) -0.0067** (0.0034) -0.0070** (0.0030) -0.0072** (0.0030) -0.0075** (0.0036) ※ ()内の値は標準誤差であり、**は有意水準0.05で有意、***は有意水準0.01で有意であることを示す 効果には異質性があり、リニアの視聴割合が高くなるにつれて リニア視聴への正の効果が小さく、ビデオ視聴への負の効果が大きくなっている ※リニア視聴割合は実験前30日間におけるリニア視聴時間/全視聴時間と定義した。モデルについてはAppendixを参照 video_typeに相当 linear_typeに相当

Slide 22

Slide 22 text

放送中モジュールによってリニアコンテンツのimpが 増えたことにより、リニア視聴が増えた。 一方で、もともとビデオを視聴する傾向が強いため、 ビデオ視聴はあまり減らなかった。 HTEの推定結果の整理と考察 linear_type リニア視聴は変わらず、ビデオ視聴が減少 video_type リニア視聴は増加、ビデオ視聴は変わらず 放送中モジュールがなくともリニアを見るので、リニ ア視聴はあまり増えなかった。 一方で、ビデオコンテンツのimpが減るのでビデオ視 聴が減った。

Slide 23

Slide 23 text

結論 ● 全体としてはリニア視聴が増加し、ビデオ視聴が減少した ● 効果の異質性に注目し、過去の視聴傾向別で効果を確認すると ○ もともとリニアをよく見ていたユーザーのビデオ視聴が減少 ○ もともとビデオをよく見ていたユーザーのリニア視聴が増加 ● 放送中モジュールはもともとビデオをよく見ていたユーザーに表示す ると効果的であることが分かった

Slide 24

Slide 24 text

Appendix

Slide 25

Slide 25 text

以下の回帰モデルを用いて、介入効果δを推定 Y it = α + β・Z i + γ・D t + δ・Z i ・D t + η it ● 添字i: ユーザー ● 添字t: 期間(実験前or実験中) ● Y: リニアまたはビデオの視聴時間 ● D: 期間tが実験中であれば1、実験前であれば0を表すダミー変数 ● Z: ユーザーiがトリートメントグループであれば1、コントロールグループであれば0を表 すダミー変数 ● η: 誤差項 ● α, β, γ, δ: パラメータ DIDのモデルについて

Slide 26

Slide 26 text

DIDのモデルについて(平行トレンドの確認) リニア・ビデオともに平行トレンドの仮定は満たしていると判断

Slide 27

Slide 27 text

1段階目では以下の予測タスクを行う Y i = g(X i , W i ) + u i , Z i = f(X i , W i ) + v i ● 添字i: ユーザー ● Y: リニアまたはビデオの視聴時間 ● Z: ユーザーiがトリートメントグループであれば1、コントロールグループであれば0を表 すダミー変数(ここでは介入を表す) ● X: 実験前30日間のリニアの視聴割合=リニアの視聴時間/全視聴時間(効果修飾因子) ● W: 実験前の視聴時間 ● u, v: 誤差項 ● g(・), f(・): ノンパラメトリックな関数(今回は勾配ブースティングを用いた) DMLのモデルについて(1/2)

Slide 28

Slide 28 text

2段階目では以下の回帰モデルを用いて処置効果を推定 (Y i の残差) = θ(X i )・(Z i の残差) + ε i ● θ(X): Xの値に応じた介入効果(今回はθ(X)を一次の線形関数と仮定した) ● ε: 誤差項 この結果から得られるθ(X)の推定値は以下の回帰式におけるθ(X)の不偏推 定量となることが知られている(参考: Chernozhukov 18) Y i = θ(X i )・Z i + q(X i , W i ) + ε i ただし、q(・)はノンパラ関数 DMLのモデルについて(2/2)