ベイジアンABテスト利用した 広告クリエイティブ検証の実現について

2020/12/4(金) に開催したExploratory データサイエンス勉強会#16の株式会社セプテーニ様のご登壇資料です。

Transcript

1. 2020 Septeni CO.,LTD.. All Rights Reserved ベイジアンABテスト利用した 広告クリエイティブ検証の実現について
2. 2020 Septeni CO.,LTD.. All Rights Reserved 1 自己紹介 ▪名前 大塩和朗（オオシオカズアキ） ▪所属 株式会社セプテーニ（デジタル広告代理事業） ▪業務 広告効果の計測ツールの活用提案およびサポート デジタル広告の根幹でもある効果計測周りの専門家です （もし、広告のツール関連で質問あればいつでもどうぞ！）
3. 2020 Septeni CO.,LTD.. All Rights Reserved 1. 広告業界のABテストとは？
4. 2020 Septeni CO.,LTD.. All Rights Reserved 3 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類 広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100万本突破！！ SALE クリック率(CTR)もしくはコンバージョン率(CVR)を参考にパフォーマンスを判断する
5. 2020 Septeni CO.,LTD.. All Rights Reserved 4 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類 広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100万本突破！！ SALE CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8% 顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い
6. 2020 Septeni CO.,LTD.. All Rights Reserved 5 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類 広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100万本突破！！ SALE CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8% 顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い 偶然？？
7. 2020 Septeni CO.,LTD.. All Rights Reserved 6 1. 要するに かなり小さな差ですが、お預かりしているご予算が大きいため 結果に大きな影響を与える可能性があります
8. 2020 Septeni CO.,LTD.. All Rights Reserved 7 1. 広告業界のABテストの実態 取得できるデータは、日別×クリエイティブごとの 広告表示回数・クリック数・CV数のみ 1行が1日単位のデータ 定義が異なるCV数 imp = 広告の表示回数 click = 広告がクリックされた回数 ※数字には係数がかかっています
9. 2020 Septeni CO.,LTD.. All Rights Reserved 8 1. 広告業界のABテストの実態 （広告業界において）一般的なABテストの判断基準 AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる
10. 2020 Septeni CO.,LTD.. All Rights Reserved 9 1. 広告業界のABテストの実態 （広告業界において）一般的なABテストの判断基準 AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる 広告配信システム側の機械学習によって 予測効果が他に比べて良いと判断された結果
11. 2020 Septeni CO.,LTD.. All Rights Reserved 10 1. 広告業界のABテストの実態 （広告業界において）一般的なABテストの判断基準 AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる •Good Point シンプルでわかりやすい 準備が必要ない ×Bad Point 新規で出稿した広告には配信が偏り難い傾向 ロジックは原則ブラックボックス
12. 2020 Septeni CO.,LTD.. All Rights Reserved 11 1. 広告業界のABテストの実態 （広告業界において）一般的なABテストの判断基準 AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる •Good Point p値が一般的な概念になっており、説明が容易 ×Bad Point データ量が多ければp値での判断も可能だが 予算が限られている場合も多く、データがたまる前に 判断しなければならない場合が多い
13. 2020 Septeni CO.,LTD.. All Rights Reserved 12 1. 要するに 広告表示回数の偏りで判断する カイ二乗検定を用いる こちらの方法では、判断できない場合が多い 時間や手間がかかる上に p値で判断できるデータ量に達する前に 判断しなければならない場合が多い
14. 2020 Septeni CO.,LTD.. All Rights Reserved 13 1. 要するに 単純にCVRの大小比較だけで判断してしまうか？ いや、それだとご納得いただけない場合も多い…
15. 2020 Septeni CO.,LTD.. All Rights Reserved 14 1. そこで ベイジアンABテストが使えるのでは！？
16. 2020 Septeni CO.,LTD.. All Rights Reserved 2. ベイジアンABテストの良い点
17. 2020 Septeni CO.,LTD.. All Rights Reserved 16 2. 補足 ベイジアンABテストはここから使えます
18. 2020 Septeni CO.,LTD.. All Rights Reserved 17 2. ベイジアンABテストの良い点 結果がシンプルで直感的 「改善する確率」欄で 既存LPの方が93％の確率で 改善することがわかる
19. 2020 Septeni CO.,LTD.. All Rights Reserved 18 2. ベイジアンABテストの良い点 圧倒的に判断までが早い 何％以上の改善確率が出たら判断する という決め事をしてしまえば かなり早い段階で判断が可能
20. 2020 Septeni CO.,LTD.. All Rights Reserved 19 2. ベイジアンABテストの良い点 グラフがとてもわかりやすい 棒1本1本が「改善率」と 「改善する確率」を表している この棒の場合、8.42％の確率で 45％CVRが改善するという意味 （改善する）確率 改善率（CVRが◦％改善する）
21. 2020 Septeni CO.,LTD.. All Rights Reserved 20 2. ベイジアンABテストの良い点 グラフがとてもわかりやすい （改善する）確率 改善率（CVRがxx％改善する） ここが改善率0%の場所 これより左側の領域は悪化する可能性 これより右側の領域は改善する可能性 を示している 改善率0％
22. 2020 Septeni CO.,LTD.. All Rights Reserved 21 2. ベイジアンABテストの良い点 用意するデータもシンプル CVしなかった場合のクリック数 ( = クリック数 – CV) CVした場合のクリック数 ( = CV) ※今回は分かりやすく集計しましたが、データが日別になってても動きます
23. 2020 Septeni CO.,LTD.. All Rights Reserved 22 2. つまり 統計初心者の現場でも容易に理解でき グラフも視覚的で分かりやすく伝えやすい かつ、データ収集も容易なのが ベイジアンABテスト
24. 2020 Septeni CO.,LTD.. All Rights Reserved 3. ベイジアンABテストの補足
25. 2020 Septeni CO.,LTD.. All Rights Reserved 24 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… これは差はまだ明確じゃないと判断すべき？ それとも、「改善する確率」を信じる？ 改善確率90％の状態での確率分布
26. 2020 Septeni CO.,LTD.. All Rights Reserved 25 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… 結論、改善確率を信じて良いと思います！ 改善確率90％の状態での確率分布
27. 2020 Septeni CO.,LTD.. All Rights Reserved 26 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… この表はAとBそれぞれのCVRが出る確率を表している 改善確率90％の状態での確率分布
28. 2020 Septeni CO.,LTD.. All Rights Reserved 27 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… 改善確率90％の状態での確率分布 仮にAのCVRが0.6％をとったとする
29. 2020 Septeni CO.,LTD.. All Rights Reserved 28 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… 改善確率90％の状態での確率分布 AのCVR = 0.6％ AよりもBのCVRが大きくなる確率はこの領域
30. 2020 Septeni CO.,LTD.. All Rights Reserved 29 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… 改善確率90％の状態での確率分布 AのCVR = 0.65％ AよりもBのCVRが大きくなる確率はこの領域
31. 2020 Septeni CO.,LTD.. All Rights Reserved 30 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… 改善確率90％の状態での確率分布 AのCVR = 0.8％ AよりもBのCVRが大きくなる確率はこの領域
32. 2020 Septeni CO.,LTD.. All Rights Reserved 31 3. ベイジアンABテストの問題点（疑問点） 90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える… 改善確率90％の状態での確率分布 見た目以上にAよりもBの方がCVRが大きくなる確率は低く その状態を「改善確率」としてわかりやすい数値で示している よって、「改善確率」で成否判断をしてもよいと考えられる
33. 2020 Septeni CO.,LTD.. All Rights Reserved 32 3. ベイジアンABテストの問題点（疑問点） ここにはどの数値を入れるべきかわからない 既存CRのCVRと標準偏差？
34. 2020 Septeni CO.,LTD.. All Rights Reserved 33 3. ベイジアンABテストの問題点（疑問点） ここにはどの数値を入れるべきかわからない 結論： マーケターの皆さんが感覚的にわかっている 「このサイトならこのぐらいのCVRだろう」 という数値を入れれば問題ありません！
35. 2020 Septeni CO.,LTD.. All Rights Reserved 34 3. ベイジアンABテストの問題点（疑問点） ここにはどの数値を入れるべきかわからない 時間 Aの広告を配信 その後、ABテストをするため Bの広告を追加配信 Aの広告にはBを配信するまでに貯めてきた 配信データがある この数値を入れれば良い
36. 2020 Septeni CO.,LTD.. All Rights Reserved 35 3. ベイジアンABテストの問題点（疑問点） ここにはどの数値を入れるべきかわからない 時間 ABテストをするため AとBの広告を配信開始 Aの広告のデータがなかったとしても 「この広告ならこのぐらいのCVRでるだろう」 という数値をいれれば良い
37. 2020 Septeni CO.,LTD.. All Rights Reserved 36 3. ベイジアンABテストの問題点（疑問点） ここにはどの数値を入れるべきかわからない むしろ、数値を入れなくても動く ※数値を入れた場合、「より少ないデータで結果を 判断できるようになる」というメリットがある
38. 2020 Septeni CO.,LTD.. All Rights Reserved 37 まだまだ勉強不足な部分が多々あります もし、ご指摘がございましたらご教授頂けますと幸いです！ ご清聴いただきありがとうございました！