ベイジアンABテスト利用した広告クリエイティブ検証の実現について

2020 Septeni CO.,LTD.. All Rights Reserved
ベイジアンABテスト利用した
広告クリエイティブ検証の実現について

View Slide

1
自己紹介
■名前
大塩和朗（オオシオカズアキ）
■所属
株式会社セプテーニ（デジタル広告代理事業）
■業務
広告効果の計測ツールの活用提案およびサポート
デジタル広告の根幹でもある効果計測周りの専門家です
（もし、広告のツール関連で質問あればいつでもどうぞ！）

View Slide

1. 広告業界のABテストとは？

View Slide

3
1. 広告業界のABテストの実態
広告業界のABテストはだいたい2種類
広告クリエイティブのテストサイトのビジュアルテスト
Install Install
A B
ご購入はコチラ
100万本突破！！
SALE
クリック率(CTR)もしくはコンバージョン率(CVR)を参考にパフォーマンスを判断する

View Slide

4
Install Install
A B
SALE
CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8%
顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い

View Slide

5
Install Install
A B
SALE
CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8%
顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い
偶然？？

View Slide

6
1. 要するに
かなり小さな差ですが、お預かりしているご予算が大きいため
結果に大きな影響を与える可能性があります

View Slide

7
取得できるデータは、日別×クリエイティブごとの
広告表示回数・クリック数・CV数のみ
1行が1日単位のデータ
定義が異なるCV数
imp = 広告の表示回数
click = 広告がクリックされた回数
※数字には係数がかかっています

View Slide

8
（広告業界において）一般的なABテストの判断基準
AD
AD
広告表示回数多広告表示回数少
広告表示回数の偏りで判断するカイ二乗検定を用いる

View Slide

9
AD
AD
広告配信システム側の機械学習によって
予測効果が他に比べて良いと判断された結果

View Slide

10
AD
AD
●Good Point
シンプルでわかりやすい
準備が必要ない
×Bad Point
新規で出稿した広告には配信が偏り難い傾向
ロジックは原則ブラックボックス

View Slide

11
AD
AD
●Good Point
p値が一般的な概念になっており、説明が容易
×Bad Point
データ量が多ければp値での判断も可能だが
予算が限られている場合も多く、データがたまる前に
判断しなければならない場合が多い

View Slide

12
1. 要するに
こちらの方法では、判断できない場合が多い
時間や手間がかかる上に
p値で判断できるデータ量に達する前に
判断しなければならない場合が多い

View Slide

13
1. 要するに
単純にCVRの大小比較だけで判断してしまうか？
いや、それだとご納得いただけない場合も多い…

View Slide

14
1. そこで
ベイジアンABテストが使えるのでは！？

View Slide

2. ベイジアンABテストの良い点

View Slide

16
2. 補足
ベイジアンABテストはここから使えます

View Slide

17
結果がシンプルで直感的
「改善する確率」欄で
既存LPの方が93％の確率で
改善することがわかる

View Slide

18
圧倒的に判断までが早い
何％以上の改善確率が出たら判断する
という決め事をしてしまえば
かなり早い段階で判断が可能

View Slide

19
グラフがとてもわかりやすい
棒1本1本が「改善率」と
「改善する確率」を表している
この棒の場合、8.42％の確率で
45％CVRが改善するという意味
（改善する）確率
改善率（CVRが○％改善する）

View Slide

20
グラフがとてもわかりやすい
（改善する）確率
改善率（CVRがxx％改善する）
ここが改善率0%の場所
これより左側の領域は悪化する可能性
これより右側の領域は改善する可能性
を示している
改善率0％

View Slide

21
用意するデータもシンプル
CVしなかった場合のクリック数
( = クリック数 – CV)
CVした場合のクリック数
( = CV)
※今回は分かりやすく集計しましたが、データが日別になってても動きます

View Slide

22
2. つまり
統計初心者の現場でも容易に理解でき
グラフも視覚的で分かりやすく伝えやすい
かつ、データ収集も容易なのが
ベイジアンABテスト

View Slide

3. ベイジアンABテストの補足

View Slide

24
3. ベイジアンABテストの問題点（疑問点）
90％以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
これは差はまだ明確じゃないと判断すべき？
それとも、「改善する確率」を信じる？
改善確率90％の状態での確率分布

View Slide

25
結論、改善確率を信じて良いと思います！

View Slide

26
この表はAとBそれぞれのCVRが出る確率を表している

View Slide

27
仮にAのCVRが0.6％をとったとする

View Slide

28
AのCVR = 0.6％
AよりもBのCVRが大きくなる確率はこの領域

View Slide

29
AのCVR = 0.65％

View Slide

30
AのCVR = 0.8％

View Slide

31
見た目以上にAよりもBの方がCVRが大きくなる確率は低く
その状態を「改善確率」としてわかりやすい数値で示している
よって、「改善確率」で成否判断をしてもよいと考えられる

View Slide

32
ここにはどの数値を入れるべきかわからない
既存CRのCVRと標準偏差？

View Slide

33
結論：
マーケターの皆さんが感覚的にわかっている
「このサイトならこのぐらいのCVRだろう」
という数値を入れれば問題ありません！

View Slide

34
時間
Aの広告を配信
その後、ABテストをするため
Bの広告を追加配信
Aの広告にはBを配信するまでに貯めてきた
配信データがある
この数値を入れれば良い

View Slide

35
時間
ABテストをするため
AとBの広告を配信開始
Aの広告のデータがなかったとしても
「この広告ならこのぐらいのCVRでるだろう」
という数値をいれれば良い

View Slide

36
むしろ、数値を入れなくても動く
※数値を入れた場合、「より少ないデータで結果を
判断できるようになる」というメリットがある

View Slide

37
まだまだ勉強不足な部分が多々あります
もし、ご指摘がございましたらご教授頂けますと幸いです！
ご清聴いただきありがとうございました！

View Slide

ベイジアンABテスト利用した広告クリエイティブ検証の実現について

ベイジアンABテスト利用した広告クリエイティブ検証の実現について

Ikuya Murasato

More Decks by Ikuya Murasato

Other Decks in Business

Featured

Transcript

ベイジアンABテスト利用した 広告クリエイティブ検証の実現について

ベイジアンABテスト利用した 広告クリエイティブ検証の実現について

Ikuya Murasato

More Decks by Ikuya Murasato

Other Decks in Business

Featured

Transcript

ベイジアンABテスト利用した広告クリエイティブ検証の実現について

ベイジアンABテスト利用した広告クリエイティブ検証の実現について