Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ベイジアンABテスト利用した 広告クリエイティブ検証の実現について
Search
Ikuya Murasato
December 04, 2020
Business
0
7.1k
ベイジアンABテスト利用した 広告クリエイティブ検証の実現について
2020/12/4(金) に開催したExploratory データサイエンス勉強会#16の株式会社セプテーニ様のご登壇資料です。
Ikuya Murasato
December 04, 2020
Tweet
Share
More Decks by Ikuya Murasato
See All by Ikuya Murasato
トピックモデル分析を活用した問合せ業務の効率化
ikuyam
1
180
回帰分析の活用による新商品の販売力予測
ikuyam
0
130
生存分析モデルを利用したLineのブロック要因分析
ikuyam
0
80
自動車トラブルと気象条件などの探索的データ分析
ikuyam
0
56
データサイエンス「も」使えるチェンジメーカー輩出への挑戦
ikuyam
0
320
ExploratoryとRによる全学データサイエンス教育
ikuyam
0
440
エンゲージメント向上のための人事制度改革 - 管理部門におけるExploratoryの活用
ikuyam
0
1.4k
「学ぶ」分析技術から「使う」分析技術へ - Exploratoryによるドリル演習
ikuyam
0
320
データサイエンス入門教育の現場から - 46歳新任教員2年間の苦闘
ikuyam
0
410
Other Decks in Business
See All in Business
GLP_SustainabilityReport_2023
glp_jp
1
240
ネクストビートコーポレートガイド/corporate-guide
nextbeat
2
76k
対話をする前に 知っておくべきこと -人格主義を基本とする関係構築-
rakuraku0615
0
390
租税教育コンテンツの製作
tokyo_metropolitan_gov_digital_hr
0
310
Insurance Distribution for Reiwa-era
hakusansai
2
150
AnyMind Group Company Deck (JP)
anymind
2
100k
直積は便利/direct_product_is_useful
florets1
3
170
エンジニアの「センス」とは何か / What is the sense of engineers
hiro_y
19
7.1k
NTTコミュニケーションズ イノベーションセンター テクノロジー部門 紹介デッキ / NTT Communications Innovation Center Technology Deck
nttcom
2
3.9k
全社プロダクトマネジメント! 職能と職位を乗り越えて若々しいチームを実現しよう/create a agile team beyond roles and ranks
moriyuya
4
410
XP祭り2024 『アジャイルとは何か?なぜアジャイルなのか?』1年間のアジャイルコーチとの1on1を通してやっとわかったアジャイル
yasuhirokimesawa
0
290
株式会社FLINTERS会社紹介資料
flinters
0
320
Featured
See All Featured
Facilitating Awesome Meetings
lara
49
6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.8k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Documentation Writing (for coders)
carmenintech
65
4.4k
Automating Front-end Workflow
addyosmani
1365
200k
Testing 201, or: Great Expectations
jmmastey
38
7k
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Optimising Largest Contentful Paint
csswizardry
31
2.9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
9
630
Transcript
2020 Septeni CO.,LTD.. All Rights Reserved ベイジアンABテスト利用した 広告クリエイティブ検証の実現について
2020 Septeni CO.,LTD.. All Rights Reserved 1 自己紹介 ▪名前 大塩和朗(オオシオカズアキ)
▪所属 株式会社セプテーニ(デジタル広告代理事業) ▪業務 広告効果の計測ツールの活用提案およびサポート デジタル広告の根幹でもある効果計測周りの専門家です (もし、広告のツール関連で質問あればいつでもどうぞ!)
2020 Septeni CO.,LTD.. All Rights Reserved 1. 広告業界のABテストとは?
2020 Septeni CO.,LTD.. All Rights Reserved 3 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類
広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100万本突破!! SALE クリック率(CTR)もしくはコンバージョン率(CVR)を参考にパフォーマンスを判断する
2020 Septeni CO.,LTD.. All Rights Reserved 4 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類
広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100万本突破!! SALE CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8% 顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い
2020 Septeni CO.,LTD.. All Rights Reserved 5 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類
広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100万本突破!! SALE CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8% 顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い 偶然??
2020 Septeni CO.,LTD.. All Rights Reserved 6 1. 要するに かなり小さな差ですが、お預かりしているご予算が大きいため
結果に大きな影響を与える可能性があります
2020 Septeni CO.,LTD.. All Rights Reserved 7 1. 広告業界のABテストの実態 取得できるデータは、日別×クリエイティブごとの
広告表示回数・クリック数・CV数のみ 1行が1日単位のデータ 定義が異なるCV数 imp = 広告の表示回数 click = 広告がクリックされた回数 ※数字には係数がかかっています
2020 Septeni CO.,LTD.. All Rights Reserved 8 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判断基準
AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる
2020 Septeni CO.,LTD.. All Rights Reserved 9 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判断基準
AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる 広告配信システム側の機械学習によって 予測効果が他に比べて良いと判断された結果
2020 Septeni CO.,LTD.. All Rights Reserved 10 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判断基準
AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる •Good Point シンプルでわかりやすい 準備が必要ない ×Bad Point 新規で出稿した広告には配信が偏り難い傾向 ロジックは原則ブラックボックス
2020 Septeni CO.,LTD.. All Rights Reserved 11 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判断基準
AD AD 広告表示回数 多 広告表示回数 少 広告表示回数の偏りで判断する カイ二乗検定を用いる •Good Point p値が一般的な概念になっており、説明が容易 ×Bad Point データ量が多ければp値での判断も可能だが 予算が限られている場合も多く、データがたまる前に 判断しなければならない場合が多い
2020 Septeni CO.,LTD.. All Rights Reserved 12 1. 要するに 広告表示回数の偏りで判断する
カイ二乗検定を用いる こちらの方法では、判断できない場合が多い 時間や手間がかかる上に p値で判断できるデータ量に達する前に 判断しなければならない場合が多い
2020 Septeni CO.,LTD.. All Rights Reserved 13 1. 要するに 単純にCVRの大小比較だけで判断してしまうか?
いや、それだとご納得いただけない場合も多い…
2020 Septeni CO.,LTD.. All Rights Reserved 14 1. そこで ベイジアンABテストが使えるのでは!?
2020 Septeni CO.,LTD.. All Rights Reserved 2. ベイジアンABテストの良い点
2020 Septeni CO.,LTD.. All Rights Reserved 16 2. 補足 ベイジアンABテストはここから使えます
2020 Septeni CO.,LTD.. All Rights Reserved 17 2. ベイジアンABテストの良い点 結果がシンプルで直感的
「改善する確率」欄で 既存LPの方が93%の確率で 改善することがわかる
2020 Septeni CO.,LTD.. All Rights Reserved 18 2. ベイジアンABテストの良い点 圧倒的に判断までが早い
何%以上の改善確率が出たら判断する という決め事をしてしまえば かなり早い段階で判断が可能
2020 Septeni CO.,LTD.. All Rights Reserved 19 2. ベイジアンABテストの良い点 グラフがとてもわかりやすい
棒1本1本が「改善率」と 「改善する確率」を表している この棒の場合、8.42%の確率で 45%CVRが改善するという意味 (改善する)確率 改善率(CVRが◦%改善する)
2020 Septeni CO.,LTD.. All Rights Reserved 20 2. ベイジアンABテストの良い点 グラフがとてもわかりやすい
(改善する)確率 改善率(CVRがxx%改善する) ここが改善率0%の場所 これより左側の領域は悪化する可能性 これより右側の領域は改善する可能性 を示している 改善率0%
2020 Septeni CO.,LTD.. All Rights Reserved 21 2. ベイジアンABテストの良い点 用意するデータもシンプル
CVしなかった場合のクリック数 ( = クリック数 – CV) CVした場合のクリック数 ( = CV) ※今回は分かりやすく集計しましたが、データが日別になってても動きます
2020 Septeni CO.,LTD.. All Rights Reserved 22 2. つまり 統計初心者の現場でも容易に理解でき
グラフも視覚的で分かりやすく伝えやすい かつ、データ収集も容易なのが ベイジアンABテスト
2020 Septeni CO.,LTD.. All Rights Reserved 3. ベイジアンABテストの補足
2020 Septeni CO.,LTD.. All Rights Reserved 24 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
これは差はまだ明確じゃないと判断すべき? それとも、「改善する確率」を信じる? 改善確率90%の状態での確率分布
2020 Septeni CO.,LTD.. All Rights Reserved 25 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
結論、改善確率を信じて良いと思います! 改善確率90%の状態での確率分布
2020 Septeni CO.,LTD.. All Rights Reserved 26 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
この表はAとBそれぞれのCVRが出る確率を表している 改善確率90%の状態での確率分布
2020 Septeni CO.,LTD.. All Rights Reserved 27 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
改善確率90%の状態での確率分布 仮にAのCVRが0.6%をとったとする
2020 Septeni CO.,LTD.. All Rights Reserved 28 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
改善確率90%の状態での確率分布 AのCVR = 0.6% AよりもBのCVRが大きくなる確率はこの領域
2020 Septeni CO.,LTD.. All Rights Reserved 29 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
改善確率90%の状態での確率分布 AのCVR = 0.65% AよりもBのCVRが大きくなる確率はこの領域
2020 Septeni CO.,LTD.. All Rights Reserved 30 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
改善確率90%の状態での確率分布 AのCVR = 0.8% AよりもBのCVRが大きくなる確率はこの領域
2020 Septeni CO.,LTD.. All Rights Reserved 31 3. ベイジアンABテストの問題点(疑問点) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…
改善確率90%の状態での確率分布 見た目以上にAよりもBの方がCVRが大きくなる確率は低く その状態を「改善確率」としてわかりやすい数値で示している よって、「改善確率」で成否判断をしてもよいと考えられる
2020 Septeni CO.,LTD.. All Rights Reserved 32 3. ベイジアンABテストの問題点(疑問点) ここにはどの数値を入れるべきかわからない
既存CRのCVRと標準偏差?
2020 Septeni CO.,LTD.. All Rights Reserved 33 3. ベイジアンABテストの問題点(疑問点) ここにはどの数値を入れるべきかわからない
結論: マーケターの皆さんが感覚的にわかっている 「このサイトならこのぐらいのCVRだろう」 という数値を入れれば問題ありません!
2020 Septeni CO.,LTD.. All Rights Reserved 34 3. ベイジアンABテストの問題点(疑問点) ここにはどの数値を入れるべきかわからない
時間 Aの広告を配信 その後、ABテストをするため Bの広告を追加配信 Aの広告にはBを配信するまでに貯めてきた 配信データがある この数値を入れれば良い
2020 Septeni CO.,LTD.. All Rights Reserved 35 3. ベイジアンABテストの問題点(疑問点) ここにはどの数値を入れるべきかわからない
時間 ABテストをするため AとBの広告を配信開始 Aの広告のデータがなかったとしても 「この広告ならこのぐらいのCVRでるだろう」 という数値をいれれば良い
2020 Septeni CO.,LTD.. All Rights Reserved 36 3. ベイジアンABテストの問題点(疑問点) ここにはどの数値を入れるべきかわからない
むしろ、数値を入れなくても動く ※数値を入れた場合、「より少ないデータで結果を 判断できるようになる」というメリットがある
2020 Septeni CO.,LTD.. All Rights Reserved 37 まだまだ勉強不足な部分が多々あります もし、ご指摘がございましたらご教授頂けますと幸いです! ご清聴いただきありがとうございました!