信頼区間を利用した 広告クリエイティブの パフォーマンス評価

2020/10/2(金) に開催したExploratory データサイエンス勉強会#15の羽生田 啓様のご登壇資料です。

Transcript

1. 信頼区間を利⽤した 広告クリエイティブの パフォーマンス評価
2. l 名前︓⽻⽣⽥ 哲啓（はにゅうだ てつひろ） l 所属︓広告事業 l 業務︓広告ページの審査 / 集計分析 l 副業︓広告運⽤（yahoo、Scale Out など） ⾃⼰紹介
3. l ECサイト l 商品数は数百種類 l 主に⼥性向け商品を扱っている 運⽤しているクライアント情報
4. 代理店からの依頼... クライアントさんがキャンペーンをやるみたいだ 多くのお客さんを集客したいのでABテストを実施します︕ また、カルーセル広告を試したいみたい その結果を分かりやすく可視化して、クライアントさんに結果を報告したいな 結果を分かりやすく可視化ですね、、 了解しました︕
5. 要点としては... ①どのカルーセル広告が効果良いのかを知りたい ②クライアントさんに分かりやすい形でのレポーティングをしたい
6. ちなみにカルーセル広告とは... l 1つの広告枠で複数商品を紹介できる l ストーリー仕⽴ての訴求ができる l 各画像ごとに任意のリンクを設定できる
8. ① ② ③ ④ ※実際のクリエイティブではありません。ダミーのバナーとなります。
9. ① ② ③ ④ 8枚 2枚 4枚 4枚
10. ① ② ③ ④ 1.87% 0.45% 0.83% 0.71%
11. では、早速結果をレポーティングしよう︕ クリエイ ティブ クリック率 （CTR） 広告表⽰回数 クリック数 評価 ① 1.87% ××××××× 回 △△ 回 １位 ② 0.45% ××××××× 回 △△ 回 ４位 ③ 0.83% ××××××× 回 △△ 回 ２位 ④ 0.71% ××××××× 回 △△ 回 ３位 l ⼀番クリック率（CTR）が良かったのは「①」のバナーである l クリック率（CTR）の順位は「①」「③」「④」「②」の順番であった l 「③」「④」は４枚画像のカルーセルで⽐較したところ、「③」の⽅がクリック率（CTR）が 0.12%⾼かった ① ④ ② ③
12. 統計を学んだ今だから、感じる違和感があります... l バーチャートだけで判断していいのか.. l 確かに割合には差が出ているが、たまたまでは ないのか..
13. 今はこんな感じで懐疑的な疑問が.. クリエイ ティブ クリック率 広告表⽰回数 クリック数 評価 ① 1.87% ××××××× 回 △△ 回 １位 ② 0.45% ××××××× 回 △△ 回 ４位 ③ 0.83% ××××××× 回 △△ 回 ２位 ④ 0.71% ××××××× 回 △△ 回 ３位 l ⼀番誘導率が良かったのは「①」のバナーである l 誘導率の順位は「①」「③」「④」「②」であった l 「③」「④」は４枚画像のカルーセルであったが、「③」の⽅がCTRが0.12%⾼かった ① ④ ② ③
14. そうだ︕ エラーバー（95%信頼区間）を利⽤して 「可視化」「レポーティング」してみよう︕
15. エラーバー（95%信頼区間）とは...︖ 95%信頼区間を使うと、⼿もとの限りあるデータからでも、 幅をもたせて真の平均や割合を推定していくことができる。
16. エラーバー（95%信頼区間）とは...︖ 95%信頼区間を使うことで、複数のカテゴリーの間に違いが合った時、 それは「注⽬するに値する」違いなのかを判断しやすくなる。 つまり、クリエイティブごとのクリック率の違いに、「確かな」違い があるか判断していくことができる。
17. ① ③ ④ ②
18. ① ③ ④ ②
19. ① ③ ④ ② 「8枚画像のクリエイティブ」は他の信頼区間と重なっ ていないので、「①のクリエイティブ」と「それ以外」 では「真」のクリック率には違いがあり、その他に⽐べ てクリック率が⾼いと⾔える
20. ③ ④ ② 信頼区間が重なっているということは、「②」「③」「④」の「真」のクリック率 は同じかもしれない。つまり、クリック率に違いがあると⾔えない
21. 平均値や割合に違いがあ るので、その数値を⾒て 判断しよう︕ 統計を学ぶ前と後での数値の解釈の仕⽅ 平均値や割合に違いがあっても、 統計的に有意な差があるかは調べてみな いと分からない。 エラーバーで⾒てみたり、検定を⾏って 平均値や割合の違いに確かな差があるか どうかを調べてから判断しよう︕ Before After
22. ちなみに、Exploratoryなら簡単にエラーバーが作成できます︕
23. ちなみに、Exploratoryなら簡単にエラーバーが作成できます︕ グラフ作成で「エラーバー」を選択して X軸、Y軸に⾒たいデータを選択すれば作成完了︕ 平均のラインも引く ことも可能︕
24. まとめ l バーチャートを使って平均値や割合だけで優劣を判断するの は間違っている可能性がある l 今回はエラーバー（95%信頼区間）を⽤いることでクリエイ ティブ毎のクリック率（CTR）に確かな違いがあるかを判断 する事ができた
25. 補⾜ 今回は、クリエイティブのパフォーマンス評価を⾒ていきましたが、 「部署毎の離職率」「新商品毎の購⼊率」「各クラスのテストの平均点」等 様々な場⾯で活⽤することも可能かと思います
26. ご清聴ありがとうございました。