信頼区間を利用した 広告クリエイティブの パフォーマンス評価

2020/10/2(金) に開催したExploratory データサイエンス勉強会#15の羽生田 啓様のご登壇資料です。

Transcript

1. 信頼区間を利⽤した
   広告クリエイティブの
   パフォーマンス評価
   

   View Slide

2. l 名前︓⽻⽣⽥ 哲啓（はにゅうだ てつひろ）
   l 所属︓広告事業
   l 業務︓広告ページの審査 / 集計分析
   l 副業︓広告運⽤（yahoo、Scale Out など）
   ⾃⼰紹介
   

   View Slide

3. l ECサイト
   l 商品数は数百種類
   l 主に⼥性向け商品を扱っている
   運⽤しているクライアント情報
   

   View Slide

4. 代理店からの依頼...
   クライアントさんがキャンペーンをやるみたいだ
   多くのお客さんを集客したいのでABテストを実施します︕
   また、カルーセル広告を試したいみたい
   その結果を分かりやすく可視化して、クライアントさんに結果を報告したいな
   結果を分かりやすく可視化ですね、、
   了解しました︕
   

   View Slide

5. 要点としては...
   ①どのカルーセル広告が効果良いのかを知りたい
   ②クライアントさんに分かりやすい形でのレポーティングをしたい
   

   View Slide

6. ちなみにカルーセル広告とは...
   l 1つの広告枠で複数商品を紹介できる
   l ストーリー仕⽴ての訴求ができる
   l 各画像ごとに任意のリンクを設定できる
   

   View Slide

7. View Slide

8. ① ②
   ③ ④
   ※実際のクリエイティブではありません。ダミーのバナーとなります。
   

   View Slide

9. ① ②
   ③ ④
   8枚 2枚
   4枚 4枚
   

   View Slide

10. ① ②
    ③ ④
    1.87% 0.45%
    0.83% 0.71%
    

    View Slide

11. では、早速結果をレポーティングしよう︕
    クリエイ
    ティブ
    クリック率
    （CTR）
    広告表⽰回数 クリック数 評価
    ① 1.87% ××××××× 回 △△ 回 １位
    ② 0.45% ××××××× 回 △△ 回 ４位
    ③ 0.83% ××××××× 回 △△ 回 ２位
    ④ 0.71% ××××××× 回 △△ 回 ３位
    l ⼀番クリック率（CTR）が良かったのは「①」のバナーである
    l クリック率（CTR）の順位は「①」「③」「④」「②」の順番であった
    l 「③」「④」は４枚画像のカルーセルで⽐較したところ、「③」の⽅がクリック率（CTR）が
    0.12%⾼かった
    ① ④ ②
    ③
    

    View Slide

12. 統計を学んだ今だから、感じる違和感があります...
    l バーチャートだけで判断していいのか..
    l 確かに割合には差が出ているが、たまたまでは
    ないのか..
    

    View Slide

13. 今はこんな感じで懐疑的な疑問が..
    クリエイ
    ティブ
    クリック率 広告表⽰回数 クリック数 評価
    ① 1.87% ××××××× 回 △△ 回 １位
    ② 0.45% ××××××× 回 △△ 回 ４位
    ③ 0.83% ××××××× 回 △△ 回 ２位
    ④ 0.71% ××××××× 回 △△ 回 ３位
    l ⼀番誘導率が良かったのは「①」のバナーである
    l 誘導率の順位は「①」「③」「④」「②」であった
    l 「③」「④」は４枚画像のカルーセルであったが、「③」の⽅がCTRが0.12%⾼かった
    ① ④ ②
    ③
    

    View Slide

14. そうだ︕
    エラーバー（95%信頼区間）を利⽤して
    「可視化」「レポーティング」してみよう︕
    

    View Slide

15. エラーバー（95%信頼区間）とは...︖
    95%信頼区間を使うと、⼿もとの限りあるデータからでも、
    幅をもたせて真の平均や割合を推定していくことができる。
    

    View Slide

16. エラーバー（95%信頼区間）とは...︖
    95%信頼区間を使うことで、複数のカテゴリーの間に違いが合った時、
    それは「注⽬するに値する」違いなのかを判断しやすくなる。
    つまり、クリエイティブごとのクリック率の違いに、「確かな」違い
    があるか判断していくことができる。
    

    View Slide

17. ①
    ③ ④
    ②
    

    View Slide

18. ①
    ③ ④
    ②
    

    View Slide

19. ①
    ③ ④ ②
    「8枚画像のクリエイティブ」は他の信頼区間と重なっ
    ていないので、「①のクリエイティブ」と「それ以外」
    では「真」のクリック率には違いがあり、その他に⽐べ
    てクリック率が⾼いと⾔える
    

    View Slide

20. ③ ④
    ②
    信頼区間が重なっているということは、「②」「③」「④」の「真」のクリック率
    は同じかもしれない。つまり、クリック率に違いがあると⾔えない
    

    View Slide

21. 平均値や割合に違いがあ
    るので、その数値を⾒て
    判断しよう︕
    統計を学ぶ前と後での数値の解釈の仕⽅
    平均値や割合に違いがあっても、
    統計的に有意な差があるかは調べてみな
    いと分からない。
    エラーバーで⾒てみたり、検定を⾏って
    平均値や割合の違いに確かな差があるか
    どうかを調べてから判断しよう︕
    Before After
    

    View Slide

22. ちなみに、Exploratoryなら簡単にエラーバーが作成できます︕
    

    View Slide

23. ちなみに、Exploratoryなら簡単にエラーバーが作成できます︕
    グラフ作成で「エラーバー」を選択して
    X軸、Y軸に⾒たいデータを選択すれば作成完了︕
    平均のラインも引く
    ことも可能︕
    

    View Slide

24. まとめ
    l バーチャートを使って平均値や割合だけで優劣を判断するの
    は間違っている可能性がある
    l 今回はエラーバー（95%信頼区間）を⽤いることでクリエイ
    ティブ毎のクリック率（CTR）に確かな違いがあるかを判断
    する事ができた
    

    View Slide

25. 補⾜
    今回は、クリエイティブのパフォーマンス評価を⾒ていきましたが、
    「部署毎の離職率」「新商品毎の購⼊率」「各クラスのテストの平均点」等
    様々な場⾯で活⽤することも可能かと思います
    

    View Slide

26. ご清聴ありがとうございました。
    

    View Slide