マーケティングにおけるキャンペーンや広告の効果測定にはどんな観点があるか / Insight_DataDriven_Study_Meeting

by ShinU

Slide 1

Slide 1 text

マーケティングにおけるキャンペーンや広告の効果測定にはどんな観点があるかしんゆう＠データ分析とインテリジェンス 2019/07/18 Insight & DataDriven Study Meeting

Slide 2

Slide 2 text

本日の資料は https://speakerdeck.com/shinu/insight-datadriven- study-meeting に公開済みです。ブログ・note・Twitterからもリンクがありますスライドは公開してあります

Slide 3

Slide 3 text

• 「インサイト」「データドリブン」「仮説」などなどいろいろな言葉がある • 共通しているのは土台となるのが正確な情報・データを手に入れること • 情報・データ収集の全体像はあまりに膨大で時間がない • 今回は「マーケティングのキャンペーンや広告の効果測定を行うためにはどういった情報・データが必要か」というテーマでかつ「観点」に絞った前置き

Slide 4

Slide 4 text

• 自己紹介 • 効果測定のための６つの「観点」 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを知るといいのか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか • まとめ目次

Slide 5

Slide 5 text

自己紹介

Slide 6

Slide 6 text

HN：しんゆう仕事：フリーランスのデータアナリストを名乗る何でも屋最近全然分析してない「データ分析とインテリジェンス」を書いてる人ブログ：https://analytics-and-intelligence.net/ Note ：https://note.mu/shinu Twitter：@data_analyst_ 自己紹介

Slide 7

Slide 7 text

効果測定のための６つの「観点」

Slide 8

Slide 8 text

• 効果測定と言うと「どれだけプラスになったか」の数字にだけ話がいきがち • それはもちろん重要なのは間違いないがそれだけではしっかりとした効果測定はできないのでは？ • 他にどんなことを考える必要があるのか「観点」を考えてみる効果測定のための６つの観点

Slide 9

Slide 9 text

• 効果測定にはどんな「観点」があるかを考えると 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを知るといいのか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか各項目について詳しく見ていく効果測定のための６つの観点

Slide 10

Slide 10 text

効果測定の観点１何のために効果測定をするのか

Slide 11

Slide 11 text

「何のために効果測定をするのか」の観点 ◆なぜ効果測定をするのか ◆効果測定する必要があるのか「何のために効果測定をするのか」の観点

Slide 12

Slide 12 text

◆ なぜ効果測定をするのか • 効果測定そのものは目的ではない • 過去のキャンペーンでどうだったかを分析、検証するのは次にどうするかの意思決定をするため • なので効果測定した結果を眺めてよかった悪かったを語るだけでは意味がない「何のために効果測定をするのか」の観点

Slide 13

Slide 13 text

◆ 効果測定する必要があるのか • 結果がどうあれ次どうするかが決まっているならば効果測定したところで意思決定に繋がらないので「将来に向けての良い勉強」にしかならない • それはそれでいいかもしれないが、他にやるべきことはたくさんあるのでは「何のために効果測定をするのか」の観点

Slide 14

Slide 14 text

効果測定の観点２何を測るか

Slide 15

Slide 15 text

「何を測るか」の観点 ◆何を測るか ◆指標をどう選ぶか「何を測るか」の観点

Slide 16

Slide 16 text

◆ 何を測るか • 測るべきは「キャンペーンをやらなかった場合に比べて増えた分はどれぐらいか」 • もう１つはその施策に費やしたコストがどれぐらいか • どちらが欠けても効果測定にならない「何を測るか」の観点

Slide 17

Slide 17 text

◆ 指標をどう選ぶか • 「会員数を増やすキャンペーン」なら「会員数」を見る • キャンペーンを始める前に決めておく方がよい • 後になって決めようとすると都合良く出ていそうな数字を探したりしてしまう「何を測るか」の観点

Slide 18

Slide 18 text

効果測定の観点３どうやって効果を測るのか

Slide 19

Slide 19 text

「どうやって効果を測るのか」の観点 ◆増えた分をどう測るか ◆コストをどう測るか ◆効果のある期間をどう設定するか ◆効果とみなす対象をどこまでにするか ◆他の影響をどこまで加味するか ◆共食いをどこまで考慮するか ◆セグメントをどう分けるか ◆使えるデータはどれだけあるか「どうやって効果を測るのか」の観点

Slide 20

Slide 20 text

◆ 増えた分をどう測るか（１） • キャンペーンをやらなかった場合どうだったかは通常直接には観測できない • なので何とかして比較にできるデータを探してこなければならないが、実際には大変な問題 • いくら「キャンペーンがなかった場合」を予測してもそれが正しいのかは証明できない • これだけで1冊の本が書ける「どうやって効果を測るのか」の観点

Slide 21

Slide 21 text

◆ 増えた分をどう測るか（２） • 比較対象を置かないと「バレンタインデー直前に打ったチョコレートの広告」になる • ランダム化比較試験が全国チェーンなどできない場合も多々ある • 後でカバーできないことも多いので事前にしっかりとした設計をしておくべき「どうやって効果を測るのか」の観点

Slide 22

Slide 22 text

◆ コストをどう測るか • 単純に増えた分だけを測ればプラスになるのは当然のことなので、コストも一緒に考える • 値引き分や発行したクーポンの分は大前提 • 制作費や人件費も考慮すべき。意図的にしろそうでないにしろ結構忘れられる「どうやって効果を測るのか」の観点

Slide 23

Slide 23 text

◆ 効果のある期間をどう設定するか • 新規獲得キャンペーンで増えた会員がいたとして、その会員による売り上げの増加分をいつまで加味するか • キャンペーンがきっかけでの購入なのでその１回分だけ、キャンペーンがきっかけなのでその後もずっと効果？ • 両方とも一理あるけれども、実際のところはその間のどこかにあるはず • しかしそのどこかを客観的に決める方法はあるのか？「どうやって効果を測るのか」の観点

Slide 24

Slide 24 text

◆ 効果とみなす対象をどこまでにするか • ある商品を対象にしたキャンペーン期間中に同時にB商品を購入したら、それはキャンペーンの効果なのか。 • 間接効果（アトリビューション）は概念としては理解できても計測することは難しい • これも0ではないだろうが、すべてを含めるのは不自然「どうやって効果を測るのか」の観点

Slide 25

Slide 25 text

◆ 共食いをどこまで考慮するか • ある商品Aの値引きの影響で本来売れていたと予想されるより利益率の高い商品Bが売れなくなった • 商品Aのキャンペーンとしては成功だったとしても、その効果からは共食い分を差し引きたい • しかし間接効果と同じでどこからどこまでがキャンペーンの影響なのかを測ることは難しい「どうやって効果を測るのか」の観点

Slide 26

Slide 26 text

◆ セグメントをどう分けるか • 既存のヘビーユーザーと新規顧客ではキャンペーンの影響が違うことは間違いない • ではどのようにセグメントを分ければそれぞれのセグメントの効果をうまく図ることができるか • 「過去の購買行動で分ける」にしても、金額、回数、商品カテゴリー、頻度など数多く、クラスター分析してもよくわからない「どうやって効果を測るのか」の観点

Slide 27

Slide 27 text

◆ 使えるデータはどれだけあるか • 効果測定しようにも事前に準備しておかないと後からでは手に入らないデータもある • いくら手法を使おうにも必要なデータが足りていないのであれば別の方法を考えるしかない「どうやって効果を測るのか」の観点

Slide 28

Slide 28 text

４．次にどうするかを考えるためには他にどんなことを知るといいのか

Slide 29

Slide 29 text

「次にどうするかを考えるためには他にどんなことを知るといいのか」の観点 ◆他の施策との比較 ◆中止した場合の影響の予測 ◆継続した場合の影響の予測「次にどうするかを考えるためには」の観点

Slide 30

Slide 30 text

◆ 他の施策との比較 • そのキャンペーンだけどみれば良い結果になったように見えても、実は他のキャンペーンに同じだけのリソースを投入したらもっと良い結果が得られたのでは • より良い方法があるなら次はそちらを選べばよく、そのキャンペーンが失敗だったとは考えない「次にどうするかを考えるためには」の観点

Slide 31

Slide 31 text

◆ 中止した場合の影響の予測 • 利用者のモチベーションが下がることでの影響 • 競合の動き。同じようなキャンペーンで顧客を取られないか • 市場判断。ネガティブな材料として捉えられないか • 何をしたところで文句を言う人はいるので、適切な指摘との区別をしたいが、その方法「次にどうするかを考えるためには」の観点

Slide 32

Slide 32 text

◆ 継続した場合の影響の予測 • 効果の減衰。同じキャンペーンを続けても同じ結果になることは期待できない • インセンティブを変えることによる効果への影響 • 競合の動き。より高いインセンティブを出された時の影響 • 地域や対象を広げるとしたら同じ効果が期待できるのか「次にどうするかを考えるためには」の観点

Slide 33

Slide 33 text

５．その分析を誰がやるのか

Slide 34

Slide 34 text

「その分析を誰がやるのか」の観点 ◆データ分析の専門家（達） ◆外部のデータ分析サービスを利用する ◆媒体や代理店に任せる ◆PMやマーケターが自分でやる「その分析を誰がやるのか」の観点

Slide 35

Slide 35 text

◆ データ分析の専門家（達） • 個々の問題はそれだけでも大変な問題 • 定量的・定性的それぞれの知見が必要 • 専門的な訓練や経験のある人がやるべき仕事 • できる人が社内に揃っている場合はまれ「その分析を誰がやるのか」の観点

Slide 36

Slide 36 text

◆ PMやマーケターが自分でやる • 一番多いケース。意思決定が行動に直結するのはメリット • 専門スキルがあるわけではないので分析が浅くなる • 都合の悪いデータを黙殺したりしてもばれない • 最大の問題は本業が忙しくなると手が回らなくなる。つまり大体できない「その分析を誰がやるのか」の観点

Slide 37

Slide 37 text

◆ 媒体や代理店に任せる • 当たり前に行われてはいるが都合の悪いデータは出てこない可能性大 • データを持っているので任せるしかない場合もある • 適切に情報・データを読むことができる人がいないといいように扱われる「その分析を誰がやるのか」の観点

Slide 38

Slide 38 text

◆ 外部のデータ分析サービスを利用する • 依頼する側がきちんとマネジメントできないと時間と金の無駄になる「その分析を誰がやるのか」の観点

Slide 39

Slide 39 text

６．限られた時間とリソースの中でどこまでやるか

Slide 40

Slide 40 text

「限られた時間とリソースの中でどこまでやるか」の観点 ◆最低限やるべきことはどこまでか ◆どこまで同時に考えるか ◆どこまでやれば十分に測ったと言えるか「どこまでやるか」の観点

Slide 41

Slide 41 text

◆ 最低限やるべきことは何か • 「増えた分ーコスト」 • これだけでも相当な知識と時間が必要 • できもしないことにリソースを割くなら次のキャンペーンできちんと測定できるにはどうするか、だけを考えるほうがいいかもしれない「どこまでやるか」の観点

Slide 42

Slide 42 text

◆ どこまで同時に考えるか • これらは個別にではなくすべてが同時に起きている • 影響があることから順に優先順位をつけてできるところまで考える • どこがどれだけ影響しているか、はわかるのか？「どこまでやるか」の観点

Slide 43

Slide 43 text

◆ どこまでやれば十分に測ったと言えるか • いくら時間やコストをかけても完璧にはわからないので程よい塩梅にしないときりがない • しかし効果の全体像がわからないのに「このあたりまでで8 割わかるから十分」とも言えない • わからないことをわかったことにしてはいけない • わからないことはわからないこととして意思決定しなければならない「どこまでやるか」の観点

Slide 44

Slide 44 text

まとめ

Slide 45

Slide 45 text

• 効果測定１つとってもわかろうとしたらこれだけの視点があるし、きっともっとたくさん考えるべきことはある • 今回の話は「観点」だけで、具体的に知ろうとしたら１つ１つが実は大変な問題 • インサイトを得るためにはしっかりした土台となる情報・データが必要だが、それは努力しなければ手に入れることはできないのでもっと力を入れてもいいのでは？まとめ

Slide 46

Slide 46 text

ご清聴ありがとうございました。しんゆう＠データ分析とインテリジェンスブログ：https://analytics-and-intelligence.net/ Note ：https://note.mu/shinu Twitter：@data_analyst_