マーケティングにおけるキャンペーンや広告の効果測定にはどんな観点があるか / Insight_DataDriven_Study_Meeting

作成者 ：しんゆう＠データ分析とインテリジェンス
ブログ ：https://analytics-and-intelligence.net/
Twitter：https://twitter.com/data_analyst_

Transcript

1. マーケティングにおけるキャンペーンや 広告の効果測定にはどんな観点があるか しんゆう＠データ分析とインテリジェンス 2019/07/18 Insight & DataDriven Study Meeting
2. 本日の資料は https://speakerdeck.com/shinu/insight-datadriven- study-meeting に公開済みです。 ブログ・note・Twitterからもリンクがあります スライドは公開してあります
3. • 「インサイト」「データドリブン」「仮説」などなどいろ いろな言葉がある • 共通しているのは土台となるのが正確な情報・データを手 に入れること • 情報・データ収集の全体像はあまりに膨大で時間がない • 今回は「マーケティングのキャンペーンや広告の効果測定 を行うためにはどういった情報・データが必要か」という テーマでかつ「観点」に絞った 前置き
4. • 自己紹介 • 効果測定のための６つの「観点」 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを知るといい のか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか • まとめ 目次
5. 自己紹介
6. HN：しんゆう 仕事：フリーランスのデータアナリストを名乗る何でも屋 最近全然分析してない 「データ分析とインテリジェンス」を書いてる人 ブログ ：https://analytics-and-intelligence.net/ Note ：https://note.mu/shinu Twitter：@data_analyst_ 自己紹介
7. 効果測定のための６つの「観点」
8. • 効果測定と言うと「どれだけプラスになったか」の数字に だけ話がいきがち • それはもちろん重要なのは間違いないがそれだけではしっ かりとした効果測定はできないのでは？ • 他にどんなことを考える必要があるのか「観点」を考えて みる 効果測定のための６つの観点
9. • 効果測定にはどんな「観点」があるかを考えると 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを 知るといいのか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか 各項目について詳しく見ていく 効果測定のための６つの観点
10. 効果測定の観点１ 何のために効果測定をするのか
11. 「何のために効果測定をするのか」の観点 ◆なぜ効果測定をするのか ◆効果測定する必要があるのか 「何のために効果測定をするのか」の観点
12. ◆ なぜ効果測定をするのか • 効果測定そのものは目的ではない • 過去のキャンペーンでどうだったかを分析、検証するのは 次にどうするかの意思決定をするため • なので効果測定した結果を眺めてよかった悪かったを語る だけでは意味がない 「何のために効果測定をするのか」の観点
13. ◆ 効果測定する必要があるのか • 結果がどうあれ次どうするかが決まっているならば効果測 定したところで意思決定に繋がらないので「将来に向けて の良い勉強」にしかならない • それはそれでいいかもしれないが、他にやるべきことはた くさんあるのでは 「何のために効果測定をするのか」の観点
14. 効果測定の観点２ 何を測るか
15. 「何を測るか」の観点 ◆何を測るか ◆指標をどう選ぶか 「何を測るか」の観点
16. ◆ 何を測るか • 測るべきは「キャンペーンをやらなかった場合に比べて増 えた分はどれぐらいか」 • もう１つはその施策に費やしたコストがどれぐらいか • どちらが欠けても効果測定にならない 「何を測るか」の観点
17. ◆ 指標をどう選ぶか • 「会員数を増やすキャンペーン」なら「会員数」を見る • キャンペーンを始める前に決めておく方がよい • 後になって決めようとすると都合良く出ていそうな数字を 探したりしてしまう 「何を測るか」の観点
18. 効果測定の観点３ どうやって効果を測るのか
19. 「どうやって効果を測るのか」の観点 ◆増えた分をどう測るか ◆コストをどう測るか ◆効果のある期間をどう設定するか ◆効果とみなす対象をどこまでにするか ◆他の影響をどこまで加味するか ◆共食いをどこまで考慮するか ◆セグメントをどう分けるか ◆使えるデータはどれだけあるか 「どうやって効果を測るのか」の観点
20. ◆ 増えた分をどう測るか（１） • キャンペーンをやらなかった場合どうだったかは通常直接 には観測できない • なので何とかして比較にできるデータを探してこなければ ならないが、実際には大変な問題 • いくら「キャンペーンがなかった場合」を予測してもそれ が正しいのかは証明できない • これだけで1冊の本が書ける 「どうやって効果を測るのか」の観点
21. ◆ 増えた分をどう測るか（２） • 比較対象を置かないと「バレンタインデー直前に打ったチ ョコレートの広告」になる • ランダム化比較試験が全国チェーンなどできない場合も多 々ある • 後でカバーできないことも多いので事前にしっかりとした 設計をしておくべき 「どうやって効果を測るのか」の観点
22. ◆ コストをどう測るか • 単純に増えた分だけを測ればプラスになるのは当然のこと なので、コストも一緒に考える • 値引き分や発行したクーポンの分は大前提 • 制作費や人件費も考慮すべき。意図的にしろそうでないに しろ結構忘れられる 「どうやって効果を測るのか」の観点
23. ◆ 効果のある期間をどう設定するか • 新規獲得キャンペーンで増えた会員がいたとして、その会 員による売り上げの増加分をいつまで加味するか • キャンペーンがきっかけでの購入なのでその１回分だけ、 キャンペーンがきっかけなのでその後もずっと効果？ • 両方とも一理あるけれども、実際のところはその間のどこ かにあるはず • しかしそのどこかを客観的に決める方法はあるのか？ 「どうやって効果を測るのか」の観点
24. ◆ 効果とみなす対象をどこまでにするか • ある商品を対象にしたキャンペーン期間中に同時にB商品を 購入したら、それはキャンペーンの効果なのか。 • 間接効果（アトリビューション）は概念としては理解でき ても計測することは難しい • これも0ではないだろうが、すべてを含めるのは不自然 「どうやって効果を測るのか」の観点
25. ◆ 共食いをどこまで考慮するか • ある商品Aの値引きの影響で本来売れていたと予想されるよ り利益率の高い商品Bが売れなくなった • 商品Aのキャンペーンとしては成功だったとしても、その効 果からは共食い分を差し引きたい • しかし間接効果と同じでどこからどこまでがキャンペーン の影響なのかを測ることは難しい 「どうやって効果を測るのか」の観点
26. ◆ セグメントをどう分けるか • 既存のヘビーユーザーと新規顧客ではキャンペーンの影響 が違うことは間違いない • ではどのようにセグメントを分ければそれぞれのセグメン トの効果をうまく図ることができるか • 「過去の購買行動で分ける」にしても、金額、回数、商品 カテゴリー、頻度など数多く、クラスター分析してもよく わからない 「どうやって効果を測るのか」の観点
27. ◆ 使えるデータはどれだけあるか • 効果測定しようにも事前に準備しておかないと後からでは 手に入らないデータもある • いくら手法を使おうにも必要なデータが足りていないので あれば別の方法を考えるしかない 「どうやって効果を測るのか」の観点
28. ４．次にどうするかを考えるためには 他にどんなことを知るといいのか
29. 「次にどうするかを考えるためには他にどんなこと を知るといいのか」の観点 ◆他の施策との比較 ◆中止した場合の影響の予測 ◆継続した場合の影響の予測 「次にどうするかを考えるためには」の観点
30. ◆ 他の施策との比較 • そのキャンペーンだけどみれば良い結果になったように見 えても、実は他のキャンペーンに同じだけのリソースを投 入したらもっと良い結果が得られたのでは • より良い方法があるなら次はそちらを選べばよく、そのキ ャンペーンが失敗だったとは考えない 「次にどうするかを考えるためには」の観点
31. ◆ 中止した場合の影響の予測 • 利用者のモチベーションが下がることでの影響 • 競合の動き。同じようなキャンペーンで顧客を取られない か • 市場判断。ネガティブな材料として捉えられないか • 何をしたところで文句を言う人はいるので、適切な指摘と の区別をしたいが、その方法 「次にどうするかを考えるためには」の観点
32. ◆ 継続した場合の影響の予測 • 効果の減衰。同じキャンペーンを続けても同じ結果になる ことは期待できない • インセンティブを変えることによる効果への影響 • 競合の動き。より高いインセンティブを出された時の影響 • 地域や対象を広げるとしたら同じ効果が期待できるのか 「次にどうするかを考えるためには」の観点
33. ５．その分析を誰がやるのか
34. 「その分析を誰がやるのか」の観点 ◆データ分析の専門家（達） ◆外部のデータ分析サービスを利用する ◆媒体や代理店に任せる ◆PMやマーケターが自分でやる 「その分析を誰がやるのか」の観点
35. ◆ データ分析の専門家（達） • 個々の問題はそれだけでも大変な問題 • 定量的・定性的それぞれの知見が必要 • 専門的な訓練や経験のある人がやるべき仕事 • できる人が社内に揃っている場合はまれ 「その分析を誰がやるのか」の観点
36. ◆ PMやマーケターが自分でやる • 一番多いケース。意思決定が行動に直結するのはメリット • 専門スキルがあるわけではないので分析が浅くなる • 都合の悪いデータを黙殺したりしてもばれない • 最大の問題は本業が忙しくなると手が回らなくなる。つま り大体できない 「その分析を誰がやるのか」の観点
37. ◆ 媒体や代理店に任せる • 当たり前に行われてはいるが都合の悪いデータは出てこな い可能性大 • データを持っているので任せるしかない場合もある • 適切に情報・データを読むことができる人がいないといい ように扱われる 「その分析を誰がやるのか」の観点
38. ◆ 外部のデータ分析サービスを利用する • 依頼する側がきちんとマネジメントできないと時間と金の 無駄になる 「その分析を誰がやるのか」の観点
39. ６．限られた時間とリソースの中で どこまでやるか
40. 「限られた時間とリソースの中でどこまでやるか」 の観点 ◆最低限やるべきことはどこまでか ◆どこまで同時に考えるか ◆どこまでやれば十分に測ったと言えるか 「どこまでやるか」の観点
41. ◆ 最低限やるべきことは何か • 「増えた分 ー コスト」 • これだけでも相当な知識と時間が必要 • できもしないことにリソースを割くなら次のキャンペーン できちんと測定できるにはどうするか、だけを考えるほう がいいかもしれない 「どこまでやるか」の観点
42. ◆ どこまで同時に考えるか • これらは個別にではなくすべてが同時に起きている • 影響があることから順に優先順位をつけてできるところま で考える • どこがどれだけ影響しているか、はわかるのか？ 「どこまでやるか」の観点
43. ◆ どこまでやれば十分に測ったと言えるか • いくら時間やコストをかけても完璧にはわからないので程 よい塩梅にしないときりがない • しかし効果の全体像がわからないのに「このあたりまでで8 割わかるから十分」とも言えない • わからないことをわかったことにしてはいけない • わからないことはわからないこととして意思決定しなけれ ばならない 「どこまでやるか」の観点
44. まとめ
45. • 効果測定１つとってもわかろうとしたらこれだけの視点が あるし、きっともっとたくさん考えるべきことはある • 今回の話は「観点」だけで、具体的に知ろうとしたら１つ １つが実は大変な問題 • インサイトを得るためにはしっかりした土台となる情報・ データが必要だが、それは努力しなければ手に入れること はできないのでもっと力を入れてもいいのでは？ まとめ
46. ご清聴ありがとうございました。 しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-intelligence.net/ Note ：https://note.mu/shinu Twitter：@data_analyst_