Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
マーケティングにおけるキャンペーンや 広告の効果測定にはどんな観点があるか しんゆう@データ分析とインテリジェンス 2019/07/18 Insight & DataDriven Study Meeting
Slide 2
Slide 2 text
本日の資料は https://speakerdeck.com/shinu/insight-datadriven- study-meeting に公開済みです。 ブログ・note・Twitterからもリンクがあります スライドは公開してあります
Slide 3
Slide 3 text
• 「インサイト」「データドリブン」「仮説」などなどいろ いろな言葉がある • 共通しているのは土台となるのが正確な情報・データを手 に入れること • 情報・データ収集の全体像はあまりに膨大で時間がない • 今回は「マーケティングのキャンペーンや広告の効果測定 を行うためにはどういった情報・データが必要か」という テーマでかつ「観点」に絞った 前置き
Slide 4
Slide 4 text
• 自己紹介 • 効果測定のための6つの「観点」 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを知るといい のか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか • まとめ 目次
Slide 5
Slide 5 text
自己紹介
Slide 6
Slide 6 text
HN:しんゆう 仕事:フリーランスのデータアナリストを名乗る何でも屋 最近全然分析してない 「データ分析とインテリジェンス」を書いてる人 ブログ :https://analytics-and-intelligence.net/ Note :https://note.mu/shinu Twitter:@data_analyst_ 自己紹介
Slide 7
Slide 7 text
効果測定のための6つの「観点」
Slide 8
Slide 8 text
• 効果測定と言うと「どれだけプラスになったか」の数字に だけ話がいきがち • それはもちろん重要なのは間違いないがそれだけではしっ かりとした効果測定はできないのでは? • 他にどんなことを考える必要があるのか「観点」を考えて みる 効果測定のための6つの観点
Slide 9
Slide 9 text
• 効果測定にはどんな「観点」があるかを考えると 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを 知るといいのか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか 各項目について詳しく見ていく 効果測定のための6つの観点
Slide 10
Slide 10 text
効果測定の観点1 何のために効果測定をするのか
Slide 11
Slide 11 text
「何のために効果測定をするのか」の観点 ◆なぜ効果測定をするのか ◆効果測定する必要があるのか 「何のために効果測定をするのか」の観点
Slide 12
Slide 12 text
◆ なぜ効果測定をするのか • 効果測定そのものは目的ではない • 過去のキャンペーンでどうだったかを分析、検証するのは 次にどうするかの意思決定をするため • なので効果測定した結果を眺めてよかった悪かったを語る だけでは意味がない 「何のために効果測定をするのか」の観点
Slide 13
Slide 13 text
◆ 効果測定する必要があるのか • 結果がどうあれ次どうするかが決まっているならば効果測 定したところで意思決定に繋がらないので「将来に向けて の良い勉強」にしかならない • それはそれでいいかもしれないが、他にやるべきことはた くさんあるのでは 「何のために効果測定をするのか」の観点
Slide 14
Slide 14 text
効果測定の観点2 何を測るか
Slide 15
Slide 15 text
「何を測るか」の観点 ◆何を測るか ◆指標をどう選ぶか 「何を測るか」の観点
Slide 16
Slide 16 text
◆ 何を測るか • 測るべきは「キャンペーンをやらなかった場合に比べて増 えた分はどれぐらいか」 • もう1つはその施策に費やしたコストがどれぐらいか • どちらが欠けても効果測定にならない 「何を測るか」の観点
Slide 17
Slide 17 text
◆ 指標をどう選ぶか • 「会員数を増やすキャンペーン」なら「会員数」を見る • キャンペーンを始める前に決めておく方がよい • 後になって決めようとすると都合良く出ていそうな数字を 探したりしてしまう 「何を測るか」の観点
Slide 18
Slide 18 text
効果測定の観点3 どうやって効果を測るのか
Slide 19
Slide 19 text
「どうやって効果を測るのか」の観点 ◆増えた分をどう測るか ◆コストをどう測るか ◆効果のある期間をどう設定するか ◆効果とみなす対象をどこまでにするか ◆他の影響をどこまで加味するか ◆共食いをどこまで考慮するか ◆セグメントをどう分けるか ◆使えるデータはどれだけあるか 「どうやって効果を測るのか」の観点
Slide 20
Slide 20 text
◆ 増えた分をどう測るか(1) • キャンペーンをやらなかった場合どうだったかは通常直接 には観測できない • なので何とかして比較にできるデータを探してこなければ ならないが、実際には大変な問題 • いくら「キャンペーンがなかった場合」を予測してもそれ が正しいのかは証明できない • これだけで1冊の本が書ける 「どうやって効果を測るのか」の観点
Slide 21
Slide 21 text
◆ 増えた分をどう測るか(2) • 比較対象を置かないと「バレンタインデー直前に打ったチ ョコレートの広告」になる • ランダム化比較試験が全国チェーンなどできない場合も多 々ある • 後でカバーできないことも多いので事前にしっかりとした 設計をしておくべき 「どうやって効果を測るのか」の観点
Slide 22
Slide 22 text
◆ コストをどう測るか • 単純に増えた分だけを測ればプラスになるのは当然のこと なので、コストも一緒に考える • 値引き分や発行したクーポンの分は大前提 • 制作費や人件費も考慮すべき。意図的にしろそうでないに しろ結構忘れられる 「どうやって効果を測るのか」の観点
Slide 23
Slide 23 text
◆ 効果のある期間をどう設定するか • 新規獲得キャンペーンで増えた会員がいたとして、その会 員による売り上げの増加分をいつまで加味するか • キャンペーンがきっかけでの購入なのでその1回分だけ、 キャンペーンがきっかけなのでその後もずっと効果? • 両方とも一理あるけれども、実際のところはその間のどこ かにあるはず • しかしそのどこかを客観的に決める方法はあるのか? 「どうやって効果を測るのか」の観点
Slide 24
Slide 24 text
◆ 効果とみなす対象をどこまでにするか • ある商品を対象にしたキャンペーン期間中に同時にB商品を 購入したら、それはキャンペーンの効果なのか。 • 間接効果(アトリビューション)は概念としては理解でき ても計測することは難しい • これも0ではないだろうが、すべてを含めるのは不自然 「どうやって効果を測るのか」の観点
Slide 25
Slide 25 text
◆ 共食いをどこまで考慮するか • ある商品Aの値引きの影響で本来売れていたと予想されるよ り利益率の高い商品Bが売れなくなった • 商品Aのキャンペーンとしては成功だったとしても、その効 果からは共食い分を差し引きたい • しかし間接効果と同じでどこからどこまでがキャンペーン の影響なのかを測ることは難しい 「どうやって効果を測るのか」の観点
Slide 26
Slide 26 text
◆ セグメントをどう分けるか • 既存のヘビーユーザーと新規顧客ではキャンペーンの影響 が違うことは間違いない • ではどのようにセグメントを分ければそれぞれのセグメン トの効果をうまく図ることができるか • 「過去の購買行動で分ける」にしても、金額、回数、商品 カテゴリー、頻度など数多く、クラスター分析してもよく わからない 「どうやって効果を測るのか」の観点
Slide 27
Slide 27 text
◆ 使えるデータはどれだけあるか • 効果測定しようにも事前に準備しておかないと後からでは 手に入らないデータもある • いくら手法を使おうにも必要なデータが足りていないので あれば別の方法を考えるしかない 「どうやって効果を測るのか」の観点
Slide 28
Slide 28 text
4.次にどうするかを考えるためには 他にどんなことを知るといいのか
Slide 29
Slide 29 text
「次にどうするかを考えるためには他にどんなこと を知るといいのか」の観点 ◆他の施策との比較 ◆中止した場合の影響の予測 ◆継続した場合の影響の予測 「次にどうするかを考えるためには」の観点
Slide 30
Slide 30 text
◆ 他の施策との比較 • そのキャンペーンだけどみれば良い結果になったように見 えても、実は他のキャンペーンに同じだけのリソースを投 入したらもっと良い結果が得られたのでは • より良い方法があるなら次はそちらを選べばよく、そのキ ャンペーンが失敗だったとは考えない 「次にどうするかを考えるためには」の観点
Slide 31
Slide 31 text
◆ 中止した場合の影響の予測 • 利用者のモチベーションが下がることでの影響 • 競合の動き。同じようなキャンペーンで顧客を取られない か • 市場判断。ネガティブな材料として捉えられないか • 何をしたところで文句を言う人はいるので、適切な指摘と の区別をしたいが、その方法 「次にどうするかを考えるためには」の観点
Slide 32
Slide 32 text
◆ 継続した場合の影響の予測 • 効果の減衰。同じキャンペーンを続けても同じ結果になる ことは期待できない • インセンティブを変えることによる効果への影響 • 競合の動き。より高いインセンティブを出された時の影響 • 地域や対象を広げるとしたら同じ効果が期待できるのか 「次にどうするかを考えるためには」の観点
Slide 33
Slide 33 text
5.その分析を誰がやるのか
Slide 34
Slide 34 text
「その分析を誰がやるのか」の観点 ◆データ分析の専門家(達) ◆外部のデータ分析サービスを利用する ◆媒体や代理店に任せる ◆PMやマーケターが自分でやる 「その分析を誰がやるのか」の観点
Slide 35
Slide 35 text
◆ データ分析の専門家(達) • 個々の問題はそれだけでも大変な問題 • 定量的・定性的それぞれの知見が必要 • 専門的な訓練や経験のある人がやるべき仕事 • できる人が社内に揃っている場合はまれ 「その分析を誰がやるのか」の観点
Slide 36
Slide 36 text
◆ PMやマーケターが自分でやる • 一番多いケース。意思決定が行動に直結するのはメリット • 専門スキルがあるわけではないので分析が浅くなる • 都合の悪いデータを黙殺したりしてもばれない • 最大の問題は本業が忙しくなると手が回らなくなる。つま り大体できない 「その分析を誰がやるのか」の観点
Slide 37
Slide 37 text
◆ 媒体や代理店に任せる • 当たり前に行われてはいるが都合の悪いデータは出てこな い可能性大 • データを持っているので任せるしかない場合もある • 適切に情報・データを読むことができる人がいないといい ように扱われる 「その分析を誰がやるのか」の観点
Slide 38
Slide 38 text
◆ 外部のデータ分析サービスを利用する • 依頼する側がきちんとマネジメントできないと時間と金の 無駄になる 「その分析を誰がやるのか」の観点
Slide 39
Slide 39 text
6.限られた時間とリソースの中で どこまでやるか
Slide 40
Slide 40 text
「限られた時間とリソースの中でどこまでやるか」 の観点 ◆最低限やるべきことはどこまでか ◆どこまで同時に考えるか ◆どこまでやれば十分に測ったと言えるか 「どこまでやるか」の観点
Slide 41
Slide 41 text
◆ 最低限やるべきことは何か • 「増えた分 ー コスト」 • これだけでも相当な知識と時間が必要 • できもしないことにリソースを割くなら次のキャンペーン できちんと測定できるにはどうするか、だけを考えるほう がいいかもしれない 「どこまでやるか」の観点
Slide 42
Slide 42 text
◆ どこまで同時に考えるか • これらは個別にではなくすべてが同時に起きている • 影響があることから順に優先順位をつけてできるところま で考える • どこがどれだけ影響しているか、はわかるのか? 「どこまでやるか」の観点
Slide 43
Slide 43 text
◆ どこまでやれば十分に測ったと言えるか • いくら時間やコストをかけても完璧にはわからないので程 よい塩梅にしないときりがない • しかし効果の全体像がわからないのに「このあたりまでで8 割わかるから十分」とも言えない • わからないことをわかったことにしてはいけない • わからないことはわからないこととして意思決定しなけれ ばならない 「どこまでやるか」の観点
Slide 44
Slide 44 text
まとめ
Slide 45
Slide 45 text
• 効果測定1つとってもわかろうとしたらこれだけの視点が あるし、きっともっとたくさん考えるべきことはある • 今回の話は「観点」だけで、具体的に知ろうとしたら1つ 1つが実は大変な問題 • インサイトを得るためにはしっかりした土台となる情報・ データが必要だが、それは努力しなければ手に入れること はできないのでもっと力を入れてもいいのでは? まとめ
Slide 46
Slide 46 text
ご清聴ありがとうございました。 しんゆう@データ分析とインテリジェンス ブログ :https://analytics-and-intelligence.net/ Note :https://note.mu/shinu Twitter:@data_analyst_