Tweet
Tweet

Slide 1

Slide 1 text

マーケティングにおけるキャンペーンや 広告の効果測定にはどんな観点があるか しんゆう＠データ分析とインテリジェンス 2019/07/18 Insight & DataDriven Study Meeting

Slide 2

Slide 2 text

本日の資料は https://speakerdeck.com/shinu/insight-datadriven- study-meeting に公開済みです。 ブログ・note・Twitterからもリンクがあります スライドは公開してあります

Slide 3

Slide 3 text

• 「インサイト」「データドリブン」「仮説」などなどいろ いろな言葉がある • 共通しているのは土台となるのが正確な情報・データを手 に入れること • 情報・データ収集の全体像はあまりに膨大で時間がない • 今回は「マーケティングのキャンペーンや広告の効果測定 を行うためにはどういった情報・データが必要か」という テーマでかつ「観点」に絞った 前置き

Slide 4

Slide 4 text

• 自己紹介 • 効果測定のための６つの「観点」 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを知るといい のか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか • まとめ 目次

Slide 5

Slide 5 text

自己紹介

Slide 6

Slide 6 text

HN：しんゆう 仕事：フリーランスのデータアナリストを名乗る何でも屋 最近全然分析してない 「データ分析とインテリジェンス」を書いてる人 ブログ ：https://analytics-and-intelligence.net/ Note ：https://note.mu/shinu Twitter：@data_analyst_ 自己紹介

Slide 7

Slide 7 text

効果測定のための６つの「観点」

Slide 8

Slide 8 text

• 効果測定と言うと「どれだけプラスになったか」の数字に だけ話がいきがち • それはもちろん重要なのは間違いないがそれだけではしっ かりとした効果測定はできないのでは？ • 他にどんなことを考える必要があるのか「観点」を考えて みる 効果測定のための６つの観点

Slide 9

Slide 9 text

• 効果測定にはどんな「観点」があるかを考えると 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを 知るといいのか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか 各項目について詳しく見ていく 効果測定のための６つの観点

Slide 10

Slide 10 text

効果測定の観点１ 何のために効果測定をするのか

Slide 11

Slide 11 text

「何のために効果測定をするのか」の観点 ◆なぜ効果測定をするのか ◆効果測定する必要があるのか 「何のために効果測定をするのか」の観点

Slide 12

Slide 12 text

◆ なぜ効果測定をするのか • 効果測定そのものは目的ではない • 過去のキャンペーンでどうだったかを分析、検証するのは 次にどうするかの意思決定をするため • なので効果測定した結果を眺めてよかった悪かったを語る だけでは意味がない 「何のために効果測定をするのか」の観点

Slide 13

Slide 13 text

◆ 効果測定する必要があるのか • 結果がどうあれ次どうするかが決まっているならば効果測 定したところで意思決定に繋がらないので「将来に向けて の良い勉強」にしかならない • それはそれでいいかもしれないが、他にやるべきことはた くさんあるのでは 「何のために効果測定をするのか」の観点

Slide 14

Slide 14 text

効果測定の観点２ 何を測るか

Slide 15

Slide 15 text

「何を測るか」の観点 ◆何を測るか ◆指標をどう選ぶか 「何を測るか」の観点

Slide 16

Slide 16 text

◆ 何を測るか • 測るべきは「キャンペーンをやらなかった場合に比べて増 えた分はどれぐらいか」 • もう１つはその施策に費やしたコストがどれぐらいか • どちらが欠けても効果測定にならない 「何を測るか」の観点

Slide 17

Slide 17 text

◆ 指標をどう選ぶか • 「会員数を増やすキャンペーン」なら「会員数」を見る • キャンペーンを始める前に決めておく方がよい • 後になって決めようとすると都合良く出ていそうな数字を 探したりしてしまう 「何を測るか」の観点

Slide 18

Slide 18 text

効果測定の観点３ どうやって効果を測るのか

Slide 19

Slide 19 text

「どうやって効果を測るのか」の観点 ◆増えた分をどう測るか ◆コストをどう測るか ◆効果のある期間をどう設定するか ◆効果とみなす対象をどこまでにするか ◆他の影響をどこまで加味するか ◆共食いをどこまで考慮するか ◆セグメントをどう分けるか ◆使えるデータはどれだけあるか 「どうやって効果を測るのか」の観点

Slide 20

Slide 20 text

◆ 増えた分をどう測るか（１） • キャンペーンをやらなかった場合どうだったかは通常直接 には観測できない • なので何とかして比較にできるデータを探してこなければ ならないが、実際には大変な問題 • いくら「キャンペーンがなかった場合」を予測してもそれ が正しいのかは証明できない • これだけで1冊の本が書ける 「どうやって効果を測るのか」の観点

Slide 21

Slide 21 text

◆ 増えた分をどう測るか（２） • 比較対象を置かないと「バレンタインデー直前に打ったチ ョコレートの広告」になる • ランダム化比較試験が全国チェーンなどできない場合も多 々ある • 後でカバーできないことも多いので事前にしっかりとした 設計をしておくべき 「どうやって効果を測るのか」の観点

Slide 22

Slide 22 text

◆ コストをどう測るか • 単純に増えた分だけを測ればプラスになるのは当然のこと なので、コストも一緒に考える • 値引き分や発行したクーポンの分は大前提 • 制作費や人件費も考慮すべき。意図的にしろそうでないに しろ結構忘れられる 「どうやって効果を測るのか」の観点

Slide 23

Slide 23 text

◆ 効果のある期間をどう設定するか • 新規獲得キャンペーンで増えた会員がいたとして、その会 員による売り上げの増加分をいつまで加味するか • キャンペーンがきっかけでの購入なのでその１回分だけ、 キャンペーンがきっかけなのでその後もずっと効果？ • 両方とも一理あるけれども、実際のところはその間のどこ かにあるはず • しかしそのどこかを客観的に決める方法はあるのか？ 「どうやって効果を測るのか」の観点

Slide 24

Slide 24 text

◆ 効果とみなす対象をどこまでにするか • ある商品を対象にしたキャンペーン期間中に同時にB商品を 購入したら、それはキャンペーンの効果なのか。 • 間接効果（アトリビューション）は概念としては理解でき ても計測することは難しい • これも0ではないだろうが、すべてを含めるのは不自然 「どうやって効果を測るのか」の観点

Slide 25

Slide 25 text

◆ 共食いをどこまで考慮するか • ある商品Aの値引きの影響で本来売れていたと予想されるよ り利益率の高い商品Bが売れなくなった • 商品Aのキャンペーンとしては成功だったとしても、その効 果からは共食い分を差し引きたい • しかし間接効果と同じでどこからどこまでがキャンペーン の影響なのかを測ることは難しい 「どうやって効果を測るのか」の観点

Slide 26

Slide 26 text

◆ セグメントをどう分けるか • 既存のヘビーユーザーと新規顧客ではキャンペーンの影響 が違うことは間違いない • ではどのようにセグメントを分ければそれぞれのセグメン トの効果をうまく図ることができるか • 「過去の購買行動で分ける」にしても、金額、回数、商品 カテゴリー、頻度など数多く、クラスター分析してもよく わからない 「どうやって効果を測るのか」の観点

Slide 27

Slide 27 text

◆ 使えるデータはどれだけあるか • 効果測定しようにも事前に準備しておかないと後からでは 手に入らないデータもある • いくら手法を使おうにも必要なデータが足りていないので あれば別の方法を考えるしかない 「どうやって効果を測るのか」の観点

Slide 28

Slide 28 text

４．次にどうするかを考えるためには 他にどんなことを知るといいのか

Slide 29

Slide 29 text

「次にどうするかを考えるためには他にどんなこと を知るといいのか」の観点 ◆他の施策との比較 ◆中止した場合の影響の予測 ◆継続した場合の影響の予測 「次にどうするかを考えるためには」の観点

Slide 30

Slide 30 text

◆ 他の施策との比較 • そのキャンペーンだけどみれば良い結果になったように見 えても、実は他のキャンペーンに同じだけのリソースを投 入したらもっと良い結果が得られたのでは • より良い方法があるなら次はそちらを選べばよく、そのキ ャンペーンが失敗だったとは考えない 「次にどうするかを考えるためには」の観点

Slide 31

Slide 31 text

◆ 中止した場合の影響の予測 • 利用者のモチベーションが下がることでの影響 • 競合の動き。同じようなキャンペーンで顧客を取られない か • 市場判断。ネガティブな材料として捉えられないか • 何をしたところで文句を言う人はいるので、適切な指摘と の区別をしたいが、その方法 「次にどうするかを考えるためには」の観点

Slide 32

Slide 32 text

◆ 継続した場合の影響の予測 • 効果の減衰。同じキャンペーンを続けても同じ結果になる ことは期待できない • インセンティブを変えることによる効果への影響 • 競合の動き。より高いインセンティブを出された時の影響 • 地域や対象を広げるとしたら同じ効果が期待できるのか 「次にどうするかを考えるためには」の観点

Slide 33

Slide 33 text

５．その分析を誰がやるのか

Slide 34

Slide 34 text

「その分析を誰がやるのか」の観点 ◆データ分析の専門家（達） ◆外部のデータ分析サービスを利用する ◆媒体や代理店に任せる ◆PMやマーケターが自分でやる 「その分析を誰がやるのか」の観点

Slide 35

Slide 35 text

◆ データ分析の専門家（達） • 個々の問題はそれだけでも大変な問題 • 定量的・定性的それぞれの知見が必要 • 専門的な訓練や経験のある人がやるべき仕事 • できる人が社内に揃っている場合はまれ 「その分析を誰がやるのか」の観点

Slide 36

Slide 36 text

◆ PMやマーケターが自分でやる • 一番多いケース。意思決定が行動に直結するのはメリット • 専門スキルがあるわけではないので分析が浅くなる • 都合の悪いデータを黙殺したりしてもばれない • 最大の問題は本業が忙しくなると手が回らなくなる。つま り大体できない 「その分析を誰がやるのか」の観点

Slide 37

Slide 37 text

◆ 媒体や代理店に任せる • 当たり前に行われてはいるが都合の悪いデータは出てこな い可能性大 • データを持っているので任せるしかない場合もある • 適切に情報・データを読むことができる人がいないといい ように扱われる 「その分析を誰がやるのか」の観点

Slide 38

Slide 38 text

◆ 外部のデータ分析サービスを利用する • 依頼する側がきちんとマネジメントできないと時間と金の 無駄になる 「その分析を誰がやるのか」の観点

Slide 39

Slide 39 text

６．限られた時間とリソースの中で どこまでやるか

Slide 40

Slide 40 text

「限られた時間とリソースの中でどこまでやるか」 の観点 ◆最低限やるべきことはどこまでか ◆どこまで同時に考えるか ◆どこまでやれば十分に測ったと言えるか 「どこまでやるか」の観点

Slide 41

Slide 41 text

◆ 最低限やるべきことは何か • 「増えた分 ー コスト」 • これだけでも相当な知識と時間が必要 • できもしないことにリソースを割くなら次のキャンペーン できちんと測定できるにはどうするか、だけを考えるほう がいいかもしれない 「どこまでやるか」の観点

Slide 42

Slide 42 text

◆ どこまで同時に考えるか • これらは個別にではなくすべてが同時に起きている • 影響があることから順に優先順位をつけてできるところま で考える • どこがどれだけ影響しているか、はわかるのか？ 「どこまでやるか」の観点

Slide 43

Slide 43 text

◆ どこまでやれば十分に測ったと言えるか • いくら時間やコストをかけても完璧にはわからないので程 よい塩梅にしないときりがない • しかし効果の全体像がわからないのに「このあたりまでで8 割わかるから十分」とも言えない • わからないことをわかったことにしてはいけない • わからないことはわからないこととして意思決定しなけれ ばならない 「どこまでやるか」の観点

Slide 44

Slide 44 text

まとめ

Slide 45

Slide 45 text

• 効果測定１つとってもわかろうとしたらこれだけの視点が あるし、きっともっとたくさん考えるべきことはある • 今回の話は「観点」だけで、具体的に知ろうとしたら１つ １つが実は大変な問題 • インサイトを得るためにはしっかりした土台となる情報・ データが必要だが、それは努力しなければ手に入れること はできないのでもっと力を入れてもいいのでは？ まとめ

Slide 46

Slide 46 text

ご清聴ありがとうございました。 しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-intelligence.net/ Note ：https://note.mu/shinu Twitter：@data_analyst_