Upgrade to Pro — share decks privately, control downloads, hide ads and more …

マーケティングにおけるキャンペーンや広告の効果測定にはどんな観点があるか / Insight_DataDriven_Study_Meeting

29e4aa4e265e478995df09ca52d62103?s=47 ShinU
July 18, 2019
2k

マーケティングにおけるキャンペーンや広告の効果測定にはどんな観点があるか / Insight_DataDriven_Study_Meeting

作成者 :しんゆう@データ分析とインテリジェンス
ブログ :https://analytics-and-intelligence.net/
Twitter:https://twitter.com/data_analyst_

29e4aa4e265e478995df09ca52d62103?s=128

ShinU

July 18, 2019
Tweet

More Decks by ShinU

Transcript

  1. マーケティングにおけるキャンペーンや 広告の効果測定にはどんな観点があるか しんゆう@データ分析とインテリジェンス 2019/07/18 Insight & DataDriven Study Meeting

  2. 本日の資料は https://speakerdeck.com/shinu/insight-datadriven- study-meeting に公開済みです。 ブログ・note・Twitterからもリンクがあります スライドは公開してあります

  3. • 「インサイト」「データドリブン」「仮説」などなどいろ いろな言葉がある • 共通しているのは土台となるのが正確な情報・データを手 に入れること • 情報・データ収集の全体像はあまりに膨大で時間がない • 今回は「マーケティングのキャンペーンや広告の効果測定

    を行うためにはどういった情報・データが必要か」という テーマでかつ「観点」に絞った 前置き
  4. • 自己紹介 • 効果測定のための6つの「観点」 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか

    4. 次にどうするかを考えるためには他にどんなことを知るといい のか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか • まとめ 目次
  5. 自己紹介

  6. HN:しんゆう 仕事:フリーランスのデータアナリストを名乗る何でも屋 最近全然分析してない 「データ分析とインテリジェンス」を書いてる人 ブログ :https://analytics-and-intelligence.net/ Note :https://note.mu/shinu Twitter:@data_analyst_ 自己紹介

  7. 効果測定のための6つの「観点」

  8. • 効果測定と言うと「どれだけプラスになったか」の数字に だけ話がいきがち • それはもちろん重要なのは間違いないがそれだけではしっ かりとした効果測定はできないのでは? • 他にどんなことを考える必要があるのか「観点」を考えて みる 効果測定のための6つの観点

  9. • 効果測定にはどんな「観点」があるかを考えると 1. 何のために効果測定をするのか 2. 何を測るか 3. どうやって効果を測るのか 4. 次にどうするかを考えるためには他にどんなことを

    知るといいのか 5. その分析を誰がやるのか 6. 限られた時間とリソースの中でどこまでやるか 各項目について詳しく見ていく 効果測定のための6つの観点
  10. 効果測定の観点1 何のために効果測定をするのか

  11. 「何のために効果測定をするのか」の観点 ◆なぜ効果測定をするのか ◆効果測定する必要があるのか 「何のために効果測定をするのか」の観点

  12. ◆ なぜ効果測定をするのか • 効果測定そのものは目的ではない • 過去のキャンペーンでどうだったかを分析、検証するのは 次にどうするかの意思決定をするため • なので効果測定した結果を眺めてよかった悪かったを語る だけでは意味がない

    「何のために効果測定をするのか」の観点
  13. ◆ 効果測定する必要があるのか • 結果がどうあれ次どうするかが決まっているならば効果測 定したところで意思決定に繋がらないので「将来に向けて の良い勉強」にしかならない • それはそれでいいかもしれないが、他にやるべきことはた くさんあるのでは 「何のために効果測定をするのか」の観点

  14. 効果測定の観点2 何を測るか

  15. 「何を測るか」の観点 ◆何を測るか ◆指標をどう選ぶか 「何を測るか」の観点

  16. ◆ 何を測るか • 測るべきは「キャンペーンをやらなかった場合に比べて増 えた分はどれぐらいか」 • もう1つはその施策に費やしたコストがどれぐらいか • どちらが欠けても効果測定にならない 「何を測るか」の観点

  17. ◆ 指標をどう選ぶか • 「会員数を増やすキャンペーン」なら「会員数」を見る • キャンペーンを始める前に決めておく方がよい • 後になって決めようとすると都合良く出ていそうな数字を 探したりしてしまう 「何を測るか」の観点

  18. 効果測定の観点3 どうやって効果を測るのか

  19. 「どうやって効果を測るのか」の観点 ◆増えた分をどう測るか ◆コストをどう測るか ◆効果のある期間をどう設定するか ◆効果とみなす対象をどこまでにするか ◆他の影響をどこまで加味するか ◆共食いをどこまで考慮するか ◆セグメントをどう分けるか ◆使えるデータはどれだけあるか 「どうやって効果を測るのか」の観点

  20. ◆ 増えた分をどう測るか(1) • キャンペーンをやらなかった場合どうだったかは通常直接 には観測できない • なので何とかして比較にできるデータを探してこなければ ならないが、実際には大変な問題 • いくら「キャンペーンがなかった場合」を予測してもそれ

    が正しいのかは証明できない • これだけで1冊の本が書ける 「どうやって効果を測るのか」の観点
  21. ◆ 増えた分をどう測るか(2) • 比較対象を置かないと「バレンタインデー直前に打ったチ ョコレートの広告」になる • ランダム化比較試験が全国チェーンなどできない場合も多 々ある • 後でカバーできないことも多いので事前にしっかりとした

    設計をしておくべき 「どうやって効果を測るのか」の観点
  22. ◆ コストをどう測るか • 単純に増えた分だけを測ればプラスになるのは当然のこと なので、コストも一緒に考える • 値引き分や発行したクーポンの分は大前提 • 制作費や人件費も考慮すべき。意図的にしろそうでないに しろ結構忘れられる

    「どうやって効果を測るのか」の観点
  23. ◆ 効果のある期間をどう設定するか • 新規獲得キャンペーンで増えた会員がいたとして、その会 員による売り上げの増加分をいつまで加味するか • キャンペーンがきっかけでの購入なのでその1回分だけ、 キャンペーンがきっかけなのでその後もずっと効果? • 両方とも一理あるけれども、実際のところはその間のどこ

    かにあるはず • しかしそのどこかを客観的に決める方法はあるのか? 「どうやって効果を測るのか」の観点
  24. ◆ 効果とみなす対象をどこまでにするか • ある商品を対象にしたキャンペーン期間中に同時にB商品を 購入したら、それはキャンペーンの効果なのか。 • 間接効果(アトリビューション)は概念としては理解でき ても計測することは難しい • これも0ではないだろうが、すべてを含めるのは不自然

    「どうやって効果を測るのか」の観点
  25. ◆ 共食いをどこまで考慮するか • ある商品Aの値引きの影響で本来売れていたと予想されるよ り利益率の高い商品Bが売れなくなった • 商品Aのキャンペーンとしては成功だったとしても、その効 果からは共食い分を差し引きたい • しかし間接効果と同じでどこからどこまでがキャンペーン

    の影響なのかを測ることは難しい 「どうやって効果を測るのか」の観点
  26. ◆ セグメントをどう分けるか • 既存のヘビーユーザーと新規顧客ではキャンペーンの影響 が違うことは間違いない • ではどのようにセグメントを分ければそれぞれのセグメン トの効果をうまく図ることができるか • 「過去の購買行動で分ける」にしても、金額、回数、商品

    カテゴリー、頻度など数多く、クラスター分析してもよく わからない 「どうやって効果を測るのか」の観点
  27. ◆ 使えるデータはどれだけあるか • 効果測定しようにも事前に準備しておかないと後からでは 手に入らないデータもある • いくら手法を使おうにも必要なデータが足りていないので あれば別の方法を考えるしかない 「どうやって効果を測るのか」の観点

  28. 4.次にどうするかを考えるためには 他にどんなことを知るといいのか

  29. 「次にどうするかを考えるためには他にどんなこと を知るといいのか」の観点 ◆他の施策との比較 ◆中止した場合の影響の予測 ◆継続した場合の影響の予測 「次にどうするかを考えるためには」の観点

  30. ◆ 他の施策との比較 • そのキャンペーンだけどみれば良い結果になったように見 えても、実は他のキャンペーンに同じだけのリソースを投 入したらもっと良い結果が得られたのでは • より良い方法があるなら次はそちらを選べばよく、そのキ ャンペーンが失敗だったとは考えない 「次にどうするかを考えるためには」の観点

  31. ◆ 中止した場合の影響の予測 • 利用者のモチベーションが下がることでの影響 • 競合の動き。同じようなキャンペーンで顧客を取られない か • 市場判断。ネガティブな材料として捉えられないか •

    何をしたところで文句を言う人はいるので、適切な指摘と の区別をしたいが、その方法 「次にどうするかを考えるためには」の観点
  32. ◆ 継続した場合の影響の予測 • 効果の減衰。同じキャンペーンを続けても同じ結果になる ことは期待できない • インセンティブを変えることによる効果への影響 • 競合の動き。より高いインセンティブを出された時の影響 •

    地域や対象を広げるとしたら同じ効果が期待できるのか 「次にどうするかを考えるためには」の観点
  33. 5.その分析を誰がやるのか

  34. 「その分析を誰がやるのか」の観点 ◆データ分析の専門家(達) ◆外部のデータ分析サービスを利用する ◆媒体や代理店に任せる ◆PMやマーケターが自分でやる 「その分析を誰がやるのか」の観点

  35. ◆ データ分析の専門家(達) • 個々の問題はそれだけでも大変な問題 • 定量的・定性的それぞれの知見が必要 • 専門的な訓練や経験のある人がやるべき仕事 • できる人が社内に揃っている場合はまれ

    「その分析を誰がやるのか」の観点
  36. ◆ PMやマーケターが自分でやる • 一番多いケース。意思決定が行動に直結するのはメリット • 専門スキルがあるわけではないので分析が浅くなる • 都合の悪いデータを黙殺したりしてもばれない • 最大の問題は本業が忙しくなると手が回らなくなる。つま

    り大体できない 「その分析を誰がやるのか」の観点
  37. ◆ 媒体や代理店に任せる • 当たり前に行われてはいるが都合の悪いデータは出てこな い可能性大 • データを持っているので任せるしかない場合もある • 適切に情報・データを読むことができる人がいないといい ように扱われる

    「その分析を誰がやるのか」の観点
  38. ◆ 外部のデータ分析サービスを利用する • 依頼する側がきちんとマネジメントできないと時間と金の 無駄になる 「その分析を誰がやるのか」の観点

  39. 6.限られた時間とリソースの中で どこまでやるか

  40. 「限られた時間とリソースの中でどこまでやるか」 の観点 ◆最低限やるべきことはどこまでか ◆どこまで同時に考えるか ◆どこまでやれば十分に測ったと言えるか 「どこまでやるか」の観点

  41. ◆ 最低限やるべきことは何か • 「増えた分 ー コスト」 • これだけでも相当な知識と時間が必要 • できもしないことにリソースを割くなら次のキャンペーン

    できちんと測定できるにはどうするか、だけを考えるほう がいいかもしれない 「どこまでやるか」の観点
  42. ◆ どこまで同時に考えるか • これらは個別にではなくすべてが同時に起きている • 影響があることから順に優先順位をつけてできるところま で考える • どこがどれだけ影響しているか、はわかるのか? 「どこまでやるか」の観点

  43. ◆ どこまでやれば十分に測ったと言えるか • いくら時間やコストをかけても完璧にはわからないので程 よい塩梅にしないときりがない • しかし効果の全体像がわからないのに「このあたりまでで8 割わかるから十分」とも言えない • わからないことをわかったことにしてはいけない

    • わからないことはわからないこととして意思決定しなけれ ばならない 「どこまでやるか」の観点
  44. まとめ

  45. • 効果測定1つとってもわかろうとしたらこれだけの視点が あるし、きっともっとたくさん考えるべきことはある • 今回の話は「観点」だけで、具体的に知ろうとしたら1つ 1つが実は大変な問題 • インサイトを得るためにはしっかりした土台となる情報・ データが必要だが、それは努力しなければ手に入れること はできないのでもっと力を入れてもいいのでは?

    まとめ
  46. ご清聴ありがとうございました。 しんゆう@データ分析とインテリジェンス ブログ :https://analytics-and-intelligence.net/ Note :https://note.mu/shinu Twitter:@data_analyst_