白金鉱業Meetup Vol.15 効果検証の怖い話_tomokazuABE_20240919

2024年9月19日に実施した、白金鉱業 Meetup Vol.15@六本木（効果検証）でのブレインパッド阿部さんの登壇スライドです。

イベントURL
https://brainpad-meetup.connpass.com/event/324913/

Transcript

1. イントロダクション 突然ですが… 皆さんの中に不思議な体験・怖い体験をしたことが あるという方はいらっしゃいますでしょうか
3. イントロダクション 怪異に出会う場所… 実は、いま皆さんがいらっしゃる ブレインパッドオフィスも例外ではありません
4. イントロダクション そう、効果検証です
5. ふつうの人から見た効果検証 効果検証 比較すればいい んでしょ？ DMLとか 使っちゃお～
6. 霊感がある人から見た効果検証 うっ頭が… 助けて！！
7. イントロダクション 効果検証にも様々な悪霊が潜んでいるとされています。 分析者を苦しめるだけならともかく、 ややもするとビジネスに悪影響を与えかねません。
8. この企画を言い出した当初はまだ夏の盛りだったのです 分析者が効果検証に取り組む中で出会いがちな怪異譚 （つらいところ・つまずくところ）を蒐集してまいりました。 皆様と分かち合い、対処を研究したいと思います。 悪霊に取り憑かれ “闇落ち” してしまわないように… ※実際に起きた事案というよりは、いろいろな方 のお話を織り交ぜて構成しています
9. ネタバレ注意 分析 フォ ロー 事前 準備 先にネタバレをしてしまいますと… 「効果検証が価値を発揮するには分析の 前後 も大事ですよね」 「そのための コミュニケーション・文化醸成 が必要ですよね」 というお話でございます。
10. 自己紹介 • 阿部 智和（あべ ともかず） • 農学→理学→ブレインパッド • キーワード • マーケティング・CRM • Webプラットフォーム • 広告 • 効果検証 • 顧客分析 • 渓流釣りと庭いじり ベイジアンABテストを学ぶ娘
11. 効果検証の怖い話 2024.9.19 白金鉱業 meetup vol.15
12. 第一話 標
13. 最終指標に執着してしまう 耐久消費財に関するブランディング広告の効果検証を請け 負ったSさん。 力の入ったクリエイティブだったこともあり、事業数値へ の貢献を示してほしいと強く期待されます。
14. 最終指標に執着してしまう Sさんは 売上金額 に焦点を当て、広告出稿前後でその伸びを 比較することにしますが、それほど奮わない結果に… 施策担当者も頭を悩ませます…
15. 最終指標に執着してしまう しかしその後ろでは、サイトの訪問数や検索・投稿数 が 増加していました。 内容もポジティブなものが多く、ブランディングの成果は上げ られていたと言えます。 一方で商品の訴求ではないこと、また耐久 消費財という商品の特性もあり、短期的な 販売促進効果は大きくなかったのでした。
16. 最終指標に執着してしまう “事業への貢献” という怨念に足元を掬われたSさんは、施策の価 値を評価し損なってしまいます。 施策と物理的・時間的に近い中間指標を設けることで、回 避できた問題だったかもしれません。
17. 最終指標に執着してしまう とはいえ施策担当者にとっては、売上以外の指標で測ることは 受け入れがたいという場合もあるかもしれません。
18. 最終指標に執着してしまう コミュニケーションの肝としては… • まず広告の本来の目的は達成できていたという、施策担当 者にとってご利益のあるメッセージも付帯すること • 中間指標を振り返ることで得たネクストアクションへの示唆 ※を提示していくこと ※中間指標を忘れると様々な情報をロスする恐れも • ブランディングによりどんな消費者がどう変化したのか • 現在のマーケティングアセットで不足しているのはどこなのか 等々
19. まだまだ序の口ですが…
20. これもまた売上への強い思いが生み出した 悪霊と呼べるかもしれません…
21. 第二話 狐狸
22. 展開済みの施策がやってきた Kさんのもとに、Webサイトの刷新に伴う効果検証依頼が来ました。 変更が大規模だったため、成果はあったのか・問題ないのかという 経営陣の質問を受けた企画担当者からの依頼です。
23. 展開済みの施策がやってきた 変更は既に全ユーザに対して展開済みで、テスト等 を行ったわけではありませんでした。 Kさんの所に来る前に担当者も検証を試みたようで、 CV 率への寄与を示そうと苦心していました。
24. 展開済みの施策がやってきた Kさんは苦心して効果を算出し “ポジティブでもネガティ ブでもない” という結果を報告しました。 が、報告内容が期待していた内容と違うという微妙 な反応をいただきます。
25. 展開済みの施策がやってきた （あくまで経験則ですが…）後から検証を求められるタイプは特 に問題の見極めが肝心です • 後から ≒ 関心の持ち主は施策担当者ではなく、伝言ゲーム状 の依頼になっている可能性。やりとりに時間も要する。 • 大規模 ≒ プロダクトの戦略に基づく変更であり、短期的な 検証結果をもって覆そうというものではそもそもない。
26. 展開済みの施策がやってきた 効果検証に期待されるのは、次のアクションの意思決定材料です。 「刷新の効果が知りたい」というのもおそらく間違っていませんが、 今のサービスの課題は何か・さらに良くするにはどうしたらいいのか、 その知見を欲していたのが真相でした。 いわば効果検証の皮をかぶった別の分析テーマだったのかも 分析者がきちんと見抜かなければなりません
27. 展開済みの施策がやってきた Sさんの役割としては… できるだけ迅速に一次情報を取りにいき、真に価値のある分 析を設計するムーブが求められるはず。 • 指標の算出方法・数値にもとづいてどう判断するか • いまどういうphaseであり、将来は何があるのか。次のアク ションのためにどのような情報があると望ましいか
28. その依頼、ほんとうに効果検証でしたか？
29. 第三話 幽霊分析者
30. 幽霊分析者 あるキャンペーンの展開前に、ABテストにて分析を行っ たTさん。全体としてはポジティブな結果ではなかった 旨を伝えました。 施策・テストの設計段階からコミュニケーションしてい たので、プロジェクトを終えて安心していましたが…
31. 幽霊分析者 後日、キャンペーンがそのままリリースされているのを 発見します。 分析結果とは独立に勝ち負けの判断がなされてしまった のでした。
32. 幽霊分析者 こちらは 分析者自身が霊体 となってしまい、現実 （意思決定）に干渉できなくなったケースです。 様々な背景が考えられます。 ストーリーありきになって おり、成功の方向で通さざ るを得ない 分析と説明が複雑で、 結果を伝えられていない 分析が信頼されていない 価値が理解されていない
33. 幽霊分析者 まず大前提として、分析者は事実に対して 真摯 に向き合い、 コミュニケーションする必要があるのは言うまでもありません。 ストーリーありきになって おり、成功の方向で通さざ るを得ない 分析と説明が複雑で、 結果を伝えられていない
34. 幽霊分析者 一方で、分析に対する信頼の獲得はすぐには困難です… 可能な限り施策背景・ビジネス上の戦略・持っていきた いストーリーはヒアリングしておきたいものですが… 分析が信頼されていない 価値が理解されていない
35. 具体的にはどうすれば？
36. 分析者（チーム）が幽霊にならないために 人と人とのコミュニケーションであることを前提に • ポジティブな体験の積み重ねで、同じ未来を目指 していることを実感していただく 施策担当者の保証人 or 行く手を阻む壁 共創してビジネスの価値を出す同志
37. 分析者（チーム）が幽霊にならないために 可能ならば企画担当者（非分析者）に対して、その方々にとっ て利する存在であることを伝えておきたい • 効果検証を行うことによる旨さ • 効果がない企画を通すことによるロスの回避 • 効果検証→背景要因の分析を通した知見獲得の効率化
38. 分析者（チーム）が幽霊にならないために 日常のやりとりの機会とは別に、 効果検証の価値を説明する専用の機会を設けるのも一つ の手かと思います。
39. 分析者（チーム）が幽霊にならないために 意思決定に近い効果検証を担うからこそ、いわゆる トランスレーター としての機能が大事だと考えています。 そのためにも見せ方にはこだわりたいし、分析は伝わりやす いよう（判断に影響しない範囲で）シンプルなやり方を採用 したい… 以上です！