Slide 1

Slide 1 text

イントロダクション 突然ですが… 皆さんの中に不思議な体験・怖い体験をしたことが あるという方はいらっしゃいますでしょうか

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

イントロダクション 怪異に出会う場所… 実は、いま皆さんがいらっしゃる ブレインパッドオフィスも例外ではありません

Slide 4

Slide 4 text

イントロダクション そう、効果検証です

Slide 5

Slide 5 text

ふつうの人から見た効果検証 効果検証 比較すればいい んでしょ? DMLとか 使っちゃお~

Slide 6

Slide 6 text

霊感がある人から見た効果検証 うっ頭が… 助けて!!

Slide 7

Slide 7 text

イントロダクション 効果検証にも様々な悪霊が潜んでいるとされています。 分析者を苦しめるだけならともかく、 ややもするとビジネスに悪影響を与えかねません。

Slide 8

Slide 8 text

この企画を言い出した当初はまだ夏の盛りだったのです 分析者が効果検証に取り組む中で出会いがちな怪異譚 (つらいところ・つまずくところ)を蒐集してまいりました。 皆様と分かち合い、対処を研究したいと思います。 悪霊に取り憑かれ “闇落ち” してしまわないように… ※実際に起きた事案というよりは、いろいろな方 のお話を織り交ぜて構成しています

Slide 9

Slide 9 text

ネタバレ注意 分析 フォ ロー 事前 準備 先にネタバレをしてしまいますと… 「効果検証が価値を発揮するには分析の 前後 も大事ですよね」 「そのための コミュニケーション・文化醸成 が必要ですよね」 というお話でございます。

Slide 10

Slide 10 text

自己紹介 • 阿部 智和(あべ ともかず) • 農学→理学→ブレインパッド • キーワード • マーケティング・CRM • Webプラットフォーム • 広告 • 効果検証 • 顧客分析 • 渓流釣りと庭いじり ベイジアンABテストを学ぶ娘

Slide 11

Slide 11 text

効果検証の怖い話 2024.9.19 白金鉱業 meetup vol.15

Slide 12

Slide 12 text

第一話 標

Slide 13

Slide 13 text

最終指標に執着してしまう 耐久消費財に関するブランディング広告の効果検証を請け 負ったSさん。 力の入ったクリエイティブだったこともあり、事業数値へ の貢献を示してほしいと強く期待されます。

Slide 14

Slide 14 text

最終指標に執着してしまう Sさんは 売上金額 に焦点を当て、広告出稿前後でその伸びを 比較することにしますが、それほど奮わない結果に… 施策担当者も頭を悩ませます…

Slide 15

Slide 15 text

最終指標に執着してしまう しかしその後ろでは、サイトの訪問数や検索・投稿数 が 増加していました。 内容もポジティブなものが多く、ブランディングの成果は上げ られていたと言えます。 一方で商品の訴求ではないこと、また耐久 消費財という商品の特性もあり、短期的な 販売促進効果は大きくなかったのでした。

Slide 16

Slide 16 text

最終指標に執着してしまう “事業への貢献” という怨念に足元を掬われたSさんは、施策の価 値を評価し損なってしまいます。 施策と物理的・時間的に近い中間指標を設けることで、回 避できた問題だったかもしれません。

Slide 17

Slide 17 text

最終指標に執着してしまう とはいえ施策担当者にとっては、売上以外の指標で測ることは 受け入れがたいという場合もあるかもしれません。

Slide 18

Slide 18 text

最終指標に執着してしまう コミュニケーションの肝としては… • まず広告の本来の目的は達成できていたという、施策担当 者にとってご利益のあるメッセージも付帯すること • 中間指標を振り返ることで得たネクストアクションへの示唆 ※を提示していくこと ※中間指標を忘れると様々な情報をロスする恐れも • ブランディングによりどんな消費者がどう変化したのか • 現在のマーケティングアセットで不足しているのはどこなのか 等々

Slide 19

Slide 19 text

まだまだ序の口ですが…

Slide 20

Slide 20 text

これもまた売上への強い思いが生み出した 悪霊と呼べるかもしれません…

Slide 21

Slide 21 text

第二話 狐狸

Slide 22

Slide 22 text

展開済みの施策がやってきた Kさんのもとに、Webサイトの刷新に伴う効果検証依頼が来ました。 変更が大規模だったため、成果はあったのか・問題ないのかという 経営陣の質問を受けた企画担当者からの依頼です。

Slide 23

Slide 23 text

展開済みの施策がやってきた 変更は既に全ユーザに対して展開済みで、テスト等 を行ったわけではありませんでした。 Kさんの所に来る前に担当者も検証を試みたようで、 CV 率への寄与を示そうと苦心していました。

Slide 24

Slide 24 text

展開済みの施策がやってきた Kさんは苦心して効果を算出し “ポジティブでもネガティ ブでもない” という結果を報告しました。 が、報告内容が期待していた内容と違うという微妙 な反応をいただきます。

Slide 25

Slide 25 text

展開済みの施策がやってきた (あくまで経験則ですが…)後から検証を求められるタイプは特 に問題の見極めが肝心です • 後から ≒ 関心の持ち主は施策担当者ではなく、伝言ゲーム状 の依頼になっている可能性。やりとりに時間も要する。 • 大規模 ≒ プロダクトの戦略に基づく変更であり、短期的な 検証結果をもって覆そうというものではそもそもない。

Slide 26

Slide 26 text

展開済みの施策がやってきた 効果検証に期待されるのは、次のアクションの意思決定材料です。 「刷新の効果が知りたい」というのもおそらく間違っていませんが、 今のサービスの課題は何か・さらに良くするにはどうしたらいいのか、 その知見を欲していたのが真相でした。 いわば効果検証の皮をかぶった別の分析テーマだったのかも 分析者がきちんと見抜かなければなりません

Slide 27

Slide 27 text

展開済みの施策がやってきた Sさんの役割としては… できるだけ迅速に一次情報を取りにいき、真に価値のある分 析を設計するムーブが求められるはず。 • 指標の算出方法・数値にもとづいてどう判断するか • いまどういうphaseであり、将来は何があるのか。次のアク ションのためにどのような情報があると望ましいか

Slide 28

Slide 28 text

その依頼、ほんとうに効果検証でしたか?

Slide 29

Slide 29 text

第三話 幽霊分析者

Slide 30

Slide 30 text

幽霊分析者 あるキャンペーンの展開前に、ABテストにて分析を行っ たTさん。全体としてはポジティブな結果ではなかった 旨を伝えました。 施策・テストの設計段階からコミュニケーションしてい たので、プロジェクトを終えて安心していましたが…

Slide 31

Slide 31 text

幽霊分析者 後日、キャンペーンがそのままリリースされているのを 発見します。 分析結果とは独立に勝ち負けの判断がなされてしまった のでした。

Slide 32

Slide 32 text

幽霊分析者 こちらは 分析者自身が霊体 となってしまい、現実 (意思決定)に干渉できなくなったケースです。 様々な背景が考えられます。 ストーリーありきになって おり、成功の方向で通さざ るを得ない 分析と説明が複雑で、 結果を伝えられていない 分析が信頼されていない 価値が理解されていない

Slide 33

Slide 33 text

幽霊分析者 まず大前提として、分析者は事実に対して 真摯 に向き合い、 コミュニケーションする必要があるのは言うまでもありません。 ストーリーありきになって おり、成功の方向で通さざ るを得ない 分析と説明が複雑で、 結果を伝えられていない

Slide 34

Slide 34 text

幽霊分析者 一方で、分析に対する信頼の獲得はすぐには困難です… 可能な限り施策背景・ビジネス上の戦略・持っていきた いストーリーはヒアリングしておきたいものですが… 分析が信頼されていない 価値が理解されていない

Slide 35

Slide 35 text

具体的にはどうすれば?

Slide 36

Slide 36 text

分析者(チーム)が幽霊にならないために 人と人とのコミュニケーションであることを前提に • ポジティブな体験の積み重ねで、同じ未来を目指 していることを実感していただく 施策担当者の保証人 or 行く手を阻む壁 共創してビジネスの価値を出す同志

Slide 37

Slide 37 text

分析者(チーム)が幽霊にならないために 可能ならば企画担当者(非分析者)に対して、その方々にとっ て利する存在であることを伝えておきたい • 効果検証を行うことによる旨さ • 効果がない企画を通すことによるロスの回避 • 効果検証→背景要因の分析を通した知見獲得の効率化

Slide 38

Slide 38 text

分析者(チーム)が幽霊にならないために 日常のやりとりの機会とは別に、 効果検証の価値を説明する専用の機会を設けるのも一つ の手かと思います。

Slide 39

Slide 39 text

分析者(チーム)が幽霊にならないために 意思決定に近い効果検証を担うからこそ、いわゆる トランスレーター としての機能が大事だと考えています。 そのためにも見せ方にはこだわりたいし、分析は伝わりやす いよう(判断に影響しない範囲で)シンプルなやり方を採用 したい… 以上です!