Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
イントロダクション 突然ですが… 皆さんの中に不思議な体験・怖い体験をしたことが あるという方はいらっしゃいますでしょうか
Slide 2
Slide 2 text
No content
Slide 3
Slide 3 text
イントロダクション 怪異に出会う場所… 実は、いま皆さんがいらっしゃる ブレインパッドオフィスも例外ではありません
Slide 4
Slide 4 text
イントロダクション そう、効果検証です
Slide 5
Slide 5 text
ふつうの人から見た効果検証 効果検証 比較すればいい んでしょ? DMLとか 使っちゃお~
Slide 6
Slide 6 text
霊感がある人から見た効果検証 うっ頭が… 助けて!!
Slide 7
Slide 7 text
イントロダクション 効果検証にも様々な悪霊が潜んでいるとされています。 分析者を苦しめるだけならともかく、 ややもするとビジネスに悪影響を与えかねません。
Slide 8
Slide 8 text
この企画を言い出した当初はまだ夏の盛りだったのです 分析者が効果検証に取り組む中で出会いがちな怪異譚 (つらいところ・つまずくところ)を蒐集してまいりました。 皆様と分かち合い、対処を研究したいと思います。 悪霊に取り憑かれ “闇落ち” してしまわないように… ※実際に起きた事案というよりは、いろいろな方 のお話を織り交ぜて構成しています
Slide 9
Slide 9 text
ネタバレ注意 分析 フォ ロー 事前 準備 先にネタバレをしてしまいますと… 「効果検証が価値を発揮するには分析の 前後 も大事ですよね」 「そのための コミュニケーション・文化醸成 が必要ですよね」 というお話でございます。
Slide 10
Slide 10 text
自己紹介 • 阿部 智和(あべ ともかず) • 農学→理学→ブレインパッド • キーワード • マーケティング・CRM • Webプラットフォーム • 広告 • 効果検証 • 顧客分析 • 渓流釣りと庭いじり ベイジアンABテストを学ぶ娘
Slide 11
Slide 11 text
効果検証の怖い話 2024.9.19 白金鉱業 meetup vol.15
Slide 12
Slide 12 text
第一話 標
Slide 13
Slide 13 text
最終指標に執着してしまう 耐久消費財に関するブランディング広告の効果検証を請け 負ったSさん。 力の入ったクリエイティブだったこともあり、事業数値へ の貢献を示してほしいと強く期待されます。
Slide 14
Slide 14 text
最終指標に執着してしまう Sさんは 売上金額 に焦点を当て、広告出稿前後でその伸びを 比較することにしますが、それほど奮わない結果に… 施策担当者も頭を悩ませます…
Slide 15
Slide 15 text
最終指標に執着してしまう しかしその後ろでは、サイトの訪問数や検索・投稿数 が 増加していました。 内容もポジティブなものが多く、ブランディングの成果は上げ られていたと言えます。 一方で商品の訴求ではないこと、また耐久 消費財という商品の特性もあり、短期的な 販売促進効果は大きくなかったのでした。
Slide 16
Slide 16 text
最終指標に執着してしまう “事業への貢献” という怨念に足元を掬われたSさんは、施策の価 値を評価し損なってしまいます。 施策と物理的・時間的に近い中間指標を設けることで、回 避できた問題だったかもしれません。
Slide 17
Slide 17 text
最終指標に執着してしまう とはいえ施策担当者にとっては、売上以外の指標で測ることは 受け入れがたいという場合もあるかもしれません。
Slide 18
Slide 18 text
最終指標に執着してしまう コミュニケーションの肝としては… • まず広告の本来の目的は達成できていたという、施策担当 者にとってご利益のあるメッセージも付帯すること • 中間指標を振り返ることで得たネクストアクションへの示唆 ※を提示していくこと ※中間指標を忘れると様々な情報をロスする恐れも • ブランディングによりどんな消費者がどう変化したのか • 現在のマーケティングアセットで不足しているのはどこなのか 等々
Slide 19
Slide 19 text
まだまだ序の口ですが…
Slide 20
Slide 20 text
これもまた売上への強い思いが生み出した 悪霊と呼べるかもしれません…
Slide 21
Slide 21 text
第二話 狐狸
Slide 22
Slide 22 text
展開済みの施策がやってきた Kさんのもとに、Webサイトの刷新に伴う効果検証依頼が来ました。 変更が大規模だったため、成果はあったのか・問題ないのかという 経営陣の質問を受けた企画担当者からの依頼です。
Slide 23
Slide 23 text
展開済みの施策がやってきた 変更は既に全ユーザに対して展開済みで、テスト等 を行ったわけではありませんでした。 Kさんの所に来る前に担当者も検証を試みたようで、 CV 率への寄与を示そうと苦心していました。
Slide 24
Slide 24 text
展開済みの施策がやってきた Kさんは苦心して効果を算出し “ポジティブでもネガティ ブでもない” という結果を報告しました。 が、報告内容が期待していた内容と違うという微妙 な反応をいただきます。
Slide 25
Slide 25 text
展開済みの施策がやってきた (あくまで経験則ですが…)後から検証を求められるタイプは特 に問題の見極めが肝心です • 後から ≒ 関心の持ち主は施策担当者ではなく、伝言ゲーム状 の依頼になっている可能性。やりとりに時間も要する。 • 大規模 ≒ プロダクトの戦略に基づく変更であり、短期的な 検証結果をもって覆そうというものではそもそもない。
Slide 26
Slide 26 text
展開済みの施策がやってきた 効果検証に期待されるのは、次のアクションの意思決定材料です。 「刷新の効果が知りたい」というのもおそらく間違っていませんが、 今のサービスの課題は何か・さらに良くするにはどうしたらいいのか、 その知見を欲していたのが真相でした。 いわば効果検証の皮をかぶった別の分析テーマだったのかも 分析者がきちんと見抜かなければなりません
Slide 27
Slide 27 text
展開済みの施策がやってきた Sさんの役割としては… できるだけ迅速に一次情報を取りにいき、真に価値のある分 析を設計するムーブが求められるはず。 • 指標の算出方法・数値にもとづいてどう判断するか • いまどういうphaseであり、将来は何があるのか。次のアク ションのためにどのような情報があると望ましいか
Slide 28
Slide 28 text
その依頼、ほんとうに効果検証でしたか?
Slide 29
Slide 29 text
第三話 幽霊分析者
Slide 30
Slide 30 text
幽霊分析者 あるキャンペーンの展開前に、ABテストにて分析を行っ たTさん。全体としてはポジティブな結果ではなかった 旨を伝えました。 施策・テストの設計段階からコミュニケーションしてい たので、プロジェクトを終えて安心していましたが…
Slide 31
Slide 31 text
幽霊分析者 後日、キャンペーンがそのままリリースされているのを 発見します。 分析結果とは独立に勝ち負けの判断がなされてしまった のでした。
Slide 32
Slide 32 text
幽霊分析者 こちらは 分析者自身が霊体 となってしまい、現実 (意思決定)に干渉できなくなったケースです。 様々な背景が考えられます。 ストーリーありきになって おり、成功の方向で通さざ るを得ない 分析と説明が複雑で、 結果を伝えられていない 分析が信頼されていない 価値が理解されていない
Slide 33
Slide 33 text
幽霊分析者 まず大前提として、分析者は事実に対して 真摯 に向き合い、 コミュニケーションする必要があるのは言うまでもありません。 ストーリーありきになって おり、成功の方向で通さざ るを得ない 分析と説明が複雑で、 結果を伝えられていない
Slide 34
Slide 34 text
幽霊分析者 一方で、分析に対する信頼の獲得はすぐには困難です… 可能な限り施策背景・ビジネス上の戦略・持っていきた いストーリーはヒアリングしておきたいものですが… 分析が信頼されていない 価値が理解されていない
Slide 35
Slide 35 text
具体的にはどうすれば?
Slide 36
Slide 36 text
分析者(チーム)が幽霊にならないために 人と人とのコミュニケーションであることを前提に • ポジティブな体験の積み重ねで、同じ未来を目指 していることを実感していただく 施策担当者の保証人 or 行く手を阻む壁 共創してビジネスの価値を出す同志
Slide 37
Slide 37 text
分析者(チーム)が幽霊にならないために 可能ならば企画担当者(非分析者)に対して、その方々にとっ て利する存在であることを伝えておきたい • 効果検証を行うことによる旨さ • 効果がない企画を通すことによるロスの回避 • 効果検証→背景要因の分析を通した知見獲得の効率化
Slide 38
Slide 38 text
分析者(チーム)が幽霊にならないために 日常のやりとりの機会とは別に、 効果検証の価値を説明する専用の機会を設けるのも一つ の手かと思います。
Slide 39
Slide 39 text
分析者(チーム)が幽霊にならないために 意思決定に近い効果検証を担うからこそ、いわゆる トランスレーター としての機能が大事だと考えています。 そのためにも見せ方にはこだわりたいし、分析は伝わりやす いよう(判断に影響しない範囲で)シンプルなやり方を採用 したい… 以上です!