マーケティング施策のおける効果検証入門

Panasonic様の有志団体の勉強会で登壇させていただいた際の資料です。マーケティング施策における効果検証についてまとめています。

参考リンク（マイメディア）

- A/Bテスト（RCT）におけるノンコンプライアンスと操作変数法の応用, https://qiita.com/s1ok69oo/items/d9f3a3860388f3b9911d
- 介入とランダム化比較試
https://zenn.dev/s1ok69oo/articles/5df8b27e0ebfb9
- 回帰不連続デザイン(RDD)を用いた効果検証
https://zenn.dev/s1ok69oo/articles/f40ca93fe31a8d
- 差分の差分法(DID)による効果検証
https://zenn.dev/s1ok69oo/articles/e786bd6ee2d1f0
- 相関関係と因果関係と疑似相関
https://zenn.dev/s1ok69oo/articles/3d748c399da774
- 反実仮想と因果効果
https://zenn.dev/s1ok69oo/articles/c3404a184d2203
- マーケティング施策の効果検証における回帰不連続デザインの応用, https://qiita.com/s1ok69oo/items/6e9dffd2d4341072ecc4

Transcript

1. マーケティング施策における 効果検証入門
2. アジェンダ - 相関と因果 - 効果検証の概要 - 実験と非実験による効果検証
3. 相関と因果
4. データ利活用における重要な2つの関係 非常に混同されやすい 2つ（3つ？）の関係 - 相関関係 - 因果関係 - （疑似相関） あくまでもイメージ 相関関係 因果関係 （疑似相関）
5. 相関関係 2つの変数の傾向を表した関係 - 正の相関 - 負の相関 必ずしも因果関係を表しているわ けではない
6. 因果関係 2つの変数において - 一方が原因 - もう一方が結果 となっている関係
7. 疑似相関 直接の因果関係のない2つの変数に相関関係が見られること - 逆の因果 - 交絡因子（第三の変数） - 合流点での選抜
8. 疑似相関の例（逆の因果） 警察官の数が多いと犯罪の発生件数が増える？
9. 疑似相関の例（逆の因果） 警察官の数が多いと犯罪の発生件数が増える？ ➢ 犯罪の発生件数が多いから警察官を増員した！
10. 疑似相関の例（交絡因子） メタボ検診を定期的に受けると長生きする？ メタボ検診 未受診 受診
11. 疑似相関の例（交絡因子） メタボ検診を定期的に受けると長生きする？ ➢ メタボ検診を定期的に受ける人は、健康への意識が高い（第 三の要因） 健康への意識 低 高 ・メタボ検診受診 ・長生きしやすい傾向 ・メタボ検診未受診 ・長生きしにくい傾向
12. 疑似相関の例（合流点による選抜） 入学試験の得点を見ると、数学が得意な人は英語が苦手？
13. 疑似相関の例（合流点による選抜） 合格最低点付近は、数学が得意な人は英語が苦手に見える
14. 相関と因果を混同してはいけない！ 時に致命的な意思決定につながりかねない...！ - 警察官の数が多い地域ほど犯罪発生件数が多い傾向 - 警察官を減らせば、犯罪は減る - メタボ検診を受ける人ほど長生きする - メタボ検診を受けさせれば、寿命が伸びる - 数学が得意な人ほど英語が苦手な傾向にある - 数学を勉強させなければ、英語が得意になる すべて間違い
15. 因果関係の重要性 ビジネスシーンでは因果関係を知りたい！ - ポイント付与キャンペーンで売上は上がったのか？ - ポイント付与とクーポン配布ではどちらの方が効果があるのか？ - 広告を打ったけど、費用対効果はどれくらいなのか？ 意思決定の成功確度をあげる
16. 相関と因果（まとめ） - 相関関係（疑似相関）と因果関係は別物 - 相関と因果を混同すると致命的な意思決定をしかねない - ビジネスシーンで知りたいのは、因果関係（であることが多 い）
17. 効果検証の概要
18. 広告の効果を考える - 健康食品会社にて、ダイエット商品の広告を打つ - 広告の効果、すなわち、広告によってダイエット商品の売上が いくら上がったかを考える
19. それって本当に広告の効果？ 広告を見た人と広告を見ていない人で売上の差が5,000円 広告を見た人 広告を見ていない人 対象期間の平均売上（円） 10,000 5,000
20. 広告の効果を考える 男性よりも女性の方がダイエット商品への購入意欲が高いのか も...？ 広告を見た人 （全員女性） 広告を見ていない人 （全員男性） 対象期間の平均売上（円） 10,000 5,000
21. それって本当に広告の効果？ ダイエットしたい人は夏の方が多そうですよね...？ 広告を見た人 （7/1~7/31） 広告を見ていない人 （1/1~1/31） 対象期間の平均売上（円） 10,000 5,000
22. それって本当に広告の効果？ リターゲティング広告がもともと購入意欲が高い人に配信されて いたのかも...？ 広告を見た人 （購入履歴あり） 広告を見ていない人 （購入履歴なし） 対象期間の平均売上（円） 10,000 5,000
23. それって本当に広告の効果？ 広告を見た グループ 広告を見てない グループ セレクションバイアス 本当の効果 一見すると効果に見える けど、実はバイアスを含 んでいる 売上 10,000 5,000
24. 効果検証とは 本当の効果とは同じ条件（人・タイミング）のもと、 広告を見た場合と広告を見てない場合の売上の差
25. 効果検証とは 本当はこうなんだけど... 広告を見た場合の売上 （円） 広告を見てない場合の売上 （円） 効果 Aさん 10,000 0 10,000 Bさん 5,000 5,000 0 Cさん 15,000 5,000 10,000
26. 効果検証とは 現実ではどちらかしか分からない... 広告を見た場合の売上 （円） 広告を見てない場合の売上 （円） 効果 Aさん（見た） 10,000 0 ？ Bさん（見た） 5,000 5,000 ？ Cさん（見てない） 15,000 5,000 ？
27. 効果検証とは 広告を見た場合の売上 広告を見てない場合の売上 効果 iさん Y1 Y0 Y1 - Y0 計測不可 N人分のデータを利用して、 効果(Y1 - Y0) あるいは 期待値 E(Y1 - Y0) を理論的に算出するというアプローチ ➢ Y1 - Y0 を”ITE”, E(Y1 - Y0)を”ATE”と呼ぶ
28. 効果検証の概要（まとめ） - 本当の効果って意外と分からない - バイアスをいかに取り除くかがポイント - 手元にある複数のデータから、どうにかITEやATEを求めよう とするのが効果検証のアプローチ
29. 実験と非実験
30. 用語の確認 概要 具体例 処置 出力データに影響を与える操作のこと。 （本日のお話ではマーケティング施策のこと） 広告 割引キャンペーン 処置群 処置を受けたグループ 広告を見た人 割引対象の人 対照群 処置を受けていないグループ 広告を見ていない人 割引対象でない人
31. 効果検証は大きく2つ - 実験 - 非実験
32. - ABテスト（RCT: ランダム化比較試験） - 処置をランダムに割り付けて、その結果得られたデータを分 析する手法 実験による効果検証
33. ABテスト（イメージ） ランダムでメルマガを配信し、 売上を集計・比較することで効果を測定する （メルマガを配信） （メルマガを未配信） 平均売上: E(Y 1 ) 平均売上: E(Y 0 ) 効果: E(Y 1 ) - E(Y 0 )
34. ABテスト（注意点） - ランダムに割り付けるって意外と難しい - 実行する上で問題が生じることも少なくない ビジネス利益 コスト 倫理
35. 実験（まとめ） - ABテスト、RCT、ランダム比較化試験 - ランダムに処置を割り付ける - ランダムに割り付けるって意外と難しい - コスト面や倫理面、ビジネス利益との相反などの問題
36. 非実験による効果検証 分析者としては、実験(A/Bテスト)ができるに越したことはない（と 思っている人が多いはず...） コスト 倫理 ビジネス利益 この方法ならイケるかも！
37. 非実験の効果検証手法 本日、紹介するのは次の2つ - 差分の差分法（DID） - 回帰不連続デザイン（RDD）
38. 差分の差分法（DID） 2時点以上で観測されたデータを利用し、処置の前後で - 処置群の平均的な変化(差分) - 対照群の平均的な変化(差分) の差分を、処置の効果として推定する手法 「Difference In Difference」の頭文字をとって「DID」
39. 差分の差分法（イメージ） 鹿児島店が5周年目だから 1ヶ月間、ポイント5倍キャンペー ンしよう！！！ どれくらい 効果あるのかな？ 上司 あなた
40. 差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 売上 320万 ポイントの効果 120万円！ 200万
41. 差分の差分法（イメージ） たまたま かもしれない...
42. 差分の差分法（イメージ） ポイントキャンペーンを実施して いない熊本店の売上推移も見て みよう！ あなた
43. 差分の差分法（イメージ） 売上の推移が似ている（これ大事！） ポイントキャンペーンしたのは鹿児 島店だけ
44. 差分の差分法（イメージ） 熊本店の方が売上大 きいし、効果なかった のかも...
45. 差分の差分法（イメージ） 上司 でも先月→今月の 売上の上がり具合が違う！
46. 差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 鹿児島店の売上 320万 200万 320万 - 200万 = 120万
47. 差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 熊本店の売上 330万 240万 330万 - 240万 = 90万
48. 差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 2店の売上 = 120 - 90 = 30 鹿児島店 熊本店 差分 (鹿児島) 差分 (熊本) 120万 120万 90万 90万
49. 差分の差分法（イメージ） 効果は30万円ですね！ あなた
50. 差分の差分法（注意点） 「平行トレンドの仮定」ができないとダメ！（良い例）
51. 差分の差分法（注意点） 「平行トレンドの仮定」ができないとダメ！（悪い例）
52. 差分の差分法（注意点） 「平行トレンドの仮定」ができないとダメ！（左: ◯, 右: ×）
53. 差分の差分法（補足） より一般的には、適当な関数形（回帰モデル）から 処置を表すダミー変数D、処置後の時点を表すダミー変数Aの交 差項の回帰係数を推定してあげる（詳細はこちら） ここが効果に当たる
54. 差分の差分法（まとめ） - 処置群（キャンペーン実施店舗）のデータだけでは本当の効 果は分からない - 処置群と対照群のキャンペーン前後の差分の差分が効果 - ただし「平行トレンドの仮定」が成り立つ時に限る
55. 回帰不連続デザイン（RDD） あるルールによって処置が割り振られるような際に ルールの前後の出力を比較することで効果を推定する手法 「Regression Discontinuity Design」の頭文字から「RDD」
56. 回帰不連続デザイン（イメージ） 累計ポイントが10,000以上の 会員にクーポンを配布しよう！ どれくらい 効果あるのかな？ 上司 あなた
57. 回帰不連続デザイン（イメージ） クーポン配布後、半年間の各顧客（200人分）の売上 クーポン配布組 平均売上: 33,000円 クーポン未配布組 平均売上: 15,000円
58. 回帰不連続デザイン（イメージ） クーポンの効果は 平均して18,000円だな！ どこか 腑に落ちない... 上司 あなた
59. 回帰不連続デザイン（イメージ） そもそも ポイントの高い顧客は 購買意欲が高いのでは...？ クーポンをギリギリ貰えた人とギリ ギリ貰えなかった人 の売上を比較 したらいいのでは...！
60. 回帰不連続デザイン（イメージ） ポイントが - ちょうど10,000ポイントの人も - ちょうど9,999ポイントの人も 存在しなかった...無念... あなた
61. 差分の差分法（イメージ） 少し幅を持たせて クーポンをギリギリ貰えた人と ギリギリ貰えなかった人の 売上を比較しよう！ あなた
62. 回帰不連続デザイン（イメージ） 9,500 ≦ P < 10,000 10,000 ≦ P < 10,500 の顧客の売上の平均で比較 拡大
63. 回帰不連続デザイン（イメージ） ポイントが 9,500以上10,000未満の顧客の 平均売上: 20,000円 ポイントが 10,000以上10,500未満の顧客の 平均売上: 29,000円 クーポン配布キャンペーンの効果の平均は 29,000円 - 20,000円 = 9,000円ですね！
64. 回帰不連続デザイン（注意点） 連続性の仮定 ➢ 全員にクーポンを配布しな かった場合、ポイント 10,000前後で顧客の平均 売上は連続 連続？ 今回のデータは若干怪しいですが、ご容赦くださいませ。
65. 回帰不連続デザイン（注意点） non-manupulation ➢ 顧客が事前にクーポン配布の情報を知り得ない 〇月〇日までに累計 10,000ポイント溜まっ てたらクーポンもらえるらしいからポイント 貯めとこう！
66. 回帰不連続デザイン（補足） より一般的には、適当な関数形（回帰モデル）から効果を推定す る : ここが効果に当たる
67. 回帰不連続デザイン（補足） - 今回の例では、累計ポイント10,000以上の顧客全てにクー ポンを配布しています（完全遵守） - このようなシーンにおける回帰不連続デザインを「シャープな 回帰不連続デザイン」と呼びます。
68. 完全遵守が満たされないシーンにおける回帰不連続デザインを 「ファジーな回帰不連続デザイン」と呼びます。 回帰不連続デザイン（補足） （完全遵守が満たされない例） 例えば、累計ポイントの高い顧客にのみメルマガを送り、 メルマガのアンケートに回答し てくれた人にクーポンを配布する というような場面。 ➢ このような場面でも、 アンケートへの回答確率を利用 することで、効果をバイアスな く推定することが可能です。（ 詳細はこちら）
69. 回帰不連続デザイン（まとめ） - あるルールによって処置が割り振られるときに効果を推定で きる手法 - 処置がなされるギリギリのデータを比較 - 連続性の仮定とnon-manupulationが成り立つ必要あり - シャープな回帰不連続デザインとファジーな回帰不連続デザ インがある
70. 参考文献 - 中室・津川「原因と結果の経済学」ダイヤモンド社(2017) - 西山他「New Liberal Arts Selection 計量経済学」有斐閣(2019) - 安井「効果検証入門」ホクソエム社(2020) - Ron Kohavi他「ABテスト実践ガイド」ドワンゴ(2021)
71. ご清聴ありがとうございました