Tweet
Tweet

Slide 1

Slide 1 text

マーケティング施策における 効果検証入門

Slide 2

Slide 2 text

アジェンダ - 相関と因果 - 効果検証の概要 - 実験と非実験による効果検証

Slide 3

Slide 3 text

相関と因果

Slide 4

Slide 4 text

データ利活用における重要な2つの関係 非常に混同されやすい 2つ（3つ？）の関係 - 相関関係 - 因果関係 - （疑似相関） あくまでもイメージ 相関関係 因果関係 （疑似相関）

Slide 5

Slide 5 text

相関関係 2つの変数の傾向を表した関係 - 正の相関 - 負の相関 必ずしも因果関係を表しているわ けではない

Slide 6

Slide 6 text

因果関係 2つの変数において - 一方が原因 - もう一方が結果 となっている関係

Slide 7

Slide 7 text

疑似相関 直接の因果関係のない2つの変数に相関関係が見られること - 逆の因果 - 交絡因子（第三の変数） - 合流点での選抜

Slide 8

Slide 8 text

疑似相関の例（逆の因果） 警察官の数が多いと犯罪の発生件数が増える？

Slide 9

Slide 9 text

疑似相関の例（逆の因果） 警察官の数が多いと犯罪の発生件数が増える？ ➢ 犯罪の発生件数が多いから警察官を増員した！

Slide 10

Slide 10 text

疑似相関の例（交絡因子） メタボ検診を定期的に受けると長生きする？ メタボ検診 未受診 受診

Slide 11

Slide 11 text

疑似相関の例（交絡因子） メタボ検診を定期的に受けると長生きする？ ➢ メタボ検診を定期的に受ける人は、健康への意識が高い（第 三の要因） 健康への意識 低 高 ・メタボ検診受診 ・長生きしやすい傾向 ・メタボ検診未受診 ・長生きしにくい傾向

Slide 12

Slide 12 text

疑似相関の例（合流点による選抜） 入学試験の得点を見ると、数学が得意な人は英語が苦手？

Slide 13

Slide 13 text

疑似相関の例（合流点による選抜） 合格最低点付近は、数学が得意な人は英語が苦手に見える

Slide 14

Slide 14 text

相関と因果を混同してはいけない！ 時に致命的な意思決定につながりかねない...！ - 警察官の数が多い地域ほど犯罪発生件数が多い傾向 - 警察官を減らせば、犯罪は減る - メタボ検診を受ける人ほど長生きする - メタボ検診を受けさせれば、寿命が伸びる - 数学が得意な人ほど英語が苦手な傾向にある - 数学を勉強させなければ、英語が得意になる すべて間違い

Slide 15

Slide 15 text

因果関係の重要性 ビジネスシーンでは因果関係を知りたい！ - ポイント付与キャンペーンで売上は上がったのか？ - ポイント付与とクーポン配布ではどちらの方が効果があるのか？ - 広告を打ったけど、費用対効果はどれくらいなのか？ 意思決定の成功確度をあげる

Slide 16

Slide 16 text

相関と因果（まとめ） - 相関関係（疑似相関）と因果関係は別物 - 相関と因果を混同すると致命的な意思決定をしかねない - ビジネスシーンで知りたいのは、因果関係（であることが多 い）

Slide 17

Slide 17 text

効果検証の概要

Slide 18

Slide 18 text

広告の効果を考える - 健康食品会社にて、ダイエット商品の広告を打つ - 広告の効果、すなわち、広告によってダイエット商品の売上が いくら上がったかを考える

Slide 19

Slide 19 text

それって本当に広告の効果？ 広告を見た人と広告を見ていない人で売上の差が5,000円 広告を見た人 広告を見ていない人 対象期間の平均売上（円） 10,000 5,000

Slide 20

Slide 20 text

広告の効果を考える 男性よりも女性の方がダイエット商品への購入意欲が高いのか も...？ 広告を見た人 （全員女性） 広告を見ていない人 （全員男性） 対象期間の平均売上（円） 10,000 5,000

Slide 21

Slide 21 text

それって本当に広告の効果？ ダイエットしたい人は夏の方が多そうですよね...？ 広告を見た人 （7/1~7/31） 広告を見ていない人 （1/1~1/31） 対象期間の平均売上（円） 10,000 5,000

Slide 22

Slide 22 text

それって本当に広告の効果？ リターゲティング広告がもともと購入意欲が高い人に配信されて いたのかも...？ 広告を見た人 （購入履歴あり） 広告を見ていない人 （購入履歴なし） 対象期間の平均売上（円） 10,000 5,000

Slide 23

Slide 23 text

それって本当に広告の効果？ 広告を見た グループ 広告を見てない グループ セレクションバイアス 本当の効果 一見すると効果に見える けど、実はバイアスを含 んでいる 売上 10,000 5,000

Slide 24

Slide 24 text

効果検証とは 本当の効果とは同じ条件（人・タイミング）のもと、 広告を見た場合と広告を見てない場合の売上の差

Slide 25

Slide 25 text

効果検証とは 本当はこうなんだけど... 広告を見た場合の売上 （円） 広告を見てない場合の売上 （円） 効果 Aさん 10,000 0 10,000 Bさん 5,000 5,000 0 Cさん 15,000 5,000 10,000

Slide 26

Slide 26 text

効果検証とは 現実ではどちらかしか分からない... 広告を見た場合の売上 （円） 広告を見てない場合の売上 （円） 効果 Aさん（見た） 10,000 0 ？ Bさん（見た） 5,000 5,000 ？ Cさん（見てない） 15,000 5,000 ？

Slide 27

Slide 27 text

効果検証とは 広告を見た場合の売上 広告を見てない場合の売上 効果 iさん Y1 Y0 Y1 - Y0 計測不可 N人分のデータを利用して、 効果(Y1 - Y0) あるいは 期待値 E(Y1 - Y0) を理論的に算出するというアプローチ ➢ Y1 - Y0 を”ITE”, E(Y1 - Y0)を”ATE”と呼ぶ

Slide 28

Slide 28 text

効果検証の概要（まとめ） - 本当の効果って意外と分からない - バイアスをいかに取り除くかがポイント - 手元にある複数のデータから、どうにかITEやATEを求めよう とするのが効果検証のアプローチ

Slide 29

Slide 29 text

実験と非実験

Slide 30

Slide 30 text

用語の確認 概要 具体例 処置 出力データに影響を与える操作のこと。 （本日のお話ではマーケティング施策のこと） 広告 割引キャンペーン 処置群 処置を受けたグループ 広告を見た人 割引対象の人 対照群 処置を受けていないグループ 広告を見ていない人 割引対象でない人

Slide 31

Slide 31 text

効果検証は大きく2つ - 実験 - 非実験

Slide 32

Slide 32 text

- ABテスト（RCT: ランダム化比較試験） - 処置をランダムに割り付けて、その結果得られたデータを分 析する手法 実験による効果検証

Slide 33

Slide 33 text

ABテスト（イメージ） ランダムでメルマガを配信し、 売上を集計・比較することで効果を測定する （メルマガを配信） （メルマガを未配信） 平均売上: E(Y 1 ) 平均売上: E(Y 0 ) 効果: E(Y 1 ) - E(Y 0 )

Slide 34

Slide 34 text

ABテスト（注意点） - ランダムに割り付けるって意外と難しい - 実行する上で問題が生じることも少なくない ビジネス利益 コスト 倫理

Slide 35

Slide 35 text

実験（まとめ） - ABテスト、RCT、ランダム比較化試験 - ランダムに処置を割り付ける - ランダムに割り付けるって意外と難しい - コスト面や倫理面、ビジネス利益との相反などの問題

Slide 36

Slide 36 text

非実験による効果検証 分析者としては、実験(A/Bテスト)ができるに越したことはない（と 思っている人が多いはず...） コスト 倫理 ビジネス利益 この方法ならイケるかも！

Slide 37

Slide 37 text

非実験の効果検証手法 本日、紹介するのは次の2つ - 差分の差分法（DID） - 回帰不連続デザイン（RDD）

Slide 38

Slide 38 text

差分の差分法（DID） 2時点以上で観測されたデータを利用し、処置の前後で - 処置群の平均的な変化(差分) - 対照群の平均的な変化(差分) の差分を、処置の効果として推定する手法 「Difference In Difference」の頭文字をとって「DID」

Slide 39

Slide 39 text

差分の差分法（イメージ） 鹿児島店が5周年目だから 1ヶ月間、ポイント5倍キャンペー ンしよう！！！ どれくらい 効果あるのかな？ 上司 あなた

Slide 40

Slide 40 text

差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 売上 320万 ポイントの効果 120万円！ 200万

Slide 41

Slide 41 text

差分の差分法（イメージ） たまたま かもしれない...

Slide 42

Slide 42 text

差分の差分法（イメージ） ポイントキャンペーンを実施して いない熊本店の売上推移も見て みよう！ あなた

Slide 43

Slide 43 text

差分の差分法（イメージ） 売上の推移が似ている（これ大事！） ポイントキャンペーンしたのは鹿児 島店だけ

Slide 44

Slide 44 text

差分の差分法（イメージ） 熊本店の方が売上大 きいし、効果なかった のかも...

Slide 45

Slide 45 text

差分の差分法（イメージ） 上司 でも先月→今月の 売上の上がり具合が違う！

Slide 46

Slide 46 text

差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 鹿児島店の売上 320万 200万 320万 - 200万 = 120万

Slide 47

Slide 47 text

差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 熊本店の売上 330万 240万 330万 - 240万 = 90万

Slide 48

Slide 48 text

差分の差分法（イメージ） キャンペーン 前月 キャンペーン 対象月 2店の売上 = 120 - 90 = 30 鹿児島店 熊本店 差分 (鹿児島) 差分 (熊本) 120万 120万 90万 90万

Slide 49

Slide 49 text

差分の差分法（イメージ） 効果は30万円ですね！ あなた

Slide 50

Slide 50 text

差分の差分法（注意点） 「平行トレンドの仮定」ができないとダメ！（良い例）

Slide 51

Slide 51 text

差分の差分法（注意点） 「平行トレンドの仮定」ができないとダメ！（悪い例）

Slide 52

Slide 52 text

差分の差分法（注意点） 「平行トレンドの仮定」ができないとダメ！（左: ◯, 右: ×）

Slide 53

Slide 53 text

差分の差分法（補足） より一般的には、適当な関数形（回帰モデル）から 処置を表すダミー変数D、処置後の時点を表すダミー変数Aの交 差項の回帰係数を推定してあげる（詳細はこちら） ここが効果に当たる

Slide 54

Slide 54 text

差分の差分法（まとめ） - 処置群（キャンペーン実施店舗）のデータだけでは本当の効 果は分からない - 処置群と対照群のキャンペーン前後の差分の差分が効果 - ただし「平行トレンドの仮定」が成り立つ時に限る

Slide 55

Slide 55 text

回帰不連続デザイン（RDD） あるルールによって処置が割り振られるような際に ルールの前後の出力を比較することで効果を推定する手法 「Regression Discontinuity Design」の頭文字から「RDD」

Slide 56

Slide 56 text

回帰不連続デザイン（イメージ） 累計ポイントが10,000以上の 会員にクーポンを配布しよう！ どれくらい 効果あるのかな？ 上司 あなた

Slide 57

Slide 57 text

回帰不連続デザイン（イメージ） クーポン配布後、半年間の各顧客（200人分）の売上 クーポン配布組 平均売上: 33,000円 クーポン未配布組 平均売上: 15,000円

Slide 58

Slide 58 text

回帰不連続デザイン（イメージ） クーポンの効果は 平均して18,000円だな！ どこか 腑に落ちない... 上司 あなた

Slide 59

Slide 59 text

回帰不連続デザイン（イメージ） そもそも ポイントの高い顧客は 購買意欲が高いのでは...？ クーポンをギリギリ貰えた人とギリ ギリ貰えなかった人 の売上を比較 したらいいのでは...！

Slide 60

Slide 60 text

回帰不連続デザイン（イメージ） ポイントが - ちょうど10,000ポイントの人も - ちょうど9,999ポイントの人も 存在しなかった...無念... あなた

Slide 61

Slide 61 text

差分の差分法（イメージ） 少し幅を持たせて クーポンをギリギリ貰えた人と ギリギリ貰えなかった人の 売上を比較しよう！ あなた

Slide 62

Slide 62 text

回帰不連続デザイン（イメージ） 9,500 ≦ P < 10,000 10,000 ≦ P < 10,500 の顧客の売上の平均で比較 拡大

Slide 63

Slide 63 text

回帰不連続デザイン（イメージ） ポイントが 9,500以上10,000未満の顧客の 平均売上: 20,000円 ポイントが 10,000以上10,500未満の顧客の 平均売上: 29,000円 クーポン配布キャンペーンの効果の平均は 29,000円 - 20,000円 = 9,000円ですね！

Slide 64

Slide 64 text

回帰不連続デザイン（注意点） 連続性の仮定 ➢ 全員にクーポンを配布しな かった場合、ポイント 10,000前後で顧客の平均 売上は連続 連続？ 今回のデータは若干怪しいですが、ご容赦くださいませ。

Slide 65

Slide 65 text

回帰不連続デザイン（注意点） non-manupulation ➢ 顧客が事前にクーポン配布の情報を知り得ない 〇月〇日までに累計 10,000ポイント溜まっ てたらクーポンもらえるらしいからポイント 貯めとこう！

Slide 66

Slide 66 text

回帰不連続デザイン（補足） より一般的には、適当な関数形（回帰モデル）から効果を推定す る : ここが効果に当たる

Slide 67

Slide 67 text

回帰不連続デザイン（補足） - 今回の例では、累計ポイント10,000以上の顧客全てにクー ポンを配布しています（完全遵守） - このようなシーンにおける回帰不連続デザインを「シャープな 回帰不連続デザイン」と呼びます。

Slide 68

Slide 68 text

完全遵守が満たされないシーンにおける回帰不連続デザインを 「ファジーな回帰不連続デザイン」と呼びます。 回帰不連続デザイン（補足） （完全遵守が満たされない例） 例えば、累計ポイントの高い顧客にのみメルマガを送り、 メルマガのアンケートに回答し てくれた人にクーポンを配布する というような場面。 ➢ このような場面でも、 アンケートへの回答確率を利用 することで、効果をバイアスな く推定することが可能です。（ 詳細はこちら）

Slide 69

Slide 69 text

回帰不連続デザイン（まとめ） - あるルールによって処置が割り振られるときに効果を推定で きる手法 - 処置がなされるギリギリのデータを比較 - 連続性の仮定とnon-manupulationが成り立つ必要あり - シャープな回帰不連続デザインとファジーな回帰不連続デザ インがある

Slide 70

Slide 70 text

参考文献 - 中室・津川「原因と結果の経済学」ダイヤモンド社(2017) - 西山他「New Liberal Arts Selection 計量経済学」有斐閣(2019) - 安井「効果検証入門」ホクソエム社(2020) - Ron Kohavi他「ABテスト実践ガイド」ドワンゴ(2021)

Slide 71

Slide 71 text

ご清聴ありがとうございました