マクロからミクロへMMMとアップリフトモデルによる広告効果測定

by The Japan DataScientist Society

Slide 1

Slide 1 text

マクロからミクロへ MMMとアップリフトモデルによる広告効果測定株式会社ジンズデータサイエンス部松本健

Slide 2

Slide 2 text

JINSのご紹介 •ビジネスの内容 • メガネ・サングラスの企画、製造、販売を一貫して行うアイウエアカンパニー • 全国および海外の店舗、そしてオンラインストアを通じて、定番からトレンドのアイウエアを手頃な価格で提供 •私たちのビジョン：Magnify Life - まだ見ぬ、ひかりを • 私たちは、まだ誰も知らない可能性にひかりを当て、世界中の人々の生き方そのものを豊かに拡げることを目指している • このビジョンを実現するため、データとテクノロジーの活用を経営の重要な柱の一つと位置づけている 2

Slide 3

Slide 3 text

北海道店舗 17 東北店舗 35 関東店舗 221 中部店舗 78 関西店舗 71 中国店舗 23 四国店舗 13 九州・沖縄店舗 48 中国店舗 167 北米店舗 4 フィリピン FC 香港店舗 9 台湾店舗 61 49 5 店舗国内店舗数 24 1 店舗海外店舗数店舗数 3 ※2024年8月末時点

Slide 4

Slide 4 text

社員数店舗本部 275名 4,351名 40.3% 男性女性 65〜69 60〜64 55〜59 50〜54 45〜49 40〜44 35〜39 30〜34 25〜29 20〜24 15〜19 男女比キャリアの割合（歳） ※準社員・パート含む ※準社員・パート含む ※準社員・パート含む ※本部正社員のみ中途入社 76.4% 23.6% 新卒入社社員の年齢社員数本部店舗 59.7% 0% 1% 7% 15% 29% 26% 13% 5% 2% 3% 0… 3% 25% 24% 19% 16% 8% 3% 1% 0% 0% 0% 4 ※2024年8月末時点

Slide 5

Slide 5 text

2025年春 JINS360°が大ヒット 5 レンズとテンプルをつなぐ部分が360°可動する独自開発機構を搭載 JINSでもっとも壊れにくいメガネ日経MJ 2024年ヒット番付にも選出

Slide 6

Slide 6 text

発表の流れ Part 1: 本当に重要なものを測定する Part 2: 最強の手法とその限界：ランダム化比較試験 Part 3: マクロな視点：マーケティング・ミックス・モデリング Part 4: ミクロな視点：アップリフトモデリング Part 5: まとめと質疑応答 6

Slide 7

Slide 7 text

Part 1: 本当に重要なものを測定する 7

Slide 8

Slide 8 text

マーケティング活動（大規模なキャンペーン） - クーポン配布の効果 - テレビCM 本当に売上を伸ばしていることをどう証明すればよいのか？ 8

Slide 9

Slide 9 text

広告効果ってどうやって測定すれば良いだろうか？ 9

Slide 10

Slide 10 text

測定の難しさ単純な前後比較だけでは不十分売上は、トレンドや季節変動、祝日の効果、新商品の発売、コロナ禍など広告以外に、外部のイベントや同時期に起こる多くの要因に影響される 10

Slide 11

Slide 11 text

11 2つの強力なデータサイエンス手法を紹介 1. マクロなアプローチマーケティング・ミックス・モデリング（MMM） TVCMなど集計された時系列データに対して効果を計算する 2. ミクロなアプローチアップリフトモデリング顧客ごとの異質性を考慮し顧客ごとにクーポンやポイントの効果を計算する

Slide 12

Slide 12 text

Part 2: 最強の手法とその限界：ランダム化比較試験 12

Slide 13

Slide 13 text

最強な手法は、ランダム化比較試験（RCT；Randomized controlled trial） 13

Slide 14

Slide 14 text

Aさん Bさん Aさんだけにクーポンを付与するとどうなるか？ Aさん Bさん広告効果インターネットの世界 14

Slide 15

Slide 15 text

しかし TVCMなどのマス広告はランダム化比較試験が難しい 15

Slide 16

Slide 16 text

広告の実施期間 TVCMを全国に実施した広告効果を推定したい 16

Slide 17

Slide 17 text

広告の前後でどれだけ売上が増えたかを集計する広告の効果 17

Slide 18

Slide 18 text

実際は・・・トレンド季節変動祝日効果広告効果コロナ新商品 18

Slide 19

Slide 19 text

「見た目の効果」の罠：比較方法で結果は変わる背景設定広告効果を正しく測る難しさを検証するため「トレンド」「季節性」「真の広告効果(25)」を含むシミュレーションデータを生成実験結果 ① 直前比較広告期間の「直前の期間」と売上を比較 → 元々の上昇トレンドを広告の効果と誤って取り込んでしまい、広告効果を過小に評価した ② 前年比較「1年前の同じ期間」と比較したところ、効果は13 → 前年のベース売上が（コロナ影響で）たまたま低かったため、広告効果を過大に評価してしまった結論単純な期間比較では、比較対象の選び方次第で広告効果の評価が大きく歪んでしまう 19

Slide 20

Slide 20 text

Part 3: マクロな視点：マーケティング・ミックス・モデリング 20

Slide 21

Slide 21 text

マーケティング・ミックス・モデル（MMM）とは観測された変数に関する仮説の議論（時系列の分解） 21 トレンド：広告効果：周期性の効果：誤差：コロナの影響：アドストック効果飽和効果

Slide 22

Slide 22 text

マーケティング・ミックス・モデル（MMM）とは売上のようなビジネスの成果を、様々な要因に分解する統計的手法各マーケティングチャネルの貢献度を理解することができる主要なモデル構成要素時系列データ = ベース売上 + マーケティング効果 + その他の要因（誤差）ベース売上：トレンドや周期性（季節性）、マーケティング活動がない場合の売上 22

Slide 23

Slide 23 text

マーケティング・ミックス・モデル（MMM）とは売上のようなビジネスの成果を、様々な要因に分解する統計的手法各マーケティングチャネルの貢献度を理解することができる主要なモデル構成要素時系列データ = ベース売上 + マーケティング効果 + その他の要因（誤差）マーケティング効果：広告効果をモデル化する 1. アドストック効果（残存効果） 2. 飽和効果 23

Slide 24

Slide 24 text

マーケティング・ミックス・モデル（MMM）とは売上のようなビジネスの成果を、様々な要因に分解する統計的手法各マーケティングチャネルの貢献度を理解することができる主要なモデル構成要素時系列データ = ベース売上 + マーケティング効果 + その他の要因（誤差）その他の要因 1. 祝日効果 2. コロナの影響 3. 天気 4. 誤差など 24

Slide 25

Slide 25 text

25 どこに広告効果を与えたでしょうか？

Slide 26

Slide 26 text

26 時点201〜250に広告効果を与える

Slide 27

Slide 27 text

27 広告効果の信頼区間その推定の不確実性の幅真の広告効果広告効果の点推定最も確からしい効果の大きさモデルが推定した広告効果の時系列変化広告の貢献度を統計的に分離

Slide 28

Slide 28 text

28 どこに広告効果を与えたでしょうか？モデルなしでは、売上グラフを見ても正しい広告効果を知ることは困難

Slide 29

Slide 29 text

エリアABテストとは何か 29 TVCMを施策を実施するグループ（TG）と TVCMを実施しないコントロールグループ（CTL）を地理的に分けて設定し、TVCMの効果を分析 → エリアABテストを利用することで精度が向上することが期待される

Slide 30

Slide 30 text

精度！？ 30

Slide 31

Slide 31 text

X X 正確度が良い正確度が悪い 31

Slide 32

Slide 32 text

X X 精度が良い精度が悪い 32

Slide 33

Slide 33 text

エリアABテストのシミュレーション実験 33 実験1：TGのみ実験2：TGとCTL 実験1と実験2を100回繰り返す広告効果：真のパラメータ平均 2.00（中心の位置）分散 1.00（ばらつき）平均値は、実験1と実験2では差がない分散は、実験2の方が小さい平均のシミュレーション結果分散のシミュレーション結果分散の推定分散の分散実験1 1.00 0.0051 実験2 1.00 0.0021 平均の推定平均の分散実験1 2.01 0.14 実験2 1.99 0.05

Slide 34

Slide 34 text

エリアABテストが広告効果の推定精度を向上させる理由 34 シナリオA：エリアテストなし（全国一斉CM）シナリオB：エリアテストあり

Slide 35

Slide 35 text

エリアABテストが広告効果の推定精度を向上させる理由 35 推定された係数 𝛽 の分散の公式は、以下のように表される

Slide 36

Slide 36 text

エリアABテストが広告効果の推定精度を向上させる理由 36 エリアABテストなしの問題点このモデルでは、広告効果を推定する変数は、多くの場合、他の要因と強い相関がある • クリスマスキャンペーンを考えると、「クリスマス時期である」という季節要因と完全に連動する • 夏のキャンペーンなら、気温や休日のトレンドと連動するモデルは「売上の増加が、広告によるものなのか、たまたま重なった季節トレンドによるものなのか」を正確に区別できず、推定が不安定になる

Slide 37

Slide 37 text

エリアABテストが広告効果の推定精度を向上させる理由 37 エリアABテストありの優位性 • 全国共通のトレンドや季節性は、広告実施エリアと非実施エリアの両方に同じように影響する • 広告が実施されていないコントロール群のデータを使って、これらの共通要因の影響を正確に学習し、その効果（γ）を分離することができる • その結果、広告効果を示す交互作用項と、共通要因との間の相関は大幅に低下するエリアABテストは、広告効果と全国共通のトレンドや季節性といった交絡因子（Confounders）との間の多重共線性を軽減させる効果がある結果、モデルは広告の純粋な効果をクリーンに分離できるようになり、広告効果パラメータの推定量の分散が減少し、推定の精度が数学的に向上する

Slide 38

Slide 38 text

エリアABテストによるMMMの課題 38 エリアABテストと呼ばれる準実験的なアプローチを用いることで、モデルの「精度」を大幅に向上させることが期待できるコンセプト： TVCMを放映するエリア（TG）と、放映しないエリア（CTL）を地理的に設定する利点：シミュレーション実験が示すように、CTLを設けることで、広告効果の推定値の分散が小さくなる（＝精度が向上する）これにより、結果に対する信頼性が高まる課題：適切なコントロールエリアの設計が意外と難しい

Slide 39

Slide 39 text

検知できる広告効果の限界を知る 39 1. テスト1：広告効果がないときに、誤って広告があると検出しないかノイズを与えないデータ（TV CMの効果がないデータ）に対し、仮想の広告期間を与えた場合に、広告効果がほぼ0であることを確認する 2. テスト2：広告効果を与えたときに、広告の効果量を正しく検知できるか 1%, 2%, 3%, ..., x%のノイズを仮想の広告期間に与え検知できることを確認する（推定可能な広告効果の限界値を知る）（例）事前のテストで検知できるリフトが5%程度必要だと分かった → 想定される施策効果が1%程度である場合、モデルを作成してもノイズとみなされるリスクが高い

Slide 40

Slide 40 text

検知できる広告効果の限界を知る 40 テスト1：広告効果がないときに誤って広告があると検出しないかテスト2：広告効果を与えたときに広告の効果量を正しく検知できるか広告の効果量が0に対し、推定量はほぼ0 → 広告効果がないにも関わらず、誤って効果があると判断されるリスクは少ない広告の効果量が5%に対し、推定量は5% → 広告効果があるにも関わらず、誤って効果がないと判断されるリスクは少ない

Slide 41

Slide 41 text

Part 4: ミクロな視点：アップリフトモデリング 41

Slide 42

Slide 42 text

42 MMMはTVCMキャンペーンが「全体としてどれだけ」売上に貢献したかを教えてくれるしかし、「誰に」アプローチすべきかは教えてくれない

Slide 43

Slide 43 text

粒度金額コスト（傾きは小さい）施策効果（傾きは大きい）マス one to one セグメント 43 セグメントを細かくするをする上での重要なポイント 1. 施策対象者が多い - カスタマが少ないとレバレッジが効かない 2. カスタマを細分化した時のコスト - ウェブ広告では、カスタマの粒度を細かくしてもコストはそれほど増えない - one to oneに近い状態で、施策を評価をできれば、施策のリターンは効率的である

Slide 44

Slide 44 text

44 アップリフト効果の定義実施なし実施ありセグメントA 30% 35% 1.16倍実施なし実施ありセグメントB 30% 40% 1.33倍

Slide 45

Slide 45 text

45 ABテストを用いた効果測定の課題 • 変数を増やすとセグメントが膨大になる • 評価してみると結果がおかしい - ABテストの限界 27％ 20％セグメントA 未付与者の CVR 付与者の CVR セグメントを細かくしすぎ人数が少ないセグメントが多発 10人中の 2人 11人中の 3人

Slide 46

Slide 46 text

ABテストを用いた効果測定の課題 46 • 粗いセグメントではなく、細かい粒度で施策を行いたい • ABテストの様な評価方法で、セグメントを細かくすると限界になる → 細かいセグメントに対して、どのように評価をするか？セグメント 1 セグメント 2 セグメント 3 セグメント 4 セグメント 5 セグメント 6 セグメント 7 セグメント 8 セグメント 9

Slide 47

Slide 47 text

アップリフトモデリングの紹介 47 重要な4つのセグメント概念説得可能層（The Persuadables）施策を受け取った場合に購入確率が上昇する層この層をターゲットにする無関心層（The Sure Things）施策の有無にかかわらず購入する層クーポンコストの無駄になる離反層（The Lost Causes）施策の有無にかかわらず購入しない層クーポンコストの無駄になる迷惑層（The Sleeping Dogs）施策を受け取ると、むしろ購入しなくなる層しつこい広告でブランドが嫌いになる → こんな人って本当に存在する？

Slide 48

Slide 48 text

アップリフトモデリングの作り方 48 サンプルデータの説明

Slide 49

Slide 49 text

ロジスティック回帰モデル（1モデルアプローチ） 49 説明変数 Recency (𝑟) Frequency (𝑓) クーポン付与 (𝑝) 目的変数商品を買ったかどうか (𝑦) AUC：0.899

Slide 50

Slide 50 text

ロジスティック回帰モデル（1モデルアプローチ） 50

Slide 51

Slide 51 text

交互作用項を含むロジスティック回帰モデル 51 単純なロジスティック回帰モデルは、クーポン効果の異質性を表現することができなかった → 交互作用項を含むモデルを作れば良いのではないかという発想になるクーポン効果として、全員一律の効果ではなく、 Frequency や Recency によってクーポンの効果（クーポン感度）が異なるという工夫を入れている

Slide 52

Slide 52 text

交互作用項を含むロジスティック回帰モデル 52

Slide 53

Slide 53 text

ロジスティック回帰モデル（2モデルアプローチ） 53 ステップ１：ロジスティック回帰を TG グループと CTL グループに対してそれぞれモデル作成を作成するステップ２：[ TG グループの予測確率 - CTL グループの予測確率 ]を行い、その差分をアップリフトスコア、つまり、クーポン付与の効果と考える

Slide 54

Slide 54 text

ロジスティック回帰モデル（2モデルアプローチ） 54 交互作用項を含むロジスティック回帰モデルと全く同じ結果になる！

Slide 55

Slide 55 text

機械学習モデル：SVMと決定木 55 • サポートベクターマシン (SVM) 顧客を分類する境界線を見つけるのが得意なモデル特に、顧客の特徴量が多い場合に力を発揮する • 決定木「もしAがYseで、かつBがNoなら…」のように、条件分岐を繰り返して顧客を分類するモデル結果が非常に分かりやすく、「説得可能層」がどのような顧客かを図で理解しやすいのが特徴長所と短所長所 • 顧客の属性と施策効果の間の、複雑で非線形な関係を捉えることができる • 一般的に、ロジスティック回帰よりも高い予測精度が期待できる短所 • モデルがブラックボックスになりがちで、なぜそうなったかを説明するのが難しい • モデルがデータに過学習しやすく、未知のデータに対する精度が落ちることがある

Slide 56

Slide 56 text

機械学習モデル：SVM 56

Slide 57

Slide 57 text

機械学習モデル：決定木 57

Slide 58

Slide 58 text

階層ベイズモデル 58 ロジスティック回帰モデル階層ベイズモデル 𝛽3 が平均的なクーポン効果であり、 𝛽3i は顧客ごとのクーポン効果を表現している

Slide 59

Slide 59 text

階層ベイズモデル 59

Slide 60

Slide 60 text

モデルの比較 60

Slide 61

Slide 61 text

モデルの比較 61 • アップリフトモデルとして機械学習を用いるケースが多い • 実際に、モデルの予測能力だけで評価すれば、機械学習の精度は高いことが多い • 機械学習によって作られたモデルは、構造が複雑になっているため、なぜそういった予測になるのか理由を説明することが難しい • 機械学習を用いれば誰が購入予約をするかを精度高く予測することができるが、なぜその人が購入するのかは明らかにできない • たまたま施策効果が大きそうに見えていた顧客にクーポンを付与してしまい、実際には効果がほとんどなく、巨額の損失を生じさせるといったリスクもある

Slide 62

Slide 62 text

AIは、100％ではない仮に90%だとすると 10%は間違える 62

Slide 63

Slide 63 text

データサイエンスが支える企業の成長 63 • アップリフトモデルのような施策は、直接的な利益貢献が期待できる一方、その効果は一過性（1-shot）になりがち • 企業の持続的な成長のためには、顧客との長期的な関係を築くCX戦略（顧客体験）が不可欠 • データサイエンスの役割は、この両方を支えることにある

Slide 64

Slide 64 text

短期利益と長期的成長の両輪を回す 64 短期的な利益貢献長期的な企業成長施策の最適化（1-shotの積み重ね）顧客体験（CX）の向上個別のマーケティング施策の効果を最大化し、直接的な利益を生み出す顧客との良好な関係を築き、LTVを高めることで、持続的な成長の土台を作る＜具体例＞ • アップリフトモデリング • 広告効果測定（MMM） • 価格最適化即効性があるが、効果は限定的・一過性＜具体例＞ • 顧客理解の深化 • ロイヤルティプログラムの分析 • ブランド価値の測定効果の発現に時間がかかるが、企業の根幹を支える

Slide 65

Slide 65 text

Part 5: まとめと質疑応答 65

Slide 66

Slide 66 text

まとめ 66 • 広告効果を測定するための2つの補完的なフレームワーク • MMMとアップリフトモデルの比較 - MMM 予算配分（例：テレビ vs デジタル）の意思決定に役立つ - アップリフトモデル個々のユーザーに広告を表示すべきかどうかの判断に役立つ

Slide 67

Slide 67 text

67 各分析アプローチの長所と短所分析アプローチメリット（長所）デメリット（短所）前後比較・昨対比較・手軽さ: 計算が非常に簡単で、誰でもすぐに結果を出せる。・直感的: 理解しやすい。・信頼性が極めて低い: トレンド、季節性、競合など、あらゆるバイアスの影響を受ける。・誤った意思決定: 見かけ上の効果に騙され、判断を誤るリスクが非常に高い。ランダム化比較試験 (RCT) ・最も信頼性が高い: 因果関係を特定するゴールドスタンダード。・結果が明快: 施策の純粋な効果をバイアスなく測定できる。・実施コストが高い: 特にマス広告での実施は困難または不可能。・限定的: 特定の期間・クリエイティブの効果しか検証できない。アップリフトモデル・個人レベルの示唆: 「誰に効くか」を特定し、次の施策のROI を最大化できる。・顧客体験の向上: 迷惑層へのアプローチを避け、離反を防ぐ。・RCTデータが必須: モデル構築のために、個人単位のRCTが必要。・モデルの複雑性: 構築や解釈に専門的な知識を要する。

Slide 68

Slide 68 text

68 各分析アプローチの長所と短所分析アプローチメリット（長所）デメリット（短所）エリアABテストMMM ・高い信頼性: RCTに近く、マス広告の効果を高い精度で測定できる。・交絡因子の排除: 全国共通のトレンド等の影響を自然に排除できる。・コントロールエリア選定の難しさ: DIDの前提（平行トレンド仮定）を満たす、売上傾向が酷似したエリアを見つけるのが非常に難しい。・実施の制約: 広告を放映しないエリアの確保が必要。・コスト: 通常のMMMより分析・準備のコストがかかる。 MMM （通常の観察データ）・網羅性: 複数のマーケティング施策の効果を同時に評価できる。・比較的安価: 既存のデータのみで分析が可能。・モデル依存: 交絡因子を全てモデルで調整する必要があり、見落としのリスクがある。・精度限界: あくまで統計的な調整であり、RCTほどの信頼性はない。

Slide 69

Slide 69 text

69 仲間を募集しています：JINSで新しい価値を創造しませんか？データとテクノロジーでアイウエアの未来を創る仲間を募集中！本日お話ししたような、挑戦的で面白い課題に溢れています。問い合わせ：[email protected]