【新卒研修資料】効果検証_因果推論 / Impact evaluation Causal inference

株式会社ブレインパッドの2025年新卒研修資料です。効果検証と因果推論について扱っています

※ 本資料の公開はブレインパッドをもっとオープンにする取り組みOpenBPの活動のひとつです。
[OpenBrainPad Project]
https://brainpad.github.io/OpenBrainPad/

Transcript

1. 効果検証・因果推論研修
2. 2 ©BrainPad Inc. 効果検証の考え方を知ること 本研修のゴール 目指す姿（職種問わず） • 本当は何が問いで、何が必要か、考える習慣をつける • 必要な値の算出を阻む交絡因子の多さと、それらを取り除く重要性を 知っている
3. 3 ©BrainPad Inc. 前提知識 技術 ビジネス 本日のコンテンツ 理想的な効果検証を行うための知識と技術の一部をお渡しします。 講義の途中でどんどん質問してくださって構いません。 効果検証とは バイアス A/Bテスト meta-learner 合成コントロール 何が効果か ケース課題 DID 効果検証か？ RCT
4. 4 ©BrainPad Inc. 講師紹介 よろしくお願いいたします。 アナリティクスコンサルティングユニット 阿部 智和 • 新卒6年目 • 一言：平井さんってカーリング全日本出 てるんですか！？ アナリティクスコンサルティングユニット 平井 直知 • 新卒4年目 • 一言：カーリング日本選手権は2年連続で 横浜開催です アナリティクスコンサルティングユニット 東野 秀祐 • 新卒2年目 • 一言： TAに選んでいただきありがとうご ざいます！
5. ©BrainPad Inc. Strictly Confidential 前提知識
6. 6 ©BrainPad Inc. 弊社の役割・提供価値 Vision: 息を吸うようにデータが活用される社会をつくる“Data-driven as Usual” ブレインパッドのご支援は単なる“分析支援”ではなく 様々なビジネスの場面で誰もが培った経験＋データ分析から得られた示唆で “意思決定ができる仕組み”をつくること
7. 7 ©BrainPad Inc. 弊社の役割・提供価値 データ分析から得られた示唆で “意思決定ができる仕組み”をつくる
8. 8 ©BrainPad Inc. 意思決定って？ 温泉旅行パックのWeb広告 続ける？場所変える？ 化粧品に商品サンプル つける？つけない？
9. 9 ©BrainPad Inc. 意思決定って？ 判断することの背後には、希望・要望があります。 温泉旅行パックのWeb広告 続ける？場所変える？ 化粧品に商品サンプル つける？つけない？ • せっかく出稿料払ってるんだから無駄に したくない • もっといい掲載先があるかもしれない • 購買や認知につながってほしい • でないと、無駄かもしれない
10. 10 ©BrainPad Inc. 意思決定とデータ 判断の材料として、ファクトが求められる 温泉旅行パックのWeb広告 続ける？場所変える？ • せっかく出稿料払ってるんだから無駄に したくない • もっといい掲載先があるかもしれない 例えばこんなデータがあると判断できる 閲覧数 コンバージョン率 「広告によって儲かる」 掲載先・広告枠間で比較 「今の枠が最適である」
11. 11 ©BrainPad Inc. 意思決定とデータ 判断の材料として、ファクトが求められる 化粧品に商品サンプル つける？つけない？ • 購買や認知につながってほしい • でないと、無駄かもしれない 例えばこんなデータがあると判断できる 配布数 対象商品の売り上げ増分 「配布によって儲かる」 アンケート等による認知度 「配布によって認知が広 がる」
12. 12 ©BrainPad Inc. 意思決定とデータ 温泉旅行パックのWeb広告 続ける？場所変える？ 商品のサンプル つける？つけない？ ビジネスにおける活動の効果を検証し、 意思決定に必要な材料を調える
13. 13 ©BrainPad Inc. 効果を「検証」するとは 効果検証のベースとなる考え方
14. 14 ©BrainPad Inc. 効果検証のベースとなる考え方 ただ「売上がいくらか」を提示するだけでは、効果検証とは言えません 施策中 （3月） 温泉旅行の広告施策をやったら、 売上がXXでした！ 施策は成功です！ …とはならない 売 上 XX円
15. 15 ©BrainPad Inc. 効果検証のベースとなる考え方 施策実行前と比べればいいのでは？だけだとまだ不十分です 施策前 （2月） 施策後のほうが売上が高い！ 施策は成功です！ …とはならない 売 上 XX円 施策中 （3月） XX円 効果？
16. 16 ©BrainPad Inc. 効果検証のベースとなる考え方 売上増加の背景要因を取り除き、施策の効果と区別しないと、効果を過大/過小評価するおそれがあります。 施策前 （2月） 売 上 XX円 施策中 （3月） XX円 効果？ 季節トレンドによる増分（例） 施策による増分←ここが効果！ これに気づかないと、 施策の効果を過大に 評価してしまう
17. 17 ©BrainPad Inc. 効果検証のベースとなる考え方 同質なものを比較できる状況が理想です。 ※俗に “Apple to Apple” と呼んだりします。 トナカイとりんごを 比べてはいけません りんごはりんごと 比べましょう
18. 18 ©BrainPad Inc. 効果検証のベースとなる考え方 施策対象に対して、施策以外の要因ができるだけ同質なものを比較対象に設定するのが原則です。 施策前 （2月） 売 上 XX円 施策がなかった 場合の3月 比べるのはこの二者間！！！ 施策を行った 場合の3月
19. 19 ©BrainPad Inc. 効果検証の大前提（補足） 効果を過大/過小評価することのマズさは、意思決定を誤ることにあります。 以下、ざっくりした例です。 過大 ＝リソースの無駄遣い 過小 ＝機会損失 効果のない施策に過剰に投資してしまう 施策を控え、得られたはずの効果を失う
20. 20 ©BrainPad Inc. この研修で覚えてほしいこと ここだけでも持ち帰っていただければ、この研修は成功です。 1 2 3 バイアスがあって当然。いかに背景要因を分解でき るかが腕の見せ所。 何を見れば意思決定ができるのか、その結果が判断 をどう変えるのかを合意しよう。 1と2の質を高めるのは、ビジネスモデルやドメイン に対する理解。努めよう。
21. 21 ©BrainPad Inc. 効果検証の基本 顧客またはユーザー（以下ユーザーとします）を「施策による介入を行う群」と「介入しない群」の二群に 分け、あらかじめ決めた指標を比較します。 介入群 対照群 KPIを比較 KPIがXX%増加 施策ROIがY.YY 施策介入有無の例 • WebサイトのデザインパターンA・パターンBを出し分ける • DMによるクーポンを発行する・しないを分ける • ECサイトのレコメンドに新しいロジック・従来のロジック を出し分ける このとき、施策介入群と対照群が同質になるよう割り 当てます ※同質＝性質が同じ。ユーザの性別・年代・年収など のデモグラ情報やサービスの利用頻度、購買金額など に偏りが生じていない状態。
22. 22 ©BrainPad Inc. 個人ワーク（5min） 実験・報告シナリオ（右側）における問題点を挙げてください。また、この施策が成功したかどうかを調べ るにはどうしたらいいか考えてみてください。 背景：新型車のDM施策 実験・報告シナリオ 新型のSUVが発売されました。子連れファミリーのアウトドアライフを助 ける機能が豊富な車種で、キャッチコピーは『広がる空と、広がる笑 顔。』です。試乗会招待のためDMを顧客へ送付し、問合せ・ディーラー 来店促進を狙います。 施策担当者はDMの効果をテストするように上長から指示を受けています。 施策介入群 対照群 担当者は施策を成功させるため、ファミリーまたはアウトドア志向の高い 顧客を配信対象としました。 施策介入群・対照群の問合せ率を比べ、「この施策によって問合せ率が 2.9%上昇した」と報告を行いました。 ファミリー or アウトドア派 単身者 or インドア派 ファミリー向けなん だから、そういう人 に送らなきゃ！ 問合せ率 3% 問合せ率 0.1% めっちゃ差がある やんけ！成功！ 2.9%UP!
23. 23 ©BrainPad Inc. 個人ワーク：答え 介入群と対照群が同質ではないため、「2.9%の上昇」は施策のみの効果ではありませんでした。 また、担当者による恣意的な選択（ランダムではない）でした。 問題点：顧客の性質のバイアスを無視している そもそも広告に反応しそうな特徴（ファミリー・アウトドア派）をもつ人 ばかりに介入しており、その影響を受けています。 施策以外の要因が同質な比較を作り出すことで、施策の効果を検出できま す。 ベースライン 性質の違いによる差 施策による増分 報告した 2.9% 問 合 せ 率 施策介入群 そもそも高関心 対照群 興味ない DM施策の効果を過大評価しており、以下のおそれがある • 施策を継続・拡大展開した場合の投資対効果が見込めない • 満足してしまい、施策改善のチャンスを逃す ベースライン 施策による増分 問 合 せ 率 施策介入群 そもそも高関心 対照群 そもそも高関心 理想：対照群に同質な顧客を設定する
24. 24 ©BrainPad Inc. 個人ワークねたばらし 今回のケースは、 “セレクションバイアス” が働いたと言えます。 セレクションバイアス サンプルを抽出する過程の偏りにより生じるバイアス。 比較しているグループの潜在的な傾向が違うことで悪さをする。 分析の際に対処しなければ、本来とるべきで あった選択と異なる意思決定をしてしまう。 施策介入群 対照群 この状態が続くと、ビジネスがどんどん誤っ た方向に進みかねない。。。
25. 25 ©BrainPad Inc. 理想的な効果検証 施策介入以外の要因が同質であるとうれしい、 つまり、介入ある/なし をランダムに設定すればよいです。 母集団 介入群 対照群 施策の有無以外は 同質になるはず 効果検証入門 より図を改変
26. 26 ©BrainPad Inc. 理想的な効果検証 設計の段階で条件を整えることで、理想的な効果検証が実現できます。 RCT: Randomised Controlled Trial 、無作為化比較試験 対象者をランダムに2群（またはそれ以上）に割り振り、一方にのみ介入を施し、結果を比較 することで介入の効果を測る実験の手法。 介入群 / トリートメント群 対照群 / コントロール群 V.S.
27. 27 ©BrainPad Inc. 理想的な効果検証 実務では、ユーザID等を用いて介入群・対照群をランダムに割り当てるよう試みます。 ユーザID nC8HK1wdew NNQEE4YHzM 10j7JiRCsK 0avgEvrHDv 31thJBjxuz ハッシュ値 6a36b11f2… 19c9c288b… 0e63d3f40… 231f868d3… 22e81f733… 割り当てグループ A A B B A ランダムな割り当ての例：IDのハッシュ化 ハッシュ化 数値化のち 割算の余りなど で分割 再現性があり、軽い実装でほぼランダムな割り当て結果を得ることができるため、 ハッシュ値による割り当てがよく利用されます。
28. 28 ©BrainPad Inc. 理想的な効果検証 介入群と対照群に分けて施策の効果検証を行う場合、それは「A/Bテスト」と呼ばれます。 ※技術パートでもう少し詳しくお伝えします！ A/Bテスト RCTができている状態で行う施策の実験。Webサービス等のUI/UX変更やマーケティング施策 を全体展開する前に一部のユーザを対象にテストを行います。 A/Bどちらか ランダム割当 現行UI 新UI CTR 1.5% CTR 1.8% 採用！
29. 29 ©BrainPad Inc. 個人ワーク（5min） 以下のビジネス背景にもとづき、実験シナリオにおいて生じうるバイアスを考えてみてください。 （いくつでもOK）できれば、そのバイアスがあるとどんな不都合が生じるかも考えてみてください。 • オンラインのヘルスケアQ＆A・カウンセリングサービス • 会員数は40万人。女性人気が高く、女性：男性＝4：1 。 • 内科・皮膚科・心療内科・小児科などカテゴリに分かれる • ユーザの質問投稿が活発になるよう試行錯誤中 • トップページのレイアウトを刷新。新旧のどちらがより質問投稿数が 多かったかを検証したい。 • 5/3（祝）、深夜2:00に実験を開始。 • Webサイト来訪順に、男性1,000人、女性1,000人に対して介入を実施。 コントロール群はその後ランダムに2,000人を抽出。 • 時間がないので前処理はスキップし、 「介入群の平均投稿数 - コントロール群の平均投稿数」 を施策の効果として算出 ビジネス背景 実験シナリオ ヒント： バイアスがある＝介入群とコントロール群（対照群）が同質でなくなる その理由探しこそが本ワークです
30. 30 ©BrainPad Inc. ワークの回答例 ほかにもいろいろ考えられると思います。 みなさんのご意見もききたいです。 介入群とコントロール群または実際 のサービス利用者の間で、男女比が 異なる。 本番適用時に比べ、実験では男性 の影響が強く表れている可能性 男女比 時間帯 祝日の深夜2時というやや特殊な時 間帯に実験を開始している。 介入群となるユーザが、一般的な ユーザと異なる性質をもつ可能性 今回の例だと「眠れない」相談が多 いとか タイムラグ 2:00から介入群を割り当てたあと、 別途コントロール群を用意している。 介入群とコントロール群の抽出に タイムラグがあり、ユーザの性質が 異なる可能性 treatment control 外れ値 介入群・コントロール群の比較を平 均値で行っているが、投稿数が異常 に多いヘビーユーザーの影響を受け やすい 結果がヘビーユーザーの分布に依 存してしまう
31. ©BrainPad Inc. Strictly Confidential 効果検証の技術
32. 32 ©BrainPad Inc. 前提知識 技術 ビジネス 本日のコンテンツ 理想的な効果検証を行うための知識と技術の一部をお渡しします。 講義の途中でどんどん質問してくださって構いません。 効果検証とは バイアス A/Bテスト meta-learner 合成コントロール 何が効果か ケース課題 DID 効果検証か？ RCT
33. 33 ©BrainPad Inc. 技術を理解する価値 基本的には施策の設計・実装時にバイアスが発生しないようにするのが理想です。 が、ここでバイアスが残ってしまった場合には、効果検証の際に技術で対処することになります。 施策 設計 実装 施策 展開 効果 検証 背景 分析 PDCAサイクルのどこでバイアスを除くか 設計段階でバイアスが発生しないよ うな実験を組めるのがベスト • A/Bテスト 設計で除ききれなかった バイアスは分析で対処 • DID • 合成コントロール 個体毎に施策効果を推定 • meta-learner
34. 34 ©BrainPad Inc. A/Bテスト
35. 35 ©BrainPad Inc. A/Bテスト 「A/Bテスト」は個別の分析手法の名前というより、実験の枠組みを指す用語です。 RCTができている状態で行う施策の実験全般を指します。 A/Bどちらか ランダム割当 現行UI 新UI CTR 1.5% CTR 1.8% 採用！ 一連の取り組みが「A/Bテスト」 何らかの手法で結果を比較 • 単純集計 • 統計的仮説検定 • ベイジアンABテスト • ベイズファクター
36. 36 ©BrainPad Inc. A/Bテストの流れ 仮説立案から意思決定までをビジネスサイド（PdMやマーケター）と連携しながら進めていきます。 役割 基礎分析 ファクトの提供 仮説・施策立案 分析 施策改善 アクション 分析 PdM /企画 基礎分析・仮説立案 効果検証 施策評価 ユーザ反応 の深堀 テスト 設計 テスト 実施 評価・ Go/No go 判断 仮説と分析で 施策を磨きこむ プロセス概要 • PdMやマーケターと協働して 仮説を立て、施策に落とし込む • 施策のブラッシュアップのため の繰り返し実施することもある • 施策の良し悪しを判断するためのテス トを設計し、分析までを実施 • 設計が非常に重要 • 分析結果に基づき、施策を全面展開するか 判断する • 結果の背景要因を明らかにする分析を行い、 次の施策に向けたインサイト抽出・アク ションの提案を行う
37. 37 ©BrainPad Inc. Aパターン Bパターン 表示回数 10,000 10,000 クリック数 965 1,035 クリック率 0.965% 1.035% 分散 0.0872 0.0928 A/Bテストの分析例 シンプルな仮説検定を使うことが多いです。 頻出するCVR（コンバージョン率）やCTR（クリック率）の比較には、母比率の差の検定が用いられます。 今回のケースでは、片側検定でp = 0.049 クリック率はBのほうが大きい 母比率の差の検定の場合 帰無仮説 H0: AとBのクリック率に差がない 対立仮説 H1: AとBのクリック率に差がある 一般的に p <0.05の場合に有意な差があるとみなし、 帰無仮説を棄却＆対立仮説を採択する。 Q：AとBのどちらがクリック率が高いか？ p値に応じて、帰無仮説を棄却するか判断
38. 38 ©BrainPad Inc. Why? 本来効果がないのに偶然現れた有意差を過大評 価するおそれ（第一種の過誤に引っかかる）。 チェリーピッキングとも。 Do • 施策の仮説に応じた指標を選ぶ • 結果を誠実に受け止める A/Bテストの分析における代表的なアンチパターン 総じて、p値に任せきりにせず、本当に見るべき指標がどれくらい変化したかを考えましょうというのがメッ セージです。 NG: 徒に沢山の指標で検定する NG: 効果の大きさを語らない NG: 判断指標を吟味しない p = 0.34 p = 0.63 p < 0.05 … x20 Why? 有意な差がビジネス的には意味の無いほど小さ い場合もある。※サンプルサイズを上げれば物 凄く小さい差も有意になる Do • A-B間の差の数値を確かめる • 検定指標とビジネスインパクトの関係も把 握しておく Why? 施策ではない要因の影響を受けたり、施策の目 的を外したりすることで、施策の効果を正しく 測れない Do • サービスの顧客体験の中で施策がどこに位 置し、何が変わるのかを追求。指標選びに 反映させる p!! p!! cvr+0.01%...
39. 39 ©BrainPad Inc. A/Bテストの難しさ（参考情報：各社の事例） 分けて実験するだけに見えますが、多くの企業が課題を抱え、より正確・効果的・効率的に実践するために 模索しています。 メルカリ様 Sansan様 Gunosy様 LIFULL様 [シリーズ]A/Bテスト改善 - メルカリにおける課題の全体像 - A/Bテストを推進しようとしている話 A/Bテストの情報過多と戦う A/Bテストの信頼性の課題とベイジアンA/Bテストの落とし穴 - LIFULLの取り組み
40. 40 ©BrainPad Inc. （参考）A/Bテストの技術的なつまずきポイント プロセス×担当者ごとに様々な落とし穴が隠れています ※詳細は割愛します。ここでは落とし穴だらけということが伝わればOKです。 仮説立案 テスト設計 テスト実施 計測 Go/No Go ビジネス 分析 システム 結果の算出 KGI-KPIの関係 が不明瞭 施策の仮説が曖 昧 パフォーマンス低下 分析ツール内部の 処理に不備 判断基準が仮説と かけ離れている 結果をナレッジとし て残していない システムの不備 他施策とのカニバリゼーション を考慮していない 外部要因に影響されている 指標が施策とマッチしない SRMが発生 結果に対する判断を 事前に決めていない A/B群のユーザが同質でない 期間が短くバーンイン の影響を受けている ログ取得時のエラー 割り当てトリガーが不適切 異常値/欠損値等 を考慮しない botや特異ユーザの存在 設計者が設計の要件を 把握していない 誤差の発生しやす い分析設計 サンプルサイズが不足 参考：A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは
41. 41 ©BrainPad Inc. A/Bテスト 参考書 もしも案件で取り組む場合には以下をお読みいただくとより価値を発揮できます。 BPワークショップ A/Bテスト編 難易度 ★★★ 難易度 ★★★★ A/Bテスト実践ガイド 真のデータドリブンへ至 る信用できる実験とは 難易度 ★ Pythonで学ぶ効果検証入門
42. 42 ©BrainPad Inc. DID
43. 43 ©BrainPad Inc. DID（Difference in Difference） 施策によっては人単位で割り当てがされず、A/Bテストができない場合もあります。 例1: 地域限定のプロモーション 例2: 地方局のTVCM 特定の地域の全店舗にて販促キャンペーンを実施。他 の地域では実施していない。 道東の店舗でのみ 販促キャンペーン なぜできない？ • 店舗を訪れた顧客は全員介入を受けている • 他の地域の顧客は同質性が保たれない 山陰支社がローカ ル局で実施した TVCM 全国展開している企業の地方支社で実施したTVCM。 なぜできない？ • 当該エリア内で視聴・未視聴の区別が困難 • 他の地域の顧客は同質性が保たれない
44. 44 ©BrainPad Inc. 反実仮想の発想 本当に理想的な効果検証は、同一人物に同一タイミングで介入・非介入を用意することですが、現実には不 可能です。これを「反実仮想」により解決します。 人物レベルで完全に同条件の比較は不可能 解決のアイディア 介入 同一人物の非介入 同一人物・同一タイミングで施策有無の結 果を比べれば、施策の真の効果がわかる →現実では不可能 介入 非介入 何らかの手段で「もし介入群に施策が行な われていなかったら」を作り出す ※これを「反実仮想」といいます
45. 45 ©BrainPad Inc. DID（Difference in Difference） DIDでは “介入群と同様な変化をたどる非介入群” を見つけることで施策効果を推定します。 売 上 施策前 施策あと 非介入地域 実際の介入地域 「介入がなかった」 反実仮想の介入地域 効果のイメージ 「施策がもしなければ、介入地域と同じ動きをする」 仮定を満たす非介入地域を見つける 平行トレンド仮定 「介入地域にもし施策がなかったら、非介入地域と同 じ動きをする」という反実仮想をもうけて比較 参考：効果検証入門
46. 46 ©BrainPad Inc. DID（Difference in Difference） 介入群の前後“差分”と非介入群の前後“差分”を比較して施策効果を検証します。 効果のイメージ 計算例 売 上 施策前 施策あと 非介入地域 実際の介入地域 「介入がなかった」 反実仮想の介入地域 ① 介入群の前後差分＝介入・施策あと ー 介入・施策前 ② 非介入群の前後差分＝非介入・施策あと ー 非介入・施策前 施策効果＝① 介入群の前後差分 ー ② 非介入群の前後差分 効果の算出自体は単純な集計で完了 ① ② 参考：効果検証入門
47. 47 ©BrainPad Inc. 合成コントロール
48. 48 ©BrainPad Inc. 合成コントロール（SCM: Synthetic Control Method） 非介入ユニットから推定（合成）された「介入ユニットに介入がない世界での動き」を、 介入ユニットと比較することで効果を推定します。 介入していないユニットが複数存在 介入ユニットに介入がなかったら、を合成 1960 1970 1980 1990 2000 介入ユニット 非介入ユニット 1960 1970 1980 1990 2000 介入ユニット 非介入ユニットによる合成 介入前 介入後
49. 49 ©BrainPad Inc. 合成コントロール（SCM: Synthetic Control Method） SCMでは非介入ユニットに個別の重みづけを行い、それらの線形結合により介入ユニットの反実仮想 （コントロール）とします。 効果の計算イメージ 合成したコントロール （介入がなかった場合の介入 ユニットのアウトカム） 推定処置効果 • j=1が介入ユニット, j=2,…J+1が非介 入ユニット • wが重み • tは時系列 • 右辺第一項は介入ユニットの実測ア ウトカム 参考：因果推論 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ
50. 50 ©BrainPad Inc. 合成コントロール（SCM: Synthetic Control Method） 時系列×クロスセクション（店舗ごとの日時売上）のようなビジネスのデータと相性がよく、 またDIDに比べて汎用的な効果検証ができることが期待されます。 使う上でのポイント 実例 単一の大きなイベントの 効果を測るのに向いている ＝政策とかテロの影響とか… 時系列×クロスセクションのデータ 例：店舗ごとの売上 ランダムな割り当ては不要 平行トレンドは必須ではない  Netflix • ゲーム イベントやアップデートの影響を評価し、チーム の規模拡大を支援するために、合成制御のバリエーショ ンを中心としたフレームワークとパッケージを設計  Facebook • 地理ベースの実験を使って広告効果を算出するライブラ リ GeoLift  Amazon • 生の観察データと構成ファイルを提供するだけで因果推 論ができる非専門家向けツール OpportunityFinder 引用： Round 2: A Survey of Causal Inference Applications at Netflix GeoLift OpportunityFinder: A framework for automated causal inference
51. 51 ©BrainPad Inc. ここまでのおさらい A/Bテストは同質なコントロール群との比較、DIDおよびSCMは介入群の反実仮想との比較により、 介入の効果を推定します。 A/Bテスト A群・B群は別の存在だが、介入以外は同質 ので、差を介入の効果とする DIDやSCM 「介入群に介入がなかった場合」と 実際の介入群を比較し、効果を推定 対象集団全体における平均的な介入効果 ATE: Average Treatment Effect 介入群における介入効果 ATT: Average Treatment Effect on Treated
52. 52 ©BrainPad Inc. ここまでのおさらい しかし実務では「効果が高いのはどんなユーザか」「狙っていたユーザセグメントの反応はどうだったか」 といった「条件付き処置効果（CATE）」が必要な場面が少なくありません。 ATEを求めることで効果の大きさはわかるが、結果 の考察や改善に向けたインサイトはわからない 「男性 30代」などの条件をつけてATEを調べれば、 効果の大きいユーザの特徴や施策を打つべき対象の 選別に利用できる CATE: Conditional ATE
53. 53 ©BrainPad Inc. meta-learner
54. 54 ©BrainPad Inc. meta-learnerによる予測 「介入がない場合のアウトカム」と「介入がある場合のアウトカム」を予測するモデルを作り、 2つのモデルでの予測値の差分を処置効果とします。 モデルの学習（T-learner） 処置効果の推定 非介入 モデル 対照群 介入 モデル 介入群 x1 東京 埼玉 ︙ x2 20歳 35歳 ︙ y 24 28 ︙ x1 東京 埼玉 ︙ x2 22歳 34歳 ︙ y 30 35 ︙ 対照群・介入群で2種類のモデルを作る X（説明変数） ｙ （ ア ウ ト カ ム ） 非介入モデルの 予測値 介入モデルの 予測値 Xで条件付けた 処置効果 引用：Meta-learners for Estimating Heterogeneous Treatment Effects using Machine Learning
55. 55 ©BrainPad Inc. 効果検証のための因果推論手法のチートシート いつどの手法を使うかは、各手法が何を仮定しているかを理解して選びましょう。 ※下記は考え方の一例です 引用：効果検証のための因果推論手法のチートシート
56. 56 ©BrainPad Inc. 効果検証のための因果推論手法のチートシート 引用：効果検証のための因果推論手法のチートシート
57. 57 ©BrainPad Inc. 発展的な効果検証 参考書 因果推論に関する技術的な内容は以下の書籍をご参照ください。 多様な手法を薄く広く 難易度 ★★★ 難易度 ★★★★ 難易度 ★★★★★ 効果検証の理論の王道 meta-learnerの発展 効果検証入門 因果推論 基礎から機械学習・時系列解析・因果探 索を用いた意思決定のアプローチ 反実仮想機械学習
58. ©BrainPad Inc. Strictly Confidential ビジネス面：実際の課題とプロジェクト事例
59. 59 ©BrainPad Inc. 前提知識 技術 ビジネス 本日のコンテンツ 理想的な効果検証を行うための知識と技術の一部をお渡しします。 講義の途中でどんどん質問してくださって構いません。 効果検証とは バイアス A/Bテスト meta-learner 合成コントロール 何が効果か ケース課題 DID 効果検証か？ RCT
60. ここだけでも持ち帰っていただければ、この研修は成功です。 この研修で覚えてほしいこと 1 2 3 バイアスがあって当然。いかに背景要因を分 解できるかが腕の見せ所。 本当に測るべき効果は何なのか、結果から意 思決定がどう変わるのかを議論しよう。 1と2の質を高めるのは、ビジネスモデルやド メインに対する理解。努めよう。
61. ここだけでも持ち帰っていただければ、この研修は成功です。 この研修で覚えてほしいこと 2 本当に測るべき効果は何なのか、結果から意 思決定がどう変わるのかを議論しよう。
62. 62 ©BrainPad Inc. 何が効果か 効果検証で何を効果とするかは、意外と難しいテーマです。 介入群：一日五束 Q. ほうれん草は健康を増進するか？ コントロール群： ほうれん草なし このとき、何を比べればよいでしょうか？ 風邪をひきにくいことが健康の 証拠だ いや、大腿四頭筋の立派さだ LDHの値を見に行きましょう ほうれん草なんて意味ないです 紛糾する議論！！！
63. 63 ©BrainPad Inc. 何が効果か 実際の効果検証でも、効果の選び方は慎重に決める必要があります。 クライアントからいただいた施策の目的・要件を分解し、言語化していくことをおすすめします。 例えばこんなシチュエーション 分析の前に考えるべきこと • 便利・おしゃれなキッチン用品専門店 • ECもあるが店舗での顧客体験に価値を置いており、来店してもらえ ば商品を知ってもらって、購買額が増えると期待 • 来店促進キャンペーンをEC上で展開。キャンペーンページを開くと 店舗で使えるクーポンIDが手に入る • 施策の目的 • 誰に対する施策か • 直接にはその人の何のアクションを促すのか • アクションから何を期待するか • 促すアクションと、KPIのつながりはあるか • ある場合、間に何が介在するか • 店舗で商品に触れる体験価値を提供したい • EC利用者が対象 • 来店を促す • 来店すれば、購買額が増える？（と期待）
64. 64 ©BrainPad Inc. 何が効果か 施策の目的・要件をあらためて言語化することでクライアントとの認識合わせが進むだけでなく、より正確 に分析するための材料集めにもつながります。 • 店舗で商品に触れる体験価値を 提供したい • EC利用者が対象 • 本当にその施策でよかったのか？ • 来店すれば、購買額が増える？ （と期待） • 分析時のデータ抽出条件とする • キャンペーンページの閲覧有無はわかる？ • 実店舗への来店 • メインは、EC利用者における来店者数の増加 • 来店はどのようにデータになっているか • EC利用者と来店者を紐づける方法は？ • 仮定でKPIツリー作成し、ファクト確認 • 来店したとて買わない人もいる • 他に展開されている施策の効果も受けるはず 施策の 目的 誰に 何を 期待 何を 促す
65. 65 ©BrainPad Inc. 指標選び 施策の効果を適切に測るような指標を選ぶには、クライアントのビジネスと施策をよく理解しておく必要が あります。 施策に近く、敏感に反応するのがよい指標 遠く・遅延しうる指標 途中に他の要因が介在 し「認知拡大」そのも のを測るには不適切 メール LP エントリー 購買 KPI KPI KGI 検討 近く・遅延しない指標 DM施策の目的である 「認知拡大」を反映す るLP到達率を測定 設計したKPIを対象に効果検証を実施 効果を区切って測定することで、施策が どのプロセスに貢献したか判断が可能 施策介入群 対照群 比較 LP流入 10pt増 エントリー 変化なし 購買 3pt増 例: キャンペーン通知DM施策
66. 66 ©BrainPad Inc. ワーク振り返り こんなワークがありました 背景：新型車のDM施策 実験・報告シナリオ 新型のSUVが発売されました。子連れファミリーのアウトドアライフを助 ける機能が豊富な車種で、キャッチコピーは『広がる空と、広がる笑 顔。』です。試乗会招待のためDMを顧客へ送付し、問合せ・ディーラー 来店促進を狙います。 施策担当者はDMの効果をテストするように上長から指示を受けています。 施策介入群 対照群 担当者は施策を成功させるため、ファミリーまたはアウトドア志向の高い 顧客を配信対象としました。 施策介入群・対照群の問合せ率を比べ、「この施策によって問合せ率が 2.9%上昇した」と報告を行いました。 ファミリー or アウトドア派 単身者 or インドア派 ファミリー向けなん だから、そういう人 に送らなきゃ！ 問合せ率 3% 問合せ率 0.1% めっちゃ差がある やんけ！成功！ 2.9%UP!
67. 67 ©BrainPad Inc. ワーク振り返り クライアントの意思決定レイヤーと担当者とで、期待するものが異なる場合があります。 BPのメンバーまでタスクが下りてきた時点で、複数層の伝言ゲームを挟んでいると考えてください。 発言 意図 DM施策ってお金かかっ てるけど利益でてるの？ ないなら今期中に改善策 が欲しい。ちゃんと効果 検証とかしようよ。 ざっくりでかまわないの でクイックにDM施策に 意味があるのかを知りた い。改善の方向性も考え たい。 ビジネスサイド 意思決定レイヤー DMの効果を調べてくだ さい！ これってもう一度実験と か必要だったりしますか ね？？ 分析には詳しくないけど、 効果を出せと言われた。 効果がないと詰められそ うだな～。 ビジネスサイド 担当者 因果推論で計算もできま すが、実験できるならし ましょうか。 DMの効果を正しく計算 し、報告しよう。設定的 にABテストはできてい ないので、因果推論が必 要かな。 データサイエンティスト PM おっ効果検証か～！ meta-learnerでCATEを 出そうかな。 学んだ技術を駆使して精 緻な数値を出そう。 データサイエンティスト メンバー 概算でもいいので投 資対効果を出し、早 めに判断したい 時間をかけて正確な アウトプットをだそ うとしている 乖離が発生
68. 68 ©BrainPad Inc. ワーク振り返り 依頼を分析作業に落とし込む前に、何を判断したいのか、そのために何の情報があると望ましいのかを提 案・合意できると理想的です。 いきなり分析すると、嚙み合わない分析結果に 分析初期のアクションとして意図を確認 先方の意思決定レイヤーにとってはあまり意味のない報告になったり、 BPとしても信頼を損なうおそれがある。 分析結果をどのように使うのか背景をヒアリングし、設計に反映させる。 あのキャンペーンの効果調べて キャンペーン群のほうが0.1%売上高く、 p<0.05で有意な差でした う～んでもそれってコストに見合っ てる？次の施策を改善するには？ あのキャンペーンの効果調べて 次のアクションて何を想定？ コストの情報ありますか？ ROIによっては停止の可能性もある けど、効果が高いセグメントが一部 でもあれば継続するよ
69. 69 ©BrainPad Inc. ワーク振り返り 施策のタッチポイントだけでなく、最終的な投資対効果を試算できると判断に役立ちます。 DM配布 開封・反応 来店 成約 反応率 1% 来店率 30% 成約率 50% 問合せ 問合せ率 80% • 想定成約数 10,000 × 0.01 × 0.8 × 0.3 × 0.5 = 12台 • 車両価格 ¥5,000,000 × 粗利率 15% = 一台あたり ¥750,000 • 粗利合計 750,000 × 12 = ¥9,000,000 10,000人 • 送付コスト ¥120/県 • CRM設計 ¥2,500,000 • クリエイティブ制作 ¥200,000 • 総コスト 120 × 10,000 + 2,500,000 + 200,000 = ¥3,900,000 見込み 利益 コスト 想定ROI = 9,000,000 – 3,900,000 3,900,000 ＝ 1.31 • 社内の基準値を満たすか • 過去のDM施策や他のチャ ネルと比べて高いか ※数値は仮想のものです
70. ここだけでも持ち帰っていただければ、この研修は成功です。 この研修で覚えてほしいこと 1 2 3 バイアスがあって当然。いかに背景要因を分 解できるかが腕の見せ所。 本当に測るべき効果は何なのか、結果から意 思決定がどう変わるのかを議論しよう。 1と2の質を高めるのは、ビジネスモデルやド メインに対する理解。努めよう。
71. 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。 ©BrainPad Inc.