白金鉱業Meetup Vol.25 【初学者向け発表枠】「で、この施策って効いてるの」に答える効果検証の基礎 ~ATE / ATT / CATE / LATEを現場の問いに翻訳する~

2026年9月17日に実施した、白金鉱業 Meetup Vol.25@六本木（効果検証編）
での株式会社 ブレインパッド関の登壇スライドです。

関のX/Twitterアカウント
https://x.com/yusukeseki2000

イベントURL
https://brainpad-meetup.connpass.com/event/398755/

Transcript

1. 【社外用】 【初学者向け発表枠】「で、この施策って効いてるの？」に答える効果検証の基礎 〜ATE/ATT/CATE/LATEを現場の問いに翻訳する〜 2026.9.17 関 佑輔
2. 自己紹介 関 佑輔 せき ゆうすけ 株式会社ブレインパッド 2025年 2025年 データサイエンティスト 名古屋大学 経済学部 卒業 株式会社ブレインパッド 入社 • 購買データを用いた自然実験における効果検証をテーマに研究 （効果検証入門を読んでCausalimpact実装して論文を書きました！） • 入社前に白金鉱業Meetup Vol.17(データマネジメント)に参加 • 入社後は効果検証の新卒研修でTAを担当 • 福田さんと一緒に受けた社内インタビューの記事（宣伝） 社会科学で培った分析スキルで挑む「文系データサイエンティスト」の挑戦 ©BrainPad Inc. Strictly Confidential 2
3. もくじ １．バイアスとは何か ２．効果検証の概要 ３．目的に応じた効果の指標 4．効果検証を実務で取り組むために ©BrainPad Inc. Strictly Confidential 3
4. バイアスとは何か クライアント「広告を店舗ごとに実施しているんだが、全店舗広告をもっと出せばいいと思うんよね。 広告の効果を測ってくれない？」 ©BrainPad Inc. Strictly Confidential 4
5. バイアスとは何か 店舗ごとに広告費と売上を可視化してみました。 店舗ごと 広告費×売上 散布図 広告費が多い店舗ほど売り上げが大きい！ 広告を打つことで売り上げが伸びます！ 全店舗広告を打ちましょう！ 売 上 …とはならない なぜでしょうか？ 広告費 ©BrainPad Inc. Strictly Confidential 5
6. バイアスとは何か 広告費と売上の両方に影響を与える背景要因(店舗規模・季節性・etc)を考慮せず比較するのは危険です。 店舗ごと 広告費×売上 散布図 規模の大きい店舗ほど、売上が大きく 広告にかける予算があるのかもしれない 売 上 A.背景要因(バイアス)を考慮せずに 店舗間の売り上げを比較していたから 広告費 ©BrainPad Inc. Strictly Confidential 店舗規模のように、動かす変数と結果の両方に影響を与える要素を交絡因子といいます。 6
7. バイアスとは何か 施策対象に対して、施策以外の要因ができるだけ同質なものを比較対象に設定するのが原則です。 比べるのはこの二者間！！！ 施策効果 XX円 売 上 〇〇円 「バイアスを除去した比較対象」 との比較 この差分を施策効果と呼びます 広告費が少ない 場合の店舗A ©BrainPad Inc. Strictly Confidential 広告費が多い場 合の店舗A 7
8. バイアスとは何か バイアスを除去するためには、データの適切な理解をすることが効果的です。 異質なもの同士で比較する 同質なもの同士で比較する （バイアスあり） （バイアスなし） テ ス ト の 点 数 国語 数学 理科 社会 テ ス ト の 点 数 勉強時間 勉強時間 上記のように、全体での傾向と部分での傾向が異なる現象を「シンプソンのパラドックス」と言います 今回の場合、データを層に分けるとバイアスが除去されて正しい傾向が見れました。 ©BrainPad Inc. Strictly Confidential 8
9. もくじ １．バイアスとは何か ２．効果検証の概要 ３．目的に応じた効果の指標 4．効果検証を実務で取り組むために ©BrainPad Inc. Strictly Confidential 9
10. 効果検証の概要 バイアスを完全に除去できるのはパラレルワールドの同一店舗との比較ですが、 現実には施策がなかった場合の売り上げは観測できません。 現実では観測できない 〇〇円は現実で観測可能 売 上 XX円 〇〇円 じゃあ、この広告が少ない場合の売上は どう測るんでしょうか？ XX円は観測できない 広告費が少ない 場合の店舗A ©BrainPad Inc. Strictly Confidential 広告費が多い場 合の店舗A 10
11. 効果検証の概要 施策がなかった群とあった群で平均的に比較することで、反実仮想（＝施策がなかった場合の売上）と比較 しているとみなします。 ◇◇円 売 上 △△円 →単一ではなく、群でとらえるのが効果検証 ※広告費以外、左右の群の特徴は同じ （=バイアスがない）なのが理想 広告費が少ない 店舗の平均売上 ©BrainPad Inc. Strictly Confidential 広告費が多い店 舗の平均売上 11
12. 効果検証の概要 対象を「施策による介入を行う群」と「介入しない群」の二群に分け、KPIを比較します。 施策介入有無の例 介入群 対照群 KPIを比較 • WebサイトのデザインパターンA・パターンBを出し分ける • メールで会員クーポンを配布する このとき、施策介入群と対照群の間にバイアスが生まれない （※）ように割り当てます。 （一般的に、ランダムに割り当てるとバイアスが除去できる） KPIがXX%増加 施策ROIがY.YY ©BrainPad Inc. Strictly Confidential ※バイアスがない状態の例：ユーザの性別・年代・年収などのデモグラ情 報やサービスの利用頻度、購買金額などに偏りが生じていない状態。 12
13. 効果検証の手法 不適切な検証方法では、バイアスが除去できない。 不適切な検証法では結果にバイアスが残っていると考えられる 検証結果を「バイアスがない」とみなすための代表的な手法が、RCTのA/Bテスト ©BrainPad Inc. Strictly Confidential 13
14. 効果検証の手法 バイアスを除去して効果を推定する代表的な手法が、RCTによるA/Bテストです。 A/Bテスト（RCT: Randomized Controlled Trial 、無作為化比較試験） 対象者をランダムに割り振り、介入群と対照群の結果を比較することで介入の効果を測る →ランダムであるためAとBは同質(=バイアスがない)と考えられ、同質な群の間で効果を推定できる。 現行UI A/Bどちらか ランダム割当 CTR 1.5% 同質 新UI 採用！ CTR 1.8% ©BrainPad Inc. Strictly Confidential 14
15. もくじ １．バイアスとは何か ２．効果検証の概要 ３．目的に応じた効果の指標 4．効果検証を実務で取り組むために ©BrainPad Inc. Strictly Confidential 15
16. 目的に応じた効果の指標 効果って200種類あんねん（半分本気です） ©BrainPad Inc. Strictly Confidential 16
17. 目的に応じた効果の指標 施策を全員に対して打った場合の効果がATE（頻出）、施策を打った人に対しての効果がATTです。 集団 ：処置群 A B ：対照群 C D 目的 指標 バイアス除去例 施策を全員に 展開しても いいか知りたい ATE 集団全体と 同質なように 処置群をとる Average Treatment Effect イメージ A B C D VS E A B C D E A B E 施策を打った人 に対し 効果があったか 知りたい。 ATT Average Treatment effect on the Treated 「打った人」と同質な 比較対象を作る VS A ©BrainPad Inc. Strictly Confidential B 17
18. 目的に応じた効果の指標 属性別に施策効果が知りたい場合、CATEを使います。 目的 指標 バイアス除去例 イメージ 20代の平均的な効果 集団 ：処置群 A B ：対照群 C D E 20代 40代 20代 40代 30代 どんな属性の人に 対して 効果が大きかった のかが知りたい。 CATE Conditional Average Treatment Effect 層内で処置vs対照を同 質なように選択し、比 較する A C A C 20代 40代の平均的な効果 この例では、年代ごと に比較 B D B D 40代 ©BrainPad Inc. Strictly Confidential 18
19. 目的に応じた効果の指標 ちゃんと広告を読んだ人に対して効果があったか知りたいとき、LATEを測ります。 目的 指標 集団 ：処置群 開封 A B 〇 × ：対照群 C D E 施策の中身が 良かったのか 評価したい LATE Local Average Treatment Effect バイアス除去例 イメージ 全体効果は未開封者の 分だけ薄まる。 A 開封率で割り戻して、 開封した人1人あたりの 効果に直す。 A ※LATEは“開封するような人”に 限った効果。全員には一般化でき ない 開封率50% B B ©BrainPad Inc. Strictly Confidential 19
20. 目的に応じた効果の指標 効果を検証したい範囲・問いによって、見るべき指標とその設計が変わってくることがわかりました。 問い 見る指標 施策を全員に広げていいか ATE 施策を打った対象者に効果はあったか ATT どのセグメントに対して効果があったか CATE 施策の中身の効果が知りたい LATE ©BrainPad Inc. Strictly Confidential 20
21. もくじ １．バイアスとは何か ２．効果検証の概要 ３．目的に応じた効果の指標 4．効果検証を実務で取り組むために ©BrainPad Inc. Strictly Confidential 21
22. 効果検証を実務で取り組むために しかし、現実ではRCＴが打てないことが多いため、何とかして浸透させる or 技術をもってカバーするなど の対策が必要です RCTが打てないケース例 一部のユーザーにランダムに割り当てられること発生する問題 • 機会損失 • ユーザー間の不公平感 個人単位でランダム化することができないケース • TVCM • 地域限定 • 店舗施策 など 構造的に無理でないなら、RCTが打てるようにする コミュニケーション・ビジネスの手腕を磨く ©BrainPad Inc. Strictly Confidential 打てない場合の統計手法を勉強する • • • • 傾向スコアマッチング IPW 操作変数法 DID・合成コントロール法・Causalimpact etc,,,,, 22
23. 覚えてほしいこと バイアスがあるまま単純比較しても、効果は測れない RCTなどの適切な設計・手法ができて初めて、効果を計測できる 問いによって、測定する効果の範囲と、バイアス除去する範囲が変わることを理解する （ATE/ATT/CATE/LATE） 効果検証を実務で取り組むことは、意外と難しい （けど、間違った意思決定をするよりも100倍マシなのでやったほうがいい（主観）） ©BrainPad Inc. Strictly Confidential 23
24. ©BrainPad Inc. 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。