Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
効果検証入門#1 セレクションバイアスとRCT
Search
Tsuchinoko
September 25, 2021
Science
0
500
効果検証入門#1 セレクションバイアスとRCT
「効果検証入門」著者:安井翔太+監修:株式会社ホクソエム
1章セレクションバイアスとRCT
の学習記録。
・介入効果
・セレクションバイアス
・RCT
Tsuchinoko
September 25, 2021
Tweet
Share
Other Decks in Science
See All in Science
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
11
2.2k
2025-06-11-ai_belgium
sofievl
1
130
データベース02: データベースの概念
trycycle
PRO
2
760
機械学習 - 授業概要
trycycle
PRO
0
200
生成AIと学ぶPythonデータ分析再入門-Pythonによるクラスタリング・可視化をサクサク実施-
datascientistsociety
PRO
4
1.6k
機械学習 - K近傍法 & 機械学習のお作法
trycycle
PRO
0
1.1k
02_西村訓弘_プログラムディレクター_人口減少を機にひらく未来社会.pdf
sip3ristex
0
490
データベース03: 関係データモデル
trycycle
PRO
1
120
Symfony Console Facelift
chalasr
2
460
安心・効率的な医療現場の実現へ ~オンプレAI & ノーコードワークフローで進める業務改革~
siyoo
0
250
academist Prize 4期生 研究トーク延長戦!「美は世界を救う」っていうけど、どうやって?
jimpe_hitsuwari
0
140
動的トリートメント・レジームを推定するDynTxRegimeパッケージ
saltcooky12
0
150
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
125
52k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Writing Fast Ruby
sferik
628
62k
Into the Great Unknown - MozCon
thekraken
39
1.9k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Become a Pro
speakerdeck
PRO
28
5.4k
BBQ
matthewcrist
89
9.7k
Transcript
ち の つ こ 効果検証入門 #1 セレクションバイアスとRCT @tsuchinokotar0
ち の つ こ 2 介入効果 施策を実行した時に、施策がKPIに影響を与えた効果=介入効果 母集団 無作為抽出 (RCT)
介入あり集団 介入なし集団 メール配信 (介入) 比較 介入(処置) 集団A 集団B 売上up!! 売上 (KPI) 配信 (集団A) 未配信 (集団B) メール配信により増加 した売上=介入効果 図 介入後の集団A-B間の売上比較 (理想) ユーザ𝑖に対する介入を𝑍𝑖 とすると、以下のように表せる。 𝑍𝑖 = ൝ 0 (メール配信あり) 1 (メール配信なし) この時、ユーザ𝑖の売上𝑌𝑖 は以下のように表せる。 𝑌𝑖 = ቐ 𝑌 𝑖 (0) (𝑍𝑖 = 0) 𝑌 𝑖 (1) (𝑍𝑖 = 1) 実務では、 𝒀 𝒊 (𝟎)と𝒀 𝒊 (𝟏)を同時に観測することは困難なので、 平均的な効果(ATE:Average Teratment Effect) を測る。 𝜏 = 𝔼 𝑌(1) − 𝔼 𝑌(0) 𝔼 𝑌(1) 𝔼 𝑌(0) 𝜏 課題:“入手可能データから、如何に正しくATEを推定するか” ▪例:メールマーケティング 無作為抽出したユーザにメール配信(介入)を行い、売上(KPI)を比較
ち の つ こ セレクションバイアス 3 母集団 購買傾向によって 集団を分類 介入あり集団
介入なし集団 メール配信 (介入) 比較 集団A 集団B 売上up!! 真の介入効果を 推定出来ない ▪セレクションバイアスとは 比較対象の集団間の潜在的な傾向が異なる場合に発生するバイアス ▪例:メールマーケティング 購買傾向の高いユーザに重点的にメール配信を行い、売上を比較 購買傾向が 高い集団 購買傾向が 低い集団 売上 (KPI) 配信(集団A) 未配信(集団B) メール配信により増加した売上 =介入効果 図 介入後の集団A-B間の売上比較(実務想定) 𝔼 𝑌(0)|𝑍 = 1 潜在的な売上の差 =セレクションバイアス 𝑍 𝑌 𝑌(0) 𝑌(1) 1 (メール配信) 𝑌(0)|𝑍 = 1 (欠測) 𝑌(1)|𝑍 = 1 (観測) 0 (メール未配信) 𝑌(0)|𝑍 = 0 (観測) 𝑌(1)|𝑍 = 0 (欠測) 𝜏 𝔼 𝑌(0)|𝑍 = 0 𝔼 𝑌(1)|𝑍 = 1 𝔼 𝑌(0)|𝑍 = 1 − 𝔼 𝑌(0)|𝑍 = 0 𝜏𝑛𝑎𝑖𝑣𝑒 実務では、𝒀(𝟎)|𝒁 = 𝟏と𝒀(𝟏)|𝒁 = 𝟎は観測できない。 この時、単純に平均的な効果を測ると以下のように表せ る。 𝜏𝑛𝑎𝑖𝑣𝑒 = 𝔼 𝑌 1 |𝑍 = 1 − 𝔼 𝑌 0 |𝑍 = 0 = 𝜏 + 𝔼 𝑌 0 |𝑍 = 1 − 𝔼 𝑌 0 |𝑍 = 0 つまり、 比較対象の集団に潜在的な差が存在する場合、真の介入 効果を推定することが出来ない。 例では、購買傾向と売上に正の相関があるとすると、 購買傾向が高い集団 → 売上高い集団 購買傾向が低い集団 → 売上低い集団 であり、潜在的な売上の差が存在するため、真の介入効 果を推定出来ない。 集団Aと集団Bの潜在的な売上の差 (セレクションバイアス) 真の効果 表 売上𝑌の欠損/観測状態(実務想定) セレクションバイアスの影響 を排除した比較が重要
ち の つ こ 解決策:無作為化比較試験(RCT: Randomized Controlled Trial ) 4
▪無作為化比較試験とは ランダムに抽出した集団にて、施策の効果を比較すること → セレクションバイアスを緩和可能 (平均化により集団間の潜在的な偏りが緩和) 母集団 無作為化比較試験 集団A 集団B 購買傾向によって集団を分類 集団C 集団D 購買傾向が 高い集団 購買傾向が 低い集団 平均的には 同質の集団 売上 (KPI) 集団A 集団B 売上 (KPI) 集団C 集団D 母集団の平均 母集団の平均 平均的に同質の集団 介入後の変化=介入効果 平均的に異質の集団 介入後の変化 =介入効果+バイアス RCTは効果検証として理想だが、実務では実施コストが大きい or 実施が不可能
ち の つ こ 次回:介入効果を測るための回帰分析 5