Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
効果検証入門#1 セレクションバイアスとRCT
Search
Tsuchinoko
September 25, 2021
Science
0
510
効果検証入門#1 セレクションバイアスとRCT
「効果検証入門」著者:安井翔太+監修:株式会社ホクソエム
1章セレクションバイアスとRCT
の学習記録。
・介入効果
・セレクションバイアス
・RCT
Tsuchinoko
September 25, 2021
Tweet
Share
Other Decks in Science
See All in Science
データベース10: 拡張実体関連モデル
trycycle
PRO
0
760
生成検索エンジン最適化に関する研究の紹介
ynakano
2
1.1k
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
280
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
560
安心・効率的な医療現場の実現へ ~オンプレAI & ノーコードワークフローで進める業務改革~
siyoo
0
260
データマイニング - グラフ構造の諸指標
trycycle
PRO
0
110
Trend Classification of InSAR Displacement Time Series Using SAE–CNN
satai
3
470
Valuable Lessons Learned on Kaggle’s ARC AGI LLM Challenge (PyDataGlobal 2024)
ianozsvald
0
400
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.6k
LayerXにおける業務の完全自動運転化に向けたAI技術活用事例 / layerx-ai-jsai2025
shimacos
2
1.2k
05_山中真也_室蘭工業大学大学院工学研究科教授_だてプロの挑戦.pdf
sip3ristex
0
520
データベース08: 実体関連モデルとは?
trycycle
PRO
0
740
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
140
7k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Speed Design
sergeychernyshev
32
1k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
A better future with KSS
kneath
238
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Gamification - CAS2011
davidbonilla
81
5.4k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
How GitHub (no longer) Works
holman
314
140k
Code Reviewing Like a Champion
maltzj
524
40k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Transcript
ち の つ こ 効果検証入門 #1 セレクションバイアスとRCT @tsuchinokotar0
ち の つ こ 2 介入効果 施策を実行した時に、施策がKPIに影響を与えた効果=介入効果 母集団 無作為抽出 (RCT)
介入あり集団 介入なし集団 メール配信 (介入) 比較 介入(処置) 集団A 集団B 売上up!! 売上 (KPI) 配信 (集団A) 未配信 (集団B) メール配信により増加 した売上=介入効果 図 介入後の集団A-B間の売上比較 (理想) ユーザ𝑖に対する介入を𝑍𝑖 とすると、以下のように表せる。 𝑍𝑖 = ൝ 0 (メール配信あり) 1 (メール配信なし) この時、ユーザ𝑖の売上𝑌𝑖 は以下のように表せる。 𝑌𝑖 = ቐ 𝑌 𝑖 (0) (𝑍𝑖 = 0) 𝑌 𝑖 (1) (𝑍𝑖 = 1) 実務では、 𝒀 𝒊 (𝟎)と𝒀 𝒊 (𝟏)を同時に観測することは困難なので、 平均的な効果(ATE:Average Teratment Effect) を測る。 𝜏 = 𝔼 𝑌(1) − 𝔼 𝑌(0) 𝔼 𝑌(1) 𝔼 𝑌(0) 𝜏 課題:“入手可能データから、如何に正しくATEを推定するか” ▪例:メールマーケティング 無作為抽出したユーザにメール配信(介入)を行い、売上(KPI)を比較
ち の つ こ セレクションバイアス 3 母集団 購買傾向によって 集団を分類 介入あり集団
介入なし集団 メール配信 (介入) 比較 集団A 集団B 売上up!! 真の介入効果を 推定出来ない ▪セレクションバイアスとは 比較対象の集団間の潜在的な傾向が異なる場合に発生するバイアス ▪例:メールマーケティング 購買傾向の高いユーザに重点的にメール配信を行い、売上を比較 購買傾向が 高い集団 購買傾向が 低い集団 売上 (KPI) 配信(集団A) 未配信(集団B) メール配信により増加した売上 =介入効果 図 介入後の集団A-B間の売上比較(実務想定) 𝔼 𝑌(0)|𝑍 = 1 潜在的な売上の差 =セレクションバイアス 𝑍 𝑌 𝑌(0) 𝑌(1) 1 (メール配信) 𝑌(0)|𝑍 = 1 (欠測) 𝑌(1)|𝑍 = 1 (観測) 0 (メール未配信) 𝑌(0)|𝑍 = 0 (観測) 𝑌(1)|𝑍 = 0 (欠測) 𝜏 𝔼 𝑌(0)|𝑍 = 0 𝔼 𝑌(1)|𝑍 = 1 𝔼 𝑌(0)|𝑍 = 1 − 𝔼 𝑌(0)|𝑍 = 0 𝜏𝑛𝑎𝑖𝑣𝑒 実務では、𝒀(𝟎)|𝒁 = 𝟏と𝒀(𝟏)|𝒁 = 𝟎は観測できない。 この時、単純に平均的な効果を測ると以下のように表せ る。 𝜏𝑛𝑎𝑖𝑣𝑒 = 𝔼 𝑌 1 |𝑍 = 1 − 𝔼 𝑌 0 |𝑍 = 0 = 𝜏 + 𝔼 𝑌 0 |𝑍 = 1 − 𝔼 𝑌 0 |𝑍 = 0 つまり、 比較対象の集団に潜在的な差が存在する場合、真の介入 効果を推定することが出来ない。 例では、購買傾向と売上に正の相関があるとすると、 購買傾向が高い集団 → 売上高い集団 購買傾向が低い集団 → 売上低い集団 であり、潜在的な売上の差が存在するため、真の介入効 果を推定出来ない。 集団Aと集団Bの潜在的な売上の差 (セレクションバイアス) 真の効果 表 売上𝑌の欠損/観測状態(実務想定) セレクションバイアスの影響 を排除した比較が重要
ち の つ こ 解決策:無作為化比較試験(RCT: Randomized Controlled Trial ) 4
▪無作為化比較試験とは ランダムに抽出した集団にて、施策の効果を比較すること → セレクションバイアスを緩和可能 (平均化により集団間の潜在的な偏りが緩和) 母集団 無作為化比較試験 集団A 集団B 購買傾向によって集団を分類 集団C 集団D 購買傾向が 高い集団 購買傾向が 低い集団 平均的には 同質の集団 売上 (KPI) 集団A 集団B 売上 (KPI) 集団C 集団D 母集団の平均 母集団の平均 平均的に同質の集団 介入後の変化=介入効果 平均的に異質の集団 介入後の変化 =介入効果+バイアス RCTは効果検証として理想だが、実務では実施コストが大きい or 実施が不可能
ち の つ こ 次回:介入効果を測るための回帰分析 5