ち の つ こ 効果検証入門 #1 セレクションバイアスとRCT @tsuchinokotar0 

ち の つ こ 2 介入効果 施策を実行した時に、施策がKPIに影響を与えた効果＝介入効果 母集団 無作為抽出 (RCT) 介入あり集団 介入なし集団 メール配信 (介入) 比較 介入(処置) 集団A 集団B 売上up!! 売上 (KPI) 配信 (集団A) 未配信 (集団B) メール配信により増加 した売上＝介入効果 図 介入後の集団A-B間の売上比較 (理想) ユーザ𝑖に対する介入を𝑍𝑖 とすると、以下のように表せる。 𝑍𝑖 = ൝ 0 (メール配信あり) 1 (メール配信なし) この時、ユーザ𝑖の売上𝑌𝑖 は以下のように表せる。 𝑌𝑖 = ቐ 𝑌 𝑖 (0) (𝑍𝑖 = 0) 𝑌 𝑖 (1) (𝑍𝑖 = 1) 実務では、 𝒀 𝒊 (𝟎)と𝒀 𝒊 (𝟏)を同時に観測することは困難なので、 平均的な効果(ATE:Average Teratment Effect) を測る。 𝜏 = 𝔼 𝑌(1) − 𝔼 𝑌(0) 𝔼 𝑌(1) 𝔼 𝑌(0) 𝜏 課題：“入手可能データから、如何に正しくATEを推定するか” ■例：メールマーケティング 無作為抽出したユーザにメール配信(介入)を行い、売上(KPI)を比較 

ち の つ こ セレクションバイアス 3 母集団 購買傾向によって 集団を分類 介入あり集団 介入なし集団 メール配信 (介入) 比較 集団A 集団B 売上up!! 真の介入効果を 推定出来ない ■セレクションバイアスとは 比較対象の集団間の潜在的な傾向が異なる場合に発生するバイアス ■例：メールマーケティング 購買傾向の高いユーザに重点的にメール配信を行い、売上を比較 購買傾向が 高い集団 購買傾向が 低い集団 売上 (KPI) 配信(集団A) 未配信(集団B) メール配信により増加した売上 ＝介入効果 図 介入後の集団A-B間の売上比較(実務想定) 𝔼 𝑌(0)|𝑍 = 1 潜在的な売上の差 ＝セレクションバイアス 𝑍 𝑌 𝑌(0) 𝑌(1) 1 (メール配信) 𝑌(0)|𝑍 = 1 (欠測) 𝑌(1)|𝑍 = 1 (観測) 0 (メール未配信) 𝑌(0)|𝑍 = 0 (観測) 𝑌(1)|𝑍 = 0 (欠測) 𝜏 𝔼 𝑌(0)|𝑍 = 0 𝔼 𝑌(1)|𝑍 = 1 𝔼 𝑌(0)|𝑍 = 1 − 𝔼 𝑌(0)|𝑍 = 0 𝜏𝑛𝑎𝑖𝑣𝑒 実務では、𝒀(𝟎)|𝒁 = 𝟏と𝒀(𝟏)|𝒁 = 𝟎は観測できない。 この時、単純に平均的な効果を測ると以下のように表せ る。 𝜏𝑛𝑎𝑖𝑣𝑒 = 𝔼 𝑌 1 |𝑍 = 1 − 𝔼 𝑌 0 |𝑍 = 0 = 𝜏 + 𝔼 𝑌 0 |𝑍 = 1 − 𝔼 𝑌 0 |𝑍 = 0 つまり、 比較対象の集団に潜在的な差が存在する場合、真の介入 効果を推定することが出来ない。 例では、購買傾向と売上に正の相関があるとすると、 購買傾向が高い集団 → 売上高い集団 購買傾向が低い集団 → 売上低い集団 であり、潜在的な売上の差が存在するため、真の介入効 果を推定出来ない。 集団Aと集団Bの潜在的な売上の差 （セレクションバイアス） 真の効果 表 売上𝑌の欠損/観測状態(実務想定) セレクションバイアスの影響 を排除した比較が重要 

ち の つ こ 解決策：無作為化比較試験(RCT: Randomized Controlled Trial ) 4 ■無作為化比較試験とは ランダムに抽出した集団にて、施策の効果を比較すること → セレクションバイアスを緩和可能 （平均化により集団間の潜在的な偏りが緩和） 母集団 無作為化比較試験 集団A 集団B 購買傾向によって集団を分類 集団C 集団D 購買傾向が 高い集団 購買傾向が 低い集団 平均的には 同質の集団 売上 (KPI) 集団A 集団B 売上 (KPI) 集団C 集団D 母集団の平均 母集団の平均 平均的に同質の集団 介入後の変化＝介入効果 平均的に異質の集団 介入後の変化 ＝介入効果＋バイアス RCTは効果検証として理想だが、実務では実施コストが大きい or 実施が不可能 

ち の つ こ 次回：介入効果を測るための回帰分析 5