Share
Embed
Transcript
31 slides
-
Introduction 因果推論の2種類のアプローチ - Donald Rubin (統計学) - Judea Pearl (疫学)
本書はルービンのアプローチに則して解説がされている。パールのアプローチはDAGな どの直感的なツールを持つ一方、実証論文ではほとんど登場していない、らしい 教科書:https://www.amazon.co.jp/dp/B0834JN23Y サンプルコード: https://github.com/ghmagazine/cibook/ 原因 効果 結果 -
Introduction 本書の構成 1章: セレクションバイアスとランダム化比較実験 (RCT) 2章: 介入効果を測るための回帰分析 3章: 傾向スコアを用いた分析 4章:
差分の差分法 (DiD) とCausalImpact 5章: 回帰不連続デザイン (RDD) -
1.1.1 効果 効果: ビジネスにおいてとった何らかのアクションが売上などのビジネス上重要なKPI (Key Performance Index) に与える影響のこと 介入 (施策/措置)
: ビジネスにおいて取る何らかのアクションのこと 実験計画を立てずに特定のアクションのみの効果を計測することは非常に難しい。たと えば以下の要因が計測したいアクションと同時に起こる場合、それらの効果を切り離し て考えることが難しい - 商品やサービスのリニューアル - 別の広告キャンペーン - ポイントの配布やキャッシュバック - 競合他社の広告キャンペーン -
1.1.2 潜在的な購買量の差 例: あるECサイトにおけるクーポンメール配信 の売上への効果の推定 クーポンメールの効果は、「クーポンメール を送った場合の売上」から「何もしなかった 場合の売上」の差と考えられる メール配信は予算の都合上一部のユー ザーのみに実施する
(ユーザーの選定方法 によってはグループ間の潜在的な購買量に 差が生まれる) クーポンメー ル の効果 (介入効果) 青: 潜在的な購買量 赤: 施策を実施した後の購買量 -
1.1.3 誤った施策の検証 メール配信の施策を行ったのでその施策の効果が どの程度であったかを推定したい よくある検証例 1. 「メール配信あり」と「メール配信なし」のグ ループの購買量の平均を比較 2. 平均同士の検定なのでt検定で効果を検証
3. 有意水準0.05で有意→効果があったと結論 メール配信に よる効果? -
1.1.3 誤った施策の検証 メール配信の施策を行ったのでその施策の効果が どの程度であったかを推定したい よくある検証例 1. 「メール配信あり」と「メール配信なし」のグ ループの購買量の平均を比較 2. 平均同士の検定なのでt検定で効果を検証
3. 有意水準0.05で有意→効果があったと結論 メール配信に よる効果? →効果を過剰に見積もっている危険がある -
1.1.3 誤った施策の検証 メール配信の裏側の仕組み メール配信可能ユーザーに対して、以下の条件の うち1つ以上を満たすユーザーにはメールを配信す る - 過去の購買額が一定以上 - 直近の購買がX日前以降
- クーポン対象商品の購買履歴がある セレクション バイアス 本当のメール の効果 メールがなく ても買う量 単純に比較 する部分 → 潜在的な傾向が違うため、メール配信がなくても購買量が多かった 「もともとフェアな比較じゃない」ということ。買うモチベーションが高い人に配 信してた。 -
1.1.3 誤った施策の検証 バイアス: データから得られた分析結果と本当の効 果の乖離 セレクションバイアス: 比較しているグループの潜 在的な傾向が違うことによって発生するバイアス このバイアスの存在を認識し、取り除く処置を行わ なければ介入に対する効果の推定が正しくできな
い (ビジネスにおける誤った意思決定がなされてし まう) セレクション バイアス 本当のメール の効果 メールがなく ても買う量 単純に比較 する部分 -
1.2.1 本当の「効果」と理想的な検証方法 現実で得られるデータ 当然、介入を行った ユーザーの介入しな かったときの売上はわ からない (因果推論の根本問題 ) Y(0)とY(1)のうち片方
は欠損しているので 差は不明 「欠損がないサンプル の」平均を出している 「欠損がないサンプル の」平均同士の差を 効果として出してい る。欠損の出方に傾 向があるため効果に セレクションバイアス が乗っている -
1.2.1 本当の「効果」と理想的な検証方法 現実で得られるデータ 当然、介入を行った ユーザーの介入しな かったときの売上はわ からない (因果推論の根本問題 ) Y(0)とY(1)のうち片方
は欠損しているので 差は不明 「欠損がないサンプル の」平均を出している 「欠損がないサンプル の」平均同士の差を 効果として出してい る。欠損の出方に傾 向があるため効果に セレクションバイアス が乗っている 欠損のないサンプルの平均しか出せない AND サンプル内の欠損の位置は介入の有無で決まる ↓ 「母集団全体のY(0)の平均」と「介入しないグループのY(0)の平均」 「母集団全体のY(1)の平均」と「介入するグループのY(1)の平均」 が一致するように介入を行えばよい ↓ ランダム化比較実験 (RCT) -
ここまでのまとめ ビジネス上得られるデータは介入の有無を何らかの指標に基づいて決めている事が多 い。 また、介入の有無によってサンプル内の欠損の位置が決まる。 よって、売上の期待値 (平均) は欠損の位置に依存する よって、介入の有無に関する売上の期待値の差 (効果) は母集団に対する介入の方針
に依存する (セレクションバイアスが乗る危険がある) 施策による効果が分かる状況: 施策以外の要因が同一になったとき 効果を実際のデータから測る方法: RCT (Randomized Controlled Trial) 統計調査の種類には全数調査と標本調査が存在するが、因果分析の文脈では全数調 査が不可能になる (因果推論の根本問題のため)。 -
1.3.4 平均的な効果 平均処理効果 (Average Treatment Effect: ATE): 母集団における平均的な効果 本書の基本的な課題は、入手したデータからいかにしてこの式におけるτを正しく推定す るか、にある
セレクション バイアス 本当のメール の効果 メールがなく ても買う量 単純に比較 する部分 -
1.3.8 有意差検定の概要と限界 メールを配信したときと配信しなかったときのYの平均の差が0かどうかを検証する→t検 定、と安易に実行してもダメ - 等分散性を仮定して本当に良いのか? (等分散性を別途検定すると多重検定の問 題が。。。) - 有意水準は0.05でいいのか?
- 有意だと結果が出ても、メール配信の平均効果が10円だったらどうか? (効果量に ついて考えているか?) - セレクションバイアスがないような条件で実験しているか? 検定はどちらかというと、「この結果が得られたときは効果があるとしよう」という取り決 めに近い