統計的因果推論の勉強会@2022

高橋将宜（2022）「統計的因果推論の理論と実装」共立出版.　を読んで統計的因果推論について勉強する会の資料です。

Transcript

1. 統計的因果推論勉強会 2022年5月15日～ オンライン
2. 勉強会の概要 2
3. 日程と進め方 3 ⚫ 日程 5月15日（日）9:00-12:00 5月22日（日）9:00-17:00 5月29日（日）9:00-17:00 ⚫ 進め方 エクストリームリーディング方式を採用。 １章ごとにその場で読む時間を確保し、その後で内容の 確認・ディスカッションを行うサイクルを繰り返す。 内容確認のパートでは、中村の方で簡単にスライドを用 意してあります。 ディスカッションのパートでは、実際にRコードを走ら せてみるといいかなと思います。 各自で黙読 基礎的な内容確認 ディスカッション 読んでいて気づいたことや疑問 があれば適宜チャットで共有
4. 目次と予定 4 Chapter 1 統計的因果推論の基礎の基礎 Chapter 2 潜在的結果変数の枠組み Chapter 3 統計的因果推論における重要な仮定 Chapter 4 推測統計の基礎：標準誤差と信頼区間 Chapter 5 回帰分析の基礎 Chapter 6 図で理解する重回帰モデルの基礎 Chapter 7 最小二乗法による重回帰モデルの仮定と診断1 Chapter 8 最小二乗法による重回帰モデルの仮定と診断2 Chapter 9 交互作用項のある共分散分析 Chapter 10 傾向スコア Chapter 11 傾向スコアマッチング：ATTの推定 Chapter 12 傾向スコアによる層化解析法および重み付け法：ATEの推定 Chapter 13 操作変数法の基礎 Chapter 14 操作変数法による非遵守への対処 Chapter 15 回帰不連続デザインの基礎 Chapter 16 回帰不連続デザインの応用 Chapter 17 回帰不連続デザインの仮定および実践 Chapter 18 ファジーな回帰不連続デザイン Chapter 19 欠測データ処理の基礎 Chapter 20 統計的因果推論における欠測データ Chapter 21 統計的因果推論手法としての多重代入法 5月15日 5月22日 5月29日 高橋将宜（2022）「統計的因果推論の理論と実装 ―潜在的結果変数と欠測データ―」共立出版.
5. Chapter 1 統計的因果推論の基礎の基礎 5
6. Chapter 1 統計的因果推論の基礎の基礎 6 • 相関が高いからといって因果関係があるとは限らない • 例えば、アイスの売り上げと水難事故には高い相関があるが、アイスが 売れることで人が溺れるという因果関係はあり得ない • 気温という第三の変数（交絡因子）によって引き起こされた疑似相関と 解釈するのが妥当 気温 アイスの 売り上げ 水難 事故 ෡ 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋1𝑖 + 𝛽2 𝑋2𝑖 水難事故 = 𝛽0 + 𝛽1 アイスの売り上げ 𝑖 + 𝛽2 気温 𝑖 𝛽1 = 0 𝛽2 ≠ 0
7. 1.1 統計的因果推論の考え方を学ぶための具体例 7 ⚫ 1.1.1 白髪と薄毛の関係 「白髪の人は禿げない」という俗説は誤りである。 禿げていない人の髪の色は観測される一方で、禿げた人の髪の色が観測 できないから。→ もし禿げていなかった場合の髪の色を考える必要が ある（反実仮想）。 ⚫ 1.1.2 ごま油と長寿の関係 ある人が長寿であるときにごま油を摂取している確率 b/b+d ≠ ごま油を摂取した場合に長寿になる確率 b/a+b → 比較するべきは、b/a+b と d/c+d の差 ⚫ 1.1.3 インターネット広告と売上高の関係 真に知りたい因果効果は、今年に広告を出した場合と 出さなかった場合の差 =2000-1900=100 (万円) しかし、これは反実仮想であるため、実際には、 どちらか一方しか観測されない。 原因 ＼ 結果 短命 長寿 ごま油を摂取 a b ごま油を未接種 c d ◆ 片方しか観測されない ◆ 観測される
8. 1.2 統計的因果推論とは 8 因果関係：原因と結果の関係 因果推論：因果関係を推論する 統計的因果推論：データに基づいて因果関係を推論する 原因 （処置） 結果 • 効果をもたらした原因 → 定性的に検討 • 原因のもたらす効果 → 定量的に検討
9. 1.3 反事実モデル； 1.4 操作なくして因果なし 9 • 「もし、～だったら、～になっていただろう」（反実仮想） • 例えば、「もし、アスピリンを飲んでいたら、頭痛が治っていただろう。」 • 現実にはアスピリンを飲まなかったわけだが、アスピリンを飲んでいた場合 （反事実）を考え、因果効果を推論しているわけである。 • ただし、処置が属性変数（e.g., 性別）のような抽象的なものである場合、 何が操作されているのかが分かりづらいことがあるので注意が必要。 • 例えば、「もし、あの女性が男だったら髪が短いだろう」 • この例の場合、反事実である「女でない」という処置が何を指すのか不明確 であり、因果推論が困難 • → 何が操作せれるのか（処置変数）を明確にすることが重要 • 処置変数を操作することによってどのような潜在的結果が引き起こされるか を考えることなしには、因果関係は捉えられない • →「操作なくして因果なし」 世 の 中 に た え て さ く ら の な か り せ ば 春 の 心 は の ど け か ら ま し
10. 1.8 Rubin流とPearl流の因果推論 10 ⚫ グレンジャー因果 2つの時系列データA, Bについて、現在のBを予測するのに過去のAの データが役立つならば、AはBに対してグレンジャー因果を持つと考える。 ただし、同一時点における2つの変数間の因果関係は分からない。 ⚫ Rubin流の因果推論 潜在的結果変数の枠組みを用いる統計的因果推論。 この本で扱う因果推論の枠組みである。 ⚫ Pearl流の因果推論 Rubin流とほぼ同じだが、DAGと呼ばれるグラフィカルモデルを用いて 因果関係を整理する点が特徴的
11. 1.9 Rに関することがら ◼R CRANからbaseをダウンロード＆インストール https://cran.ism.ac.jp/ ver 4.2.0 ◼RStudio Rstudio社のHPからFree版をダウンロード＆インストール https://rstudio.com/products/rstudio/download/#do wnload
12. Chapter 2 潜在的結果変数の枠組み 12
13. 2.1 潜在的結果変数の枠組み：具体例 13 ⚫ 数学の試験（潜在的結果変数の枠組み） • 灰色のセルは実際には観測されない潜在的結果 • 処置を受けた場合と受けなかった場合の潜在的 結果の差が、処置の効果であると解釈できる • 潜在的結果は実際には観測できないので、様々 な工夫がいる。 欠 測
14. 2.2 潜在的結果変数の枠組み：理論 14 ある集団を処置群と統制群に割り付けることを考える。 𝑇𝑖 を𝑖番目の個体の割り付けを示す２値変数とする。 このとき、𝑇𝑖 ∈ 0, 1 であり、𝑇𝑖 = 0が統制群、𝑇𝑖 = 1が処置群への割り付け を表す。 また、個体𝑖の潜在的結果変数の組を𝑌𝑖 0 , 𝑌𝑖 1 で表す。この組の片方は実際 には観測されない。その個体がどちらの群に割り付けられたかによって観測 される結果が変わる。 𝑌𝑖 = 1 − 𝑇𝑖 𝑌𝑖 0 + 𝑇𝑖 𝑌𝑖 1 = ቊ 𝑌𝑖 0 if 𝑇𝑖 = 0 𝑌𝑖 1 if 𝑇𝑖 = 1 処置群における結果変数は、𝑌𝑖 |𝑇𝑖 = 0 であり、 統制群における結果変数は、𝑌𝑖 |𝑇𝑖 = 1 と表す。
15. data02 15 入学試験 期末試験 （観測値） 処置 期末試験 （統制群） 期末試験 （処置群） 潜在的結果 （処置群） 潜在的結果 （統制群）
16. 2.3-5 処置効果1～3 16 ⚫ 個体処置効果（individual treatment effect: ITE） • ある個体が処置を受けた場合と受けなかった場合の結果の差 𝜏𝑖 = 𝑌𝑖 1 − 𝑌𝑖 (0) • 𝑌𝑖 1 と𝑌𝑖 (0)は同時に観測できないため、ITEは定義できても知ることはできな い。 ⚫ 平均処置効果（average treatment effect: ATE） • 処置群と統制群の両方を含むすべての個体（母集団）における効果の期待値 （平均的な効果） 𝜏𝐴𝑇𝐸 = 𝐸 𝑌𝑖 1 − 𝑌𝑖 0 = 𝐸 𝑌𝑖 1 − 𝐸 𝑌𝑖 0 • 処置がどのように割り付けられるかの情報を使うことで推定可能になる。 ⚫ 処置群の平均処置効果（average treatment effect on the treated: ATT） • 処置群に割り付けられた個体における効果の期待値（平均的な効果） • 特に、処置が自発的に生じる場合に検討される 𝜏𝐴𝑇𝑇 = 𝐸 𝑌𝑖 1 − 𝑌𝑖 0 𝑇𝑖 = 1 = 𝐸 𝑌𝑖 1 𝑇𝑖 = 1 − 𝐸 𝑌𝑖 0 𝑇𝑖 = 1 • 処置の割り付けが無作為である場合、ATEとATTは一致する。 • 処置の割り付けが無作為でない場合、ATEとATTは一致しない場合がある。
17. 2.6 交絡因子； 2.7 無作為抽出と無作為割付け 17 ◼ 交絡が起きている状態１ 共変量 処置 結果 共変量 処置 結果 ◼ 群間で共変量を統制 ◼ 無作為割付けで未知の共変量も統制 共変量 処置 結果 共変量 処置 結果 補習の実施 期末試験 入学試験 新薬Xを飲む 病気の症状 性別、年齢、 生活習慣など 例）入学試験の点数が2つの群で同じになるように分ける 例）ランダムに2つの群に割り付ける→未知の共変量も群間で揃う （ランダム化比較試験: RCT） 入学試験 入学試験、SES、 モチベーション、 その他… ◼ 交絡が起きている状態２
18. 2.9 内的妥当性と外的妥当性 18 ⚫ 内的妥当性 • AとBの関連が観察された場合、それがAからBへの因果的な関係を 反映しているかどうかの確信の程度 • その実験状況に限定した妥当性 • 実験研究が目指しているところ • ランダム化比較試験 ⚫ 外的妥当性 • 因果関係がどの程度まで一般化できるかの程度 • 観察研究が目指しているところ • ランダムサンプリング
19. Chapter 3 統計的因果推論における重要な仮定 19
20. 3.1 SUTVA 20 統計的因果推論を行うためには、SUTVA（Stable Unit Treatment Value Assumption）という仮定が成立していることが必要である。すなわち、個体 ごとに処置の値が安定していることが必要である。具体的には、 条件１：相互干渉がない 条件２：個体に対する隠れた処置がない • ある個体Aに対する処置が個体Bにも影響するとなると条件１に違反する。 例）個体Aへの感染病の予防処置が個体Bの感染リスクを下げるのであれば、相互干渉 があることになる。 • 個体によって処置の方法が異なると、条件２に違反する。 例）学生によって補習授業の教材や指導法が異なる
21. 3.2-4 確率の基礎 21 ⚫ 確率の基礎 ある事象Aが起こる確率をPr 𝐴 0 ≤ Pr 𝐴 ≤ 1 と表現する。 事象Aと排反な事象Bのどちらかが起こる確率は、２つの確率の和である。 Pr 𝐴 ∪ 𝐵 = Pr 𝐴 + Pr 𝐵 ⚫ 条件付き確率 事象Bが起きた時に事象がAが起こる確率はPr 𝐴 𝐵 と表現され、条件付き確率と呼ばれる。 ⚫ 独立 条件付確率Pr 𝐴 𝐵 と事象Aの確率Pr 𝐴 が一致する場合、2つの事象は独立であり、𝐴 ⊥ 𝐵 と 表現する。（事象Bには事象Aを予測する情報が含まれていないということ。） ⚫ 条件付き期待値 ある確率変数Xが起きた場合のYの条件付き期待値は、𝐸[𝑌|𝑋]と表現される。 XとYが独立であれば、𝐸 𝑌 𝑋 = 𝐸[𝑌] となる。
22. 3.5 識別性の条件； 3.6 実験研究における平均処置効果（ATE）の推定 22 観測されたデータから母数（parameter）が一意に推定できることを識別性 を持つという。因果推論における識別性の問題は、割り付けの正値性と独立 性の問題に分解できる。 ⚫ 割り付けの正値性 処置に割り付けられる確率Pr(𝑇 = 1)が0よりも大きく1よりも小さいという こと。つまり、0と1であってはならない。 0 < Pr 𝑇 = 1 < 1 ⚫ 割り付けの独立性 潜在的結果変数Yと処置の割り付けTが独立であるということ。 つまり、潜在的結果変数に依存して処置の割り付けが決められていない。 𝑌 1 , 𝑌 0 ⊥ 𝑇 これらが独立なのであれば、潜在的結果変数の期待値の差がATEの推定値と なる。実験研究であれば、割り付けの独立性が成立する。 𝐸 𝑌𝑖 𝑇𝑖 = 1 − 𝐸 𝑌𝑖 𝑇𝑖 = 0 = 𝐸 𝑌𝑖 1 − 𝐸[𝑌𝑖 0 ]
23. 3.8 共変量の役割 23 ⚫ 共変量 結果変数𝑌𝑖 に影響する変数の中で、処置の影響を受けていな い変数 ※観察研究においては共変量が多変量であることが多い ⚫ 条件付き独立（無交絡性） 共変量𝑿で条件付けた時に、処置𝑇𝑖 と結果𝑌𝑖 がと独立になる 𝑌𝑖 0 , 𝑌𝑖 1 ⊥ 𝑇𝑖 |𝑿 ⚫ 条件付き正値性 共変量𝑿で条件付けた時に、処置群に割り付けられる確率が0 か1ではない。 0 < Pr 𝑇 = 1 𝑿 < 1 SUTAVA & 条件付き独立 & 条件付き正値性 ⇒ 強い意味での無視可能な割り付け 共変量が同程度の個体間では処置への割り付け確率が同じ （共変量𝑿で条件づけられたとき、局所的な無作為割り付けとみなせる） 共変量 𝑿 処置 𝑇𝑖 結果 𝑌𝑖 新薬Xを飲む 病気の症状 性別、年齢、 生活習慣など
24. 3.9 回帰分析と共分散分析 24 共分散分析： 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋1 + 𝛽2 𝑇𝑖 + 𝜀𝑖 ここで、 መ 𝛽2 がATEの推定値となる。 平均処置効果（ATE） 共変量 処置 結果 補習の実施 期末試験 入学試験 補習希望群（実験群） 補習非希望群（統制群）
25. Chapter 4 推測統計の基礎：標準誤差と信頼区間 25
26. 記述統計学と推測統計学 母集団 記述統計学･･･サンプルの性質の要約 推測統計学 標本統計量の値をもとに， 母数についてできるだけ正確な推測 をする サンプル （標本） サンプリング ⚫ 記述統計学と推測統計学 目の前のサンプルに関する ことしか言えない 標本統計量（sample statistic） 例）標本平均m、標本分散v 母数（parameter） 例）母平均𝜇、母分散𝜎2
27. 標本平均と標本分布 母集団 （テントウムシの体長） 標本 (n=2) 母平均1.0cm （実際は未知） 標本平均0.9cm （実際に観測できる） 標本平均1.1cm 標本平均1.3cm 標本平均◦.◦cm 標 本 平 均 は 分 布 す る 何度でも 抽出できる 標本平均の標本分布 1.0 繰り返しサンプリングする状況を考え てみよう。複数得られた統計量の分布 をその統計量の標本分布という。
28. 標本平均のばらつき（標準誤差） 母集団 （テントウムシの体長） 母平均1cm （実際は未知） 標本平均0.9cm 標本平均1.1cm 標本平均0.5cm 何度でも 抽出できる nの数によって・・・ 標本平均2.5cm nが大きいと、 標本平均のバラツキ は小さい nが小さいと、 標本平均のバラツキ は大きい 標本分布の標準偏差を標準誤差と呼ぶ nが大きいほど標準誤差は小さくなる Standard Error
29. サンプルサイズと標準誤差 μ 母集団の最小値 （最小個体） 母集団の最大値 （最大個体） 母集団の個体の分布 標本平均の分布（n=5） 標本平均の分布（n=10） 標本平均の分布 （n=全数N，母平均） 母標準偏差σ 母標準誤差σ/√5 母標準誤差σ/√10 x ➢ 母標準誤差(SE) 𝜎 ҧ 𝑥 = 𝜎𝑥 𝑛 ➢ 標本標準誤差(se) 𝑆 ҧ 𝑥 = 𝑆𝑥 𝑛 nが大きいほど標準誤差は小さくなる →精度良く母集団の平均値の推定ができる
30. 大数の法則と中心極限定理 標本平均の分布（n=1） 標本平均の分布（n=5） 標本平均の分布（n=10） 標本平均の分布 （n=全数N，母平均） x • より大きいサイズの標本から標本平均を求めると、 真の平均に近づく（大数の法則） • 標本の大きさnが大きくなると、抽出元の母集団が正規分布でない 場合も、標本平均は正規分布に従う（中心極限定理） μ
31. 点推定と区間推定 ⚫ 点推定 母数の推定値を1つの値で示す（ex. 母平均の推定値は8.3cm） ⚫ 区間推定 誤差を考慮して、母数の推定値を区間で示す （ex. 95%の確率で7.8~8.8cmの間に入る） 68.27% 95.45% μ σ 2σ -σ -2σ 95% 平均 +1.96se -1.96se 正規分布 標本分布 （正規分布） 上限値 （upper） 下限値 （lower）
32. 95％信頼区間 ⚫ 95％信頼区間 サンプリングと95%信頼区間の推定を繰り返せば、 95%の確率で母数（真の値）が含まれる区間。 母数（真の値） … 95%信頼区間 失敗
33. 標本統計量（検定統計量）の計算 33 ⚫ 基本コンセプト – 帰無仮説の下での標本分布（数理的に導かれる）をも とに、データから計算した検定統計量が得られるのは 非常にまれな確率（有意水準以下）なのかを検討する。 例）学力の差 ・ AクラスとBクラスの学力には差がない。（帰無仮説） ・帰無仮説から離れる＝学力の差が大きいほど大きい値を取る検定 統計量を計算（ex., z=2.33） ・標本分布をもとに、その 検定統計量よりまれな値 が得られる確率（p値） を計算 →差がないとは言えない 統計的に意味のある差＝有意差がある 2.5% 2.5% p=0.01
34. ２つの平均値の差の検定 34 •問題 • Aクラス（n=40）のテストは、平均60.0点、不偏分散20であった。 • Bクラス（n=40）のテストは、平均58.0点、不偏分散20であった。 • ２つのクラスの学力に差があるといえるだろうか？（α=0.05） 帰無仮説：μ A -μ B =0 対立仮説： |μ A -μ B |>0 𝑡 ҧ 𝑥1− ҧ 𝑥2 = ҧ 𝑥1 − ҧ 𝑥2 𝜎2 1 𝑛1 + 1 𝑛2 = 60 − 58 20 1 40 + 1 40 = 2 p＝0.0455 帰無仮説を棄却する →差がないとは言えない（差があると判断する） 68.27% 95.45% 0 1 2 -1 -2 p=0.0455
35. Chapter 5 回帰分析の基礎 35
36. 単回帰分析の数式表現 36 数学学力(X) 物理点数(Y) ෡ 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 切片 回帰係数 結果変数の 予測値 説明変数 回帰係数 １単位 ෡ 𝑌𝑖 = −0.36 + 0.42𝑋𝑖 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝜖𝑖 誤差 残差 e 回帰係数が大きいほど その変数の影響が強い 結果変数 ◆回帰係数の推定（最小二乗法） 𝑄 = ෍ 𝑖=1 𝑁 𝑒2 𝑖 = ෍ 𝑖=1 𝑁 (𝑦𝑖 − ො 𝑦𝑖 )2 = ෍ 𝑖=1 𝑁 𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 ) 2 Qを最小化する𝛽0 と𝛽1 を求める መ 𝛽0 = ത 𝑌 − መ 𝛽1 ത 𝑋 መ 𝛽1 = ∑(𝑋𝑖 − ത 𝑋)(𝑌𝑖 − ത 𝑌) ∑ 𝑋𝑖 − ത 𝑋 2
37. Chapter 6 図で理解する重回帰モデルの基礎 37
38. 6.1 データ 38 チョコレートの消費量とノーベル賞受賞者数には因果関 係がある？ Messerli F. H. (2012). Chocolate consumption, cognitive function, and Nobel laureates. The New England journal of medicine, 367(16), 1562–1564. https://doi.org/10.1056/NEJMon1211064 共変量 処置 結果 チョコレー ト消費 ノーベル賞 受賞数 GDP 国名 ノーベル賞受賞者数 (1000人当たり) 年間チョコレー ト消費量（1人 当たり） GDP （国内総生産）
39. 6.2 分散； 6.3 ESSとUSS 39 各変数の不偏分散をベン図の大きさで表現することを考える。 不偏分散：𝑣𝑎𝑟 𝑌𝑖 = 1 𝑛−1 ∑𝑖=1 𝑛 𝑌𝑖 − ത 𝑌 2 偏差 偏差平方 偏差平方和 （TSS） GDP （国内総生産） チョコレート 消費量 ノーベル賞受賞者数 YとX1の単回帰分析の結果は以下のようになる。 ෠ 𝑌 = −3.42 + 2.70 ∗ 𝑋1 Yの分散のうち、X1で説明できる部分（ESS）は、 𝐸𝑆𝑆 = ෍ 𝑖=1 𝑛 ෠ 𝑌𝑖 − ത 𝑌 2 X1で説明できない部分（USS, 残差平方和）は、 𝑈𝑆𝑆 = ෍ 𝑖=1 𝑛 𝑌𝑖 − ෡ 𝑌𝑖 2 = ෍ 𝑖=1 𝑛 𝑒𝑖 2 である。 Yの分散に占めるESSの割合を決定係数と呼ぶ。 ※最小二乗法は、上図の灰色部分を最小化する推定法
40. 6.6 三変数のバレンティン・ベン図 40 X1とX2に相関がない場合、それぞれの回帰係数は独立して解釈できる。 X1とX2に相関がある場合、回帰係数の解釈に工夫が必要である。
41. 重回帰分析の数式表現 41 読解力 数学力 物 理 点 数 ො 𝑦 = 𝛽0 + 𝛽1 𝑋1 + ⋯ +𝛽𝑝 𝑋𝑝 偏回帰係数 偏回帰係数＝他の独立変数の影響を取り除いたある独立変数の回帰係数 （b） 標準偏回帰係数＝標準化した偏回帰係数。測定単位に依存しないので、 （β） 比較が容易。 標準化（すべての変数を平均０、分散１にそろえる）
42. 6.7 三変数の重回帰モデル； 6.8 因果ダイアグラムによる考察 42 GDP（𝑋2 ）が同程度の国で比較した場合、チョコレート消費量（𝑋1 ）が１㎏多くなると、 人口1000人当たりのノーベル賞受賞者数は1.50人増える。 ただし、X1の効果は有意ではない（𝛽1 = 0という帰無仮説を棄却できない）。 ො 𝑦 = −6.32 + 1.50𝑋1 + 0.20𝑋2 GDP チョコ 消費 ノーベル 賞受賞 𝛽1 = 0 𝛽2 ≠ 0 重回帰分析を用いることで、上図の青矢印の部分をブロック（統制）することに成功した。 結局、GDPがチョコ消費を媒介してノーベル賞受賞者数に影響していただけ。
43. 6.9 共分散分析（再考） 43 重回帰モデルの一部を処置変数に置き換えた共分散分析のモデルは以下の通りであった。 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝛽2 𝑇𝑖 + 𝜖𝑖 ここで、処置変数の偏回帰係数𝛽2 は、共変量𝑋𝑖 の影響を統制した状況での効果を意味する と解釈できる。
44. Chapter 7 最小二乗法による重回帰モデルの仮定と診断1 44
45. 重回帰分析の6つの仮定 45 仮定1：誤差項の期待値ゼロ ⇒自動的に満たされる 仮定2：パラメータ（母数）における線形性 ⇒適切な変数変換を行う 仮定3：誤差項の条件付き期待値ゼロ ⇒適切な共変量を加える 仮定4：完全な多重共線性がないこと ⇒ほぼ問題にならない 仮定5：誤差項の分散均一性 ⇒検定で確認。満たされない場合は、頑健な標準誤差を使用。 仮定6：誤差項の正規性 ⇒本質的な仮定ではない。 これが満たされない場合は、仮定2・3あたりが怪しい。
46. 仮定1：誤差項の期待値ゼロ; 仮定2：パラメータ（母数）における線形性 46 重回帰分析では、誤差項の期待値が０であることが仮定されている。 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋1𝑖 + 𝛽2 𝑋2𝑖 + 𝜖𝑖 𝐸 𝜖𝑖 = 0 実際に誤差項の期待値が０でなかったとしても、切片の値に吸収される ため、誤差項の期待値は０とみなすことができる。 よって、この仮定は簡単に満たすことができる。 また、応答変数が各説明変数の線形関数で表されなければならない。 𝑌 = 𝛽0 + 𝛽1 𝑋1𝑖 + 𝛽2 𝑋2𝑖 ⇒ OK 𝑌 = 𝑋1 𝑋2 𝑋3 ⇒ ダメ 変数変換（e.g., 二乗、対数、平方根） をすることで、仮定を満たすことがある log 𝑌 = log 𝑋1 + log 𝑋2 + log 𝑋3
47. 7.3 仮定3：誤差項の条件付き期待値ゼロ 47 回帰係数を正しく推定するには、誤差項𝜖𝑖 と共変量𝑿は独立であることが必要である。 共変量が同じくらいの集団で見た場合も、誤差項の期待値は０になることを意味する。 𝐸 𝜖𝑖 𝑿 = 𝐸 𝜖𝑖 = 0 これを達成するためには、統制すべき交絡因子を十分にモデルに含まなければならな い。 説明変数と結果変数の両方に影響する可能性のある共変量はすべてモデルに含めた方 がよい。 ただし、以下のX2のような中間変数（媒介変数）は含めてはいけない。
48. Chapter 8 最小二乗法による重回帰モデルの仮定と診断2 48
49. 8.1 仮定4：完全な多重共線性がないこと 49 説明変数間の相関が1.0でない（完全な多重共線性がない）ことが必要である。 強い相関があること自体は許容されるが、そのような状況では、偏回帰係数の標 準誤差が大きくなり、帰無仮説を棄却できなくなってしまう点に注意が必要。 しかし、統計的因果推論の文脈において、共変量間に強い相関が見られても、共 変量の偏回帰係数の推定に興味があるわけではないので問題にならない。
50. 8.2 仮定5：誤差項の分散均一性 50 誤差項の分散が均一でないと、標準誤差が大きくなってしまう。 （回帰係数の推定量に偏りは生じない） 対応法として、加重最小二乗法や頑健な標準誤差を利用する方法 などがある。 例）食費を年収で予測する際、高い年収の層では食 費の分散が大きくなることから、年収全体で誤差項 の分散が均一でない。
51. 重回帰分析の6つの仮定（再掲） 51 仮定1：誤差項の期待値ゼロ ⇒自動的に満たされる 仮定2：パラメータ（母数）における線形性 ⇒適切な変数変換を行う 仮定3：誤差項の条件付き期待値ゼロ ⇒適切な共変量を加える 仮定4：完全な多重共線性がないこと ⇒ほぼ問題にならない 仮定5：誤差項の分散均一性 ⇒検定で確認。満たされない場合は、頑健な標準誤差を使用。 仮定6：誤差項の正規性 ⇒本質的な仮定ではない。 これが満たされない場合は、仮定2・3あたりが怪しい。
52. Chapter 9 交互作用項のある共分散分析 52
53. 9.1 共分散分析の仮定； 9.2 交互作用項のある共分散分析 53 仮定７：潜在的結果変数の間で回帰の傾きが共通（回帰関数の平行性） 仮定７が満たされない場合は、交互作用項を導入する。 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝛽2 𝑇𝑖 + 𝛽3 𝑋𝑇𝑖 + 𝜖𝑖 𝑌𝑖 𝑇𝑖 = 0 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝜖𝑖 𝑌𝑖 𝑇𝑖 = 1 = 𝛽0 + 𝛽2 + 𝛽1 + 𝛽3 𝑋𝑖 + 𝜖𝑖 統計的因果推論で推定したい平均処置効果（ATE）は群間の結果変数の期待値の差であるから、 𝜏𝐴𝑇𝐸 = 𝐸 𝑌𝑖 1 − 𝑌𝑖 0 = 𝛽2 + 𝛽3 𝐸[𝑋𝑖 ]
54. 9.3 統制すべき共変量に関するまとめ 54 ⚫ 含めるべき変数 結果変数と処置変数に影響する（交絡因子）◎ 結果変数だけに影響する ◦ 処置変数だけに影響する △ ⚫ 含めるべきではない変数 中間変数（媒介変数）× 操作変数 × 共変量 処置 結果
55. 9.4 共分散分析の限界； 9.5 共分散分析と傾向スコアの優劣 55 仮定2：パラメータ（母数）における線形性 仮定3：誤差項の条件付き期待値ゼロ 仮定２より、様々な関数形を試して線形性を確認する必要があった。 しかし、仮定３を満たすために統制すべき共変量を複数含めることから、交互作用項 まで考慮に入れると膨大な組み合わせのモデリングを考慮しなければならない。 共変量Xが多変量の時にも対応できるような柔軟な方法が欲しい ⇒ 傾向スコアを用いた方法 共変量Xを単一の傾向スコア（処置群に割り付けられる確率）に縮約すれば、共変量が １つになるという発想。 傾向スコアモデリングは、共分散分析と比べてモデルの誤設定に対して強い。
56. Chapter 7 最小二乗法による重回帰モデルの仮定と診断1 56
57. 重回帰分析の6つの仮定 57 仮定1：誤差項の期待値ゼロ ⇒自動的に満たされる 仮定2：パラメータ（母数）における線形性 ⇒適切な変数変換を行う 仮定3：誤差項の条件付き期待値ゼロ ⇒適切な共変量を加える 仮定4：完全な多重共線性がないこと ⇒ほぼ問題にならない 仮定5：誤差項の分散均一性 ⇒検定で確認。満たされない場合は、頑健な標準誤差を使用。 仮定6：誤差項の正規性 ⇒本質的な仮定ではない。 これが満たされない場合は、仮定2・3あたりが怪しい。
58. 仮定1：誤差項の期待値ゼロ; 仮定2：パラメータ（母数）における線形性 58 重回帰分析では、誤差項の期待値が０であることが仮定されている。 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋1𝑖 + 𝛽2 𝑋2𝑖 + 𝜖𝑖 𝐸 𝜖𝑖 = 0 実際に誤差項の期待値が０でなかったとしても、切片の値に吸収されるため、 誤差項の期待値は０とみなすことができる。 よって、この仮定は簡単に満たすことができる。 また、応答変数が各説明変数の線形関数で表されなければならない。 𝑌 = 𝛽0 + 𝛽1 𝑋1𝑖 + 𝛽2 𝑋2𝑖 ⇒ OK 𝑌 = 𝑋1 𝑋2 𝑋3 ⇒ ダメ 変数変換（e.g., 二乗、対数、平方根） をすることで、仮定を満たすことがある log 𝑌 = log 𝑋1 + log 𝑋2 + log 𝑋3
59. 7.3 仮定3：誤差項の条件付き期待値ゼロ 59 回帰係数を正しく推定するには、誤差項𝜖𝑖 と共変量𝑿は独立であることが必要である。 共変量が同じくらいの集団で見た場合も、誤差項の期待値は０になることを意味する。 𝐸 𝜖𝑖 𝑿 = 𝐸 𝜖𝑖 = 0 これを達成するためには、統制すべき交絡因子を十分にモデルに含まなければならな い。 説明変数と結果変数の両方に影響する可能性のある共変量はすべてモデルに含めた方 がよい。 ただし、以下のX2のような中間変数（媒介変数）は含めてはいけない。
60. Chapter 8 最小二乗法による重回帰モデルの仮定と診断2 60
61. 8.1 仮定4：完全な多重共線性がないこと 61 説明変数間の相関が1.0でない（完全な多重共線性がない）ことが必要である。 強い相関があること自体は許容されるが、そのような状況では、偏回帰係数の標 準誤差が大きくなり、帰無仮説を棄却できなくなってしまう点に注意が必要。 しかし、統計的因果推論の文脈において、共変量間に強い相関が見られても、共 変量の偏回帰係数の推定に興味があるわけではないので問題にならない。
62. 8.2 仮定5：誤差項の分散均一性 62 誤差項の分散が均一でないと、標準誤差が大きくなってしまう。 （回帰係数の推定量に偏りは生じない） 対応法として、加重最小二乗法や頑健な標準誤差を利用する方法 などがある。 例）食費を年収で予測する際、高い年収の層では食 費の分散が大きくなることから、年収全体で誤差項 の分散が均一でない。
63. 重回帰分析の6つの仮定（再掲） 63 仮定1：誤差項の期待値ゼロ ⇒自動的に満たされる 仮定2：パラメータ（母数）における線形性 ⇒適切な変数変換を行う 仮定3：誤差項の条件付き期待値ゼロ ⇒適切な共変量を加える 仮定4：完全な多重共線性がないこと ⇒ほぼ問題にならない 仮定5：誤差項の分散均一性 ⇒検定で確認。満たされない場合は、頑健な標準誤差を使用。 仮定6：誤差項の正規性 ⇒本質的な仮定ではない。 これが満たされない場合は、仮定2・3あたりが怪しい。
64. Chapter 9 交互作用項のある共分散分析 64
65. 9.1 共分散分析の仮定； 9.2 交互作用項のある共分散分析 65 仮定７：潜在的結果変数の間で回帰の傾きが共通（回帰関数の平行性） 仮定７が満たされない場合は、交互作用項を導入する。 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝛽2 𝑇𝑖 + 𝛽3 𝑋𝑇𝑖 + 𝜖𝑖 𝑌𝑖 𝑇𝑖 = 0 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝜖𝑖 𝑌𝑖 𝑇𝑖 = 1 = 𝛽0 + 𝛽2 + 𝛽1 + 𝛽3 𝑋𝑖 + 𝜖𝑖 統計的因果推論で推定したい平均処置効果（ATE）は群間の結果変数の期待値の差であるから、 𝜏𝐴𝑇𝐸 = 𝐸 𝑌𝑖 1 − 𝑌𝑖 0 = 𝛽2 + 𝛽3 𝐸[𝑋𝑖 ]
66. 9.3 統制すべき共変量に関するまとめ 66 ⚫ 含めるべき変数 結果変数と処置変数に影響する（交絡因子）◎ 結果変数だけに影響する ◦ 処置変数だけに影響する △ ⚫ 含めるべきではない変数 中間変数（媒介変数）× 操作変数 × 共変量 処置 結果
67. 9.4 共分散分析の限界； 9.5 共分散分析と傾向スコアの優劣 67 仮定2：パラメータ（母数）における線形性 仮定3：誤差項の条件付き期待値ゼロ 仮定２より、様々な関数形を試して線形性を確認する必要があった。 しかし、仮定３を満たすために統制すべき共変量を複数含めることから、交互作用項 まで考慮に入れると膨大な組み合わせのモデリングを考慮しなければならない。 共変量Xが多変量の時にも対応できるような柔軟な方法が欲しい ⇒ 傾向スコアを用いた方法 共変量Xを単一の傾向スコア（処置群に割り付けられる確率）に縮約すれば、共変量が １つになるという発想。 傾向スコアモデリングは、共分散分析と比べてモデルの誤設定に対して強い。
68. Chapter 10 傾向スコア 68
69. 10.1 バランシングスコア； 10.2 傾向スコア； 10.3 傾向スコア定理 69 共変量Xは多変量であるため、共分散分析によって適切な統制（モデル 設定）を行うことが難しい ⇒ バランシングスコアの一種である傾向スコアを利用した方法がある 傾向スコア𝑒 𝑿 は以下のように定義され、共変量Xを所与としたときに 処置群に割り付けられる確率を意味する。 𝑒 𝑿 = Pr(𝑇𝑖 = 1|𝑿) （ただし、0 < 𝑒 𝑿 < 1） 多変量である共変量Xを傾向スコアという単一指標に縮約するという発 想である。傾向スコアが同じであれば、群間で共変量Xの分布は同じで ある（バランシング）。 𝑿 ⊥ 𝑇|𝑒(𝑿) 傾向スコアが同じ人同士で比較する場合、どちらの群に割り当てられた かはランダムであると見なせるため、適切に因果効果を推定できる。 𝑌 1 , 𝑌 0 ⊥ 𝑇|𝑒(𝑿) ※ただし、観測されていない未知の 共変量の影響は統制できない。
70. 10.4 傾向スコアのモデル化 70 ⚫ ロジスティック回帰モデル 𝑒 𝑋 = Pr 𝑇𝑖 = 1 𝑿𝑖 = exp(𝛽0 + 𝛽1 𝑋1𝑖 + ⋯ + 𝛽𝑝 𝑋𝑝𝑖 ) 1 + exp(𝛽0 + 𝛽1 𝑋1𝑖 + ⋯ + 𝛽𝑝 𝑋𝑝𝑖 ) 共変量 統制群 処置群 傾向スコア
71. Chapter 11 傾向スコアマッチング：ATTの推定 71
72. 11.2～11.8 傾向スコアマッチング 72 処置群と傾向スコアが似た人を統制群から選んでマッチングさせ、 処置群の平均処置効果（ATT）を推定する。※ATEは推定できない 統制群からマッチングの対象を選ぶ際には、同じ人が何回も選ばれ ることを認める復元抽出と、それを認めない非復元抽出がある。 復元抽出の方がデータが無駄にならないが、推定方法が複雑になる。 マッチングの候補となる個体間の類似度は傾向スコアの値で判断さ れる。傾向スコアの算出方法には、ロジスティック回帰の他にも 様々な方法がある（e.g., gam, rpart, randomforest, nnet）。 傾向スコアが近い個体同士をマッチングさせるアルゴリズムにも、 様々な方法がある（e.g., nearest, optimal, genetic）。 ※とりあえず、GLM + 最近隣法マッチング + 復元抽出 でいいのではないかと個人的には思う。
73. 分析の流れ 73 1．傾向スコアの算出 m.out1 <- matchit(t1 ~ x1 + x2 + x3 + x4 + x5 + x6, data = data11, replace = TRUE, distance = "glm", method = "nearest") m.data1 <- match.data(m.out1) ２．バランシングの確認 library(cobalt) love.plot(m.out1, thresholds = .1) 3．傾向スコアを統制した共分散分析（ATTの推定） model1 <- lm(y3 ~ t1, data = m.data1, weights = weights) model2 <- lm(y3 ~ t1 + x1 + x2 + x3 + x4 + x5 + x6, data = m.data1, weights = weights) summary(model1) summary(model2) ※各共変量の群間差が|d|=0.1未満になることが望ましい ※マッチング後の分析においても、共変量を説明変数として投入した方が良い推定になる
74. Chapter 12 傾向スコアによる層化解析法および重み付け法： ATEの推定 74
75. 12.1 傾向スコアによる層化解析法 75 傾向スコアの値に応じてｋ個の層に分ける。それぞれの層においてATTを 計算してから層ごとのサンプルサイズで重み付けて平均する。 Ƹ 𝜏𝐴𝑇𝐸 = ෍ 𝑘=1 𝐾 𝑛𝑘 𝑁 [ ഥ 𝑌𝑘 1 − ഥ 𝑌𝑘 0 ] 層 傾向スコア
76. 12.2 傾向スコアによる重み付け法 76 逆確率重み付け法（IPW）では、 処置群のデータに対して 傾向スコア の逆数をかける、 統制群のデータに対して １－傾向スコア の逆数をかけることで、 データを重み付ける。 𝑤𝑖 = 𝑇𝑖 ෝ 𝑒𝑖 + 1 − 𝑇𝑖 1 − ෝ 𝑒𝑖 例えば、傾向スコアe=0.5であれば、 逆数をとると2になるのでサンプルを2倍にする 安井（2020）効果検証入門. p.103より