oku-slide-stat1-4

数理統計学特論I
第4回 統計量と標本分布
奥 牧人 (未病研究センター)
2022/05/11
2023/05/10
2024/05/08

Transcript

1. 数理統計学特論I 第4回 統計量と標本分布 奥 牧人 (未病研究センター) 2024/05/08 1 / 43
2. 前回の復習 前回の目的 多次元の確率変数に関する基本用語の意味を数式で理解すること 前回の達成目標 周辺確率の式を書ける。 独立性の定義の式を書ける。 ヤコビアンの意味を説明できる。 共分散と相関係数の式の意味を説明できる。 多次元正規分布の式の意味を説明できる。 2 / 43
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 43
4. 今回の目的と達成目標 目的 主な統計量と標本分布の意味を数式で理解すること 達成目標 標本平均と標本分散の式を書ける。 分布、 分布、 分布の意味を説明できる。 大数の法則と中心極限定理の式の意味を説明できる。 正規分布近似が使える条件を説明できる。 χ 2 t F 4 / 43
5. 予習用キーワードの確認 分布 分布 分布 χ 2 t F 5 / 43
6. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 6 / 43
7. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 7 / 43
8. 母集団と標本 統計学では、データを母集団から無作為に抽出された標本と 捉え、そこから母集団について推測を行う。 母集団として仮定する分布族を統計モデルと呼ぶ。 基本的に標本の各値は独立同一分布に従うと仮定する。 independently and identically distributed, i.i.d. 無限母集団または復元抽出を仮定 推測とは、推定と検定のこと、と考えておけば良い。 例、平均値の推定、2群間の平均値の差の検定など 8 / 43
9. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 9 / 43
10. 標本平均と標本分散 標本平均 標本分散 (不偏推定の場合) 標本分散 (最尤推定の場合) ¯ X = 1 n n ∑ i=1 Xi s 2 = 1 n − 1 n ∑ i=1 (Xi − ¯ X) 2 s 2 n = 1 n n ∑ i=1 (X i − ¯ X) 2 10 / 43
11. 統計量と標本分布 統計量とは標本 から実数値への写像 自体が確率変数 標本分布とは、統計量が従う分布のこと 統計量が従う 分布 統計量が従う 分布 統計量が従う 分布 標本のデータ点の分布 (経験分布) と混同しないよう注意 X = (X1 , … , Xn ) ∈ X T : X → R T (X) χ2 χ2 t t F F 11 / 43
12. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 12 / 43
13. 仮定 母集団として正規分布を仮定 は母平均、 は母分散 これに対し、標本平均は , 不偏標本分散は X1 , … , Xn i.i.d. ∼ N (μ, σ 2 ) μ σ 2 ¯ X s 2 13 / 43
14. 標本平均の標本分布 正規分布に従う独立な確率変数の和は正規分布に従う。 の平均と分散を計算すれば、以下が分かる。 分散が になる理由 ¯ X ¯ X ∼ N (μ, σ 2 n ) 1/n V [ ¯ X] = V [ X1 + ⋯ + Xn n ] = 1 n2 V [X1 + ⋯ + Xn ] = 1 n2 (V [X1 ] + ⋯ + V [Xn ]) = 1 n2 nσ 2 14 / 43
15. 分布 のとき、 が従う分布を自由度 の 分布と呼ぶ。 はガンマ分布の特殊な場合で、 に相当する 標本分散に関する が に従う。 母分散は一般に未知なので、うまく消して使う。 χ 2 X1 , … , Xk i.i.d. ∼ N (0, 1) χ 2 = X 2 1 + ⋯ + X 2 k k χ 2 χ 2 (k) Ga(k/2, 2) p(y) = χ 2 (k) = yk/2−1 e−y/2 2k/2 Γ(k/2) , y > 0 (n − 1)s 2 /σ 2 χ 2 (n − 1) 15 / 43
16. 自由度が 減る理由 簡単のため , とする。 とし、直交行列 で と変換 直交行列の性質より、 , となるよう の 行目を全て とする となり、また、以下の関係が成り立つ 以上より、実質的に 個の二乗和であることが示せる 1 μ = 0 σ = 1 X = (X1 , … , Xn )T G Y = GX GG T = G T G = I |det G| = 1 Y 1 = √n ¯ X G 1 1/√n Y ∼ N (0, In ) n ∑ i=1 Y 2 i = Y T Y = X T G T GX = X T X = n ∑ i=1 X 2 i n − 1 n ∑ i=1 (Xi − ¯ X) 2 = n ∑ i=1 X 2 i − n ¯ X 2 = n ∑ i=1 Y 2 i − Y 2 1 = n ∑ i=2 Y 2 i 16 / 43
17. 分布 , , のとき、 が従う分布を自由度 の 分布と呼ぶ。 以下の 統計量は自由度 の 分布に従う より、 を近似的に標準化したもの 検定の際は を帰無仮説として仮定して使う。 t U ∼ N (0, 1) V ∼ χ 2 (m) U ⊥ ⊥ V t = U √V /m m t t n − 1 t t = √n( ¯ X − μ) s ¯ X ∼ N (μ, σ 2 /n) ¯ X μ = 0 17 / 43
18. 分布の具体的な形 変数変換を使って計算出来る。 自由度 の 分布の確率密度関数 t m t p(t) = Γ((m + 1)/2) √πm Γ(m/2) (1 + t 2 m ) −(m+1)/2 18 / 43
19. 分布 , , のとき、 が従う分布を自由度 の 分布と呼ぶ。 先ほど が に従うと説明した。 このように を含むものを分母と分子にして使う。 具体的な確率密度関数の形 (ベータ関数が含まれる) F U ∼ χ 2 (l) V ∼ χ 2 (m) U ⊥ ⊥ V F = U /l V /m (l, m) F (n − 1)s 2 /σ 2 χ 2 (n − 1) σ 2 p(y) = l l/2 m m/2 B(l/2, m/2) y l/2−1 (m + ly)(l+m)/2 19 / 43
20. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 20 / 43
21. 非心分布 平均が でない場合の分布を非心分布と呼ぶ。 検出力の計算などで使う。 具体的な確率密度関数は無限級数を含む形で表される。 非心 分布は、 , , のとき、 が従う分布 (自由度 , 非心度 ) 非心 分布は、 が独立のとき が従う分布 (自由度 , 非心度 ) 非心 分布は、 , , のとき、 が従う分布 (自由度 , 非心度 ) 0 t U ⊥ ⊥ V U ∼ N (λ, 1) V ∼ χ 2 (m) t = U /√V /m m λ χ 2 Xi ∼ N (μi , 1), (i = 1, … , m) χ2 = ∑ X 2 i m λ = ∑ μ2 i F U ⊥ ⊥ V U ∼ χ 2 (l, λ) V ∼ χ 2 (m) F = (U /l)/(V /m) (l, m) λ 21 / 43
22. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 22 / 43
23. 母集団が正規分布以外の場合 分布、 分布、 分布は、いずれも母集団として正規分布を 仮定した場合に出てきたもの 母集団が正規分布以外の場合は、同様な標本分布を明示的に計算 出来ないことが多い。 が大きいときは、正規分布近似が使える。 t F χ 2 n 23 / 43
24. 大数の法則 仮定 ある分布 があって、 , が存在 大数の法則 より正確に書くと、標本平均が母平均に確率収束する。 確率収束ということを明示するには のように書く。 F X1 , … , Xn i.i.d. ∼ F E[Xi ] = μ V [Xi ] = σ 2 ¯ X → μ, (n → ∞) ∀ε > 0, lim n→∞ P (| ¯ X − μ| ≥ ε) = 0 ¯ X p → μ 24 / 43
25. 大数の法則の証明の準備 マルコフの不等式 とし、 とする。このとき、 証明は板書 チェビシェフの不等式 とし、 , が存在するとき、 マルコフの不等式に , を代入 X ≥ 0 E[X] < ∞ ∀c > 0, P (X ≥ c) ≤ E[X] c X ∈ R E[X] = μ V [X] = σ2 ∀c > 0, P (|X − μ| ≥ c) ≤ σ2 c2 X ← (X − μ) 2 c ← c 2 25 / 43
26. 大数の法則の証明 チェビシェフの不等式に を代入 ( に注意) で右辺が に収束、証明終 X ← ¯ X V [ ¯ X] = σ 2 /n ∀c > 0, P (| ¯ X − μ| ≥ c) ≤ σ2 nc2 n → ∞ 0 26 / 43
27. 平均以外にも当てはまる 例、分散 独立なものを足して で割る形にすれば良いので、 s 2 p → σ 2 , (n → ∞) n s 2 = 1 n − 1 n ∑ i=1 (Xi − ¯ X) 2 = 1 n − 1 ( n ∑ i=1 X 2 i − n ¯ X 2 ) = n n − 1 ( 1 n n ∑ i=1 X 2 i − ¯ X 2 ) p → 1 × (E[X 2 i ] − μ 2 ) = σ 2 27 / 43
28. 中心極限定理 仮定は大数の法則の場合と同じ が十分大きいとき、標本平均が近似的に正規分布に従う より正確に書くと、標準化した標本平均の累積分布関数が標準正 規分布の累積分布関数 に分布収束する n ¯ X ⋅ ∼ N (μ, σ 2 n ) Φ ∀x, P ( √n( ¯ X − μ) σ ≤ x) → Φ(x), (n → ∞) 28 / 43
29. 分布収束 一般に、確率変数 の累積分布関数 がある連続な累積分布 関数 に分布収束するとは、以下が成り立つこと 分布収束ということを明示するには のように書く を漸近分布または極限分布と呼ぶ Zn Fn F ∀x, lim n→∞ Fn (x) = F (x) Fn d → F F 29 / 43
30. 特性関数の連続定理 中心極限定理の完全な証明は参考書の範囲外だが、ひとまず 以下の定理を正しいと仮定して証明を行う。 特性関数の連続定理 の分布関数をそれぞれ とし、特性関数を とする。 が に分布収束するための必要十分 条件は、各 について以下が成り立つことである。 Xn , X Fn , F ϕn (t), ϕ(t) Fn F t lim n→∞ ϕn (t) → ϕ(t) 30 / 43
31. 中心極限定理の証明 とし、 について考える。 , より、 の特性関数は以下のように テーラー展開出来る ( は、それより速く に収束、を表す) このとき、 の特性関数は これは標準正規分布の特性関数である。証明終 Zi = (Xi − μ)/σ √n ¯ Z E[Zi ] = 0 V [Zi ] = 1 Z o 0 ϕ(t) = 1 − t 2 2 + o(t 2 ) √n ¯ Z = (Z1 + ⋯ Zn )/√n ϕn (t) = ϕ(t/√n) n = (1 − t 2 2n + o ( t 2 n )) n → e −t 2 /2 , (n → ∞) 31 / 43
32. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 32 / 43
33. 二項分布の例 を とみなす。 , より、 が十分大きければ なので 二項分布が正規分布に収束することが確認出来た。 X ∼ Bin(n, p) Y1 , … , Yn i.i.d. ∼ Bin(1, p) E[Yi ] = p V [Yi ] = p(1 − p) n ¯ Y ⋅ ∼ N (p, p(1 − p) n ) X = ∑ n i=1 Yi = n ¯ Y X ⋅ ∼ N (np, np(1 − p)) 33 / 43
34. 統計量の例 統計量 (再掲) より、 が十分大きければ、たとえ母集団が正規分布では 無かったとしても 分布が正規分布に収束することが確認出来た。 t t t = √n( ¯ X − μ) s s p → σ n t ⋅ ∼ N (0, 1) t 34 / 43
35. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 35 / 43
36. 順序統計量 とする。 これらを小さい順に並べたとき、 番目の値を第 順序統計量と 呼ぶことにする。 最大値 (第 順序統計量) の標本分布 最小値 (第 順序統計量) の標本分布 X1 , … , Xn i.i.d. ∼ F i i n P (max i Xi ≤ x) = F (x) n 1 P (min i Xi ≤ x) = 1 − (1 − F (x)) n 36 / 43
37. 経験分布 標本のデータ点の分布を経験分布と呼ぶ。 例えば、実現値が だった場合、経験分布の 確率質量関数は 経験分布から改めて標本を抽出することを、標本からのリサンプ リング (再抽出) と呼ぶ。 標本からのリサンプリングを復元抽出で繰り返し行い、それに 基づいて統計的推測をすることをブートストラップ法と呼ぶ。 {1, 2, 2, 3, 3, 3, 3} p(1) = 1 7 , p(2) = 2 7 , p(3) = 4 7 37 / 43
38. Outline 1. 母集団と標本 2. 統計量と標本分布 3. 正規分布のもとでの標本分布論 4. 非心分布論 5. 確率論のいくつかの基本的な極限定理 6. 標本平均の分布の漸近理論 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 38 / 43
39. 有限母集団からの非復元抽出 母集団の大きさを とし、平均 , 分散 とする。 点を非復元抽出した場合の標本平均の期待値と分散 を有限修正と呼ぶ。 N μ σ 2 n E[ ¯ X] = μ V [ ¯ X] = N − n N − 1 σ 2 n (N − n)/(N − 1) 39 / 43
40. まとめ (前半) 主な統計量と標本分布の意味を説明しました。 1. 母集団と標本 2. 統計量と標本分布 ! 標本平均と標本分散の式を書ける? 3. 正規分布のもとでの標本分布論 ! 分布、 分布、 分布の意味を説明できる? 4. 非心分布論 χ 2 t F 40 / 43
41. まとめ (後半) 主な統計量と標本分布の意味を説明しました。 5. 確率論のいくつかの基本的な極限定理 ! 大数の法則と中心極限定理の式の意味を説明できる? 6. 標本平均の分布の漸近理論 ! 正規分布近似が使える条件を説明できる? 7. 順序統計量と経験分布関数 8. 有限母集団からの非復元抽出 41 / 43
42. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 42 / 43
43. 次回の予習用キーワード 平均二乗誤差 ミニマックス法 43 / 43