oku-slide-stat2-2

数理統計学特論II
第2回 検定論
奥 牧人 (未病研究センター)
2022/06/22
2023/06/21
2024/06/19

Transcript

1. 数理統計学特論II 第2回 検定論 奥 牧人 (未病研究センター) 2024/06/19 1 / 39
2. 前回の復習 前回は数学の基本用語や記法を改めて説明しました。 と 十分条件 必要条件 対偶 合成関数の微分 逆行列 固有値と固有ベクトル 対角化 etc. ∀ ∃ 2 / 39
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 39
4. 今回の目的と達成目標 目的 検定の「良さ」に関する用語と概念を理解すること 達成目標 検出力の意味を説明できる。 ネイマン・ピアソンの補題の意味を説明できる。 一様最強力検定の意味を説明できる。 不偏検定の意味を説明できる。 尤度比検定の意味を説明できる。 4 / 39
5. 予習用キーワードの確認 帰無仮説 有意水準 検出力 5 / 39
6. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 6 / 39
7. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 7 / 39
8. 帰無仮説と対立仮説 例、母集団の平均 が かどうかの検定 を帰無仮説、 を対立仮説と呼ぶ より一般に、母数を とし、母数空間を , として次のように書く 上の例でいうと、 , 集合が 点のみから成るものを単純仮説、そうでないものを 複合仮説と呼ぶ 検定に関係ない未知母数を局外母数または撹乱母数と呼ぶ μ 0 H0 : μ = 0 vs. H1 : μ ≠ 0 H0 H1 θ Θ = Θ0 ∪ Θ1 Θ0 ∩ Θ1 = ∅ H0 : θ ∈ Θ0 vs. H1 : θ ∈ Θ1 Θ0 = {0} Θ1 = R ∖ {0} 1 8 / 39
9. 片側検定と両側検定 片側検定 または 両側検定 H0 : θ ≤ θ0 vs. H1 : θ > θ0 H0 : θ ≥ θ0 vs. H1 : θ < θ0 H0 : θ = θ0 vs. H1 : θ ≠ θ0 9 / 39
10. 第 種の過誤と第 種の過誤 決定理論における決定を とする 帰無仮説の受容を 、棄却を とおく 損失関数は、決定が正しければ 、間違っていれば とする (第 種の過誤) (第 種の過誤) 以降では第 種の過誤の確率が 以下という条件下で、第 種 の過誤の確率が最も小さい検定を良い検定とみなす 1 2 d ∈ {0, 1} d = 0 d = 1 0 1 d = 0 d = 1 H 0 : θ ∈ Θ 0 0 1 1 H 1 : θ ∈ Θ 1 1 2 0 1 α 2 10 / 39
11. 片方のみではダメな理由 第 種の過誤のみで考えた場合 標本と関係なく常に とするのが最適となってしまう 第 種の過誤のみで考えた場合 標本と関係なく常に とするのが最適となってしまう 1 d = 0 2 d = 1 11 / 39
12. 注意 帰無仮説の「受容」と書いたが、通常は のとき帰無仮説が 正しいと主張してはいけない。 なぜなら、通常は第 種の過誤を抑えるために有意水準 を 小さい値にするので、第 種の過誤の確率が大きいからである。 「有意ではない」は OK d = 0 1 α 2 12 / 39
13. 検定統計量と棄却点 検定論では決定関数 のことを検定関数と呼ぶ は以下のような形になっている場合が多い のことを検定統計量、 を棄却点または棄却限界と呼ぶ これを以下のように略記する場合がある さらに -値を使って次のようにも書ける (以降では使わない) δ(X) δ(X) δ(X) = { 0 if T (X) ≤ c 1 if T (X) > c T (X) c T (X) > c ⇒ reject p p-value ≤ α ⇒ reject 13 / 39
14. 検出力 検出力関数 (通常使う とは逆なので注意) 検定関数を明示する場合は のように書く リスク関数 有意水準が の検定 を検定のサイズと呼ぶ β β(θ) = E[δ(X)] = P (δ(X) = 1) βδ (θ) R(θ, δ) = { β(θ) if θ ∈ Θ0 1 − β(θ) if θ ∈ Θ1 α β(θ) ≤ α, ∀θ ∈ Θ0 maxθ∈Θ 0 β(θ) 14 / 39
15. 注意 通常は とし、 を検出力と呼ぶ ここでは とおき、 を検出力と呼ぶ P (δ(X) = 0 ∣ H1 ) = β 1 − β P (δ(X) = 1) = β(θ) β(θ) 15 / 39
16. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 16 / 39
17. 問題設定 , がともに単純仮説とする 有意水準 の検定 が最強力検定であるとは、任意の有意水準 の検定 に対して以下が成り立つこと ( は複合でも良い) 尤度比 ここで は確率質量関数または確率密度関数 H0 H1 H0 : θ = θ0 vs. H1 : θ = θ1 α δ ∗ α δ H0 βδ∗ (θ1 ) ≥ βδ (θ1 ) L = f(x, θ1 ) f(x, θ0 ) f(x, θ) 17 / 39
18. ネイマン・ピアソンの補題 単純仮説の場合は尤度比に基づく検定が最も良いという補題 次の形で表されるサイズ の検定関数は、有意水準 の検定の 中で最強力検定である ここで , とし、 では確率 で とする α α δ(x) = ⎧ ⎨ ⎩ 1 if L > c r if L = c 0 if L < c c ≥ 0 r ∈ [0, 1] d = r r 1 18 / 39
19. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 19 / 39
20. リスクセットの考え方 リスク点: の値ごとのリスクを各座標値とみなした点 リスクセット: 様々な に関するリスク点の集合 有意水準 の最強力検定は下図の点 θ (R0 , R1 ) = (R(δ, θ0 ), R(δ, θ1 )) δ α M 20 / 39
21. ネイマン・ピアソンの補題との関係 点 を通る接線を とおく 傾き を固定したとき、切片 は実現可能な範囲で最小 M R1 = −cR0 + a c a a = min δ {R1 + cR0 } 21 / 39
22. ネイマン・ピアソンの補題との関係 一方、 を計算すると これを最小化する は、積分の中身を最大化するので となり、確かに尤度比に基づく検定となっている。 R1 + cR0 R1 + cR0 = P (d = 0 ∣ θ = θ1 ) + cP (d = 1 ∣ θ = θ0 ) = ∫ (1 − δ(x))f(x, θ1 )dx + c ∫ δ(x)f(x, θ0 )dx = 1 − ∫ δ(x)(f(x, θ1 ) − cf(x, θ0 ))dx δ(x) δ(x) = { 1 if f(x, θ1 ) − cf(x, θ0 ) > 0 0 if f(x, θ1 ) − cf(x, θ0 ) < 0 22 / 39
23. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 23 / 39
24. 一様最強力検定 一般の場合 一様最強力検定 (Uniformly Most Powerful test, UMP 検定) 有意水準 の検定 が UMP 検定であるとは、任意の有意 水準 の検定 に対して以下が成り立つこと 常に存在するとは限らない H0 : θ ∈ Θ0 vs. H1 : θ ∈ Θ1 α δ ∗ α δ βδ∗ (θ) ≥ βδ (θ), ∀θ ∈ Θ1 24 / 39
25. 単調尤度比 ある統計量 を用いて尤度比が と書け、任意の に対して が の単調増加関数で あるとき、 は に関して単調尤度比を持つという T (x) L = f(x, θ1 ) f(x, θ0 ) = g(T (x), θ0 , θ1 ) θ0 < θ1 g T (x) f(x, θ) T (x) 25 / 39
26. 例 母数が 次元の指数型分布族 ( は自然母数) 例、ポアソン分布、分散のみ未知の正規分布など 尤度比 これは のとき の単調増加関数 1 ψ f(x, ψ) = h(x) exp (ψT (x) − c(ψ)) f(x, ψ1 ) f(x, ψ0 ) = exp ((ψ1 − ψ0 )T (x) − (c(ψ1 ) − c(ψ0 ))) ψ 0 < ψ 1 T (x) 26 / 39
27. UMP 検定の十分条件 条件 が一次元 が に関して単調尤度比を持つ 片側検定 このとき任意の に対して , が 存在し、次の形の検定関数が有意水準 の UMP 検定となる θ f(x, θ) T (x) H0 : θ ≤ θ0 vs. H1 : θ > θ0 α ∈ [0, 1] c ∈ (−∞, ∞) r ∈ [0, 1] α δ(x) = ⎧ ⎨ ⎩ 1 if T (x) > c r if T (x) = c 0 if T (x) < c 27 / 39
28. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 28 / 39
29. 不偏検定 両側検定の場合、一様最強力検定 (UMP 検定) は存在しない。 不偏検定 一様最強力不偏検定 (Uniformly Most Powerful Unbiased test, UMPU 検定) を有意水準 の不偏検定とする。 任意の に関して以下が成り立つとき、 は UMPU 検定 β(θ) ≤ α, ∀θ ∈ Θ0 β(θ) ≥ α, ∀θ ∈ Θ1 δ, δ ∗ α δ δ ∗ βδ∗ (θ) ≥ βδ (θ), ∀θ ∈ Θ1 29 / 39
30. 位置母数の場合 分布を右に少しずらすと、右の面積が増え、左は減る。 これは棄却域を左にずらすのと同じ 30 / 39
31. 位置母数の場合、続き 棄却域が左右対称なら、増える分は減る分より大きい 左右対称でないと、検出力が より減ってしまう場合がある α 31 / 39
32. Outline 1. 検定論の枠組み 2. 最強力検定とネイマン・ピアソンの補題 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 5. 不偏検定 6. 尤度比検定 32 / 39
33. 尤度比検定 UMP 検定や UMPU 検定が存在しない場合にも使える方法 尤度関数 尤度比 尤度比検定 fn (x, θ) = n ∏ i=1 f(xi , θ) L = max θ∈Θ 1 fn (x, θ) max θ∈Θ 0 fn (x, θ) L > c ⇒ reject 33 / 39
34. 例 とし、 は未知の局外母数として、 以下の検定問題を考える のもとでの最尤推定量は のもとでの最尤推定量は , 連続値なので となるため は無視 これらを代入して整理すると、尤度比は X1 , … , Xn i.i.d. ∼ N (μ, σ2 ) σ2 H0 : μ = 0 vs. H1 : μ ≠ 0 H0 ^ σ 2 0 = ∑ x 2 i /n H1 ^ μ1 = ¯ x ^ σ 2 1 = ∑(xi − ¯ x) 2 /n P ( ^ μ1 = 0) = 0 μ ≠ 0 L = ( ∑ n i=1 x 2 i ∑ n i=1 (xi − ¯ x)2 ) n/2 34 / 39
35. 例、続き ここで を用いると (参考) 統計量 は の単調増加関数なので、この場合は両側 検定と尤度比 検定が等価になることが示された ∑ x 2 i = ∑(xi − ¯ x) 2 + n¯ x 2 L 2/n = 1 + n¯ x 2 ∑ n i=1 (xi − ¯ x)2 = 1 + 1 n − 1 t 2 t t = √n(¯ x − μ) s L t 2 t t 2 > t α/2 (n − 1) 2 ⇒ reject 35 / 39
36. 漸近分布 帰無仮説では値が固定され、対立仮説では自由に動けるパラメー タの数を とすると、帰無仮説のもとで 従って、 が大きい場合は、 分布の上側 点を使って とすれば、近似的に有意水準 の検定となる p 2 log L d → χ 2 (p) n χ 2 α 2 log L > χ 2 α (p) ⇒ reject α 36 / 39
37. まとめ 検定の「良さ」に関する用語と概念を説明しました。 1. 検定論の枠組み ! 検出力の意味を説明できる? 2. 最強力検定とネイマン・ピアソンの補題 ! ネイマン・ピアソンの補題の意味を説明できる? 3. リスクセットの考え方とネイマン・ピアソンの補題 4. 単調尤度比と一様最強力検定 ! 一様最強力検定の意味を説明できる? 5. 不偏検定 ! 不偏検定の意味を説明できる? 6. 尤度比検定 ! 尤度比検定の意味を説明できる? 37 / 39
38. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 38 / 39
39. 次回の予習用キーワード %信頼区間 分布 95 t 39 / 39