oku-slide-stat2-6

数理統計学特論II
第6回 ノンパラメトリック法
奥 牧人 (未病研究センター)
2022/07/20
2023/07/26
2024/07/24

Transcript

1. 数理統計学特論II 第6回 ノンパラメトリック法 奥 牧人 (未病研究センター) 2024/07/24 1 / 38
2. 前回の復習 前回の目的 回帰分析と分散分析を統一的に扱う理論的枠組みを理解すること 前回の達成目標 単回帰モデルと重回帰モデルの意味を説明できる。 一元配置分散分析の線形モデルとしての解釈を説明できる。 正規線形モデルの正準形の意味を説明できる。 正準形に基づく回帰分析と分散分析の解釈を説明できる。 2 / 38
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 38
4. 今回の目的と達成目標 目的 ノンパラメトリック検定の基本的な用語を理解すること 達成目標 ノンパラメトリック検定の意味を説明できる。 ウィルコクソンの符号順位検定の意味を説明できる。 マン・ホイットニーの 検定の意味を説明できる。 漸近相対効率の意味を説明できる。 U 4 / 38
5. 予習用キーワードの確認 マン・ホイットニーの 検定 U 5 / 38
6. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 6 / 38
7. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 7 / 38
8. ノンパラメトリック法 正規分布はパラメータ と で形が決まる。 母集団分布として正規分布などの特定の分布形を仮定できない とき、ノンパラメトリック法を使う。 例、極端な外れ値が含まれる場合など ノンパラメトリック検定では、母集団分布の形によらず有意水準 が保証される。 一方、母集団分布が正規分布のときは、ノンパラメトリック検定 は正規分布用の検定よりも検出力が低い。 μ σ 2 8 / 38
9. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 9 / 38
10. 問題設定 標本問題: 累積分布関数 は連続とし、 となる全ての に おいて と仮定する。 このとき となる中央値 が一意に定まる。 両側検定 片側検定 1 X1 , … , Xn i.i.d. ∼ F F 0 < F (x) < 1 x f(x) = F ′ (x) > 0 F (ξ) = 1/2 ξ H0 : ξ = ξ0 vs. H1 : ξ ≠ ξ0 H0 : ξ ≤ ξ0 vs. H1 : ξ > ξ0 10 / 38
11. 符号検定 実用的でない検定だが、説明のために紹介 のうち 以上の個数を とする。 のもとで のはずなので、両側検定は 片側検定も同様 符号検定という名前の由来 ( が無い場合) X1 , … , Xn ξ0 T H0 T ∼ Bin(n, 1/2) T − n 2 > c ⇒ reject Xi = ξ0 n ∑ i=1 sign(Xi − ξ0 ) = 2T − n 11 / 38
12. ウィルコクソンの符号順位検定 が に関して対称な分布であると仮定する。 対称とは限らない に従う対応あり 標本問題の差の検定 を 標本問題に帰着させる場合は成立 とする。 が全て異なるとして、小さい順に並べ から までの順位をつけたときの の順位を とおく。 変数 を、 のとき , のとき とする。 検定統計量 F 0 F ′ 2 1 ξ0 = 0 |X1 |, … , |Xn | 1 n Xi Ri εi Xi > 0 1 Xi ≤ 0 0 W = n ∑ i=1 εi Ri 12 / 38
13. 例 標本 絶対値を取り、小さい順に並べる 順位を割り当てる の符号が正のもののみの順位を足す (x1 , x2 , x3 ) = (−2.5, 4.1, 0.5) |0.5| < | − 2.5| < |4.1| (R 1 , R 2 , R 3 ) = (2, 3, 1) xi W = R2 + R3 = 4 13 / 38
14. 検定統計量 の標本分布 を固定したとき、 この条件下で の分布は以下の の分布と同じ これが に依存しないので、条件つきでない の 分布も同じ が小さいときは の全パターンを計算すれば良い。 が大きいときは正規分布近似を用いる W |X1 |, … , |Xn | ε1 , … , εn i.i.d. ∼ Bin(1, 1/2) W ~ W ~ W = n ∑ i=1 iεi |X1 |, … , |Xn | W n {0, 1} n n W ⋅ ∼ N ( n(n + 1) 4 , n(n + 1)(2n + 1) 24 ) 14 / 38
15. の平均と分散の計算 公式 平均 分散 W n ∑ k=1 k = n(n + 1) 2 , n ∑ k=1 k 2 = n(n + 1)(2n + 1) 6 E[W ] = n ∑ i=1 i 2 = n(n + 1) 4 V [W ] = n ∑ i=1 V [iεi ] = n ∑ i=1 i 2 4 = n(n + 1)(2n + 1) 24 15 / 38
16. 対応あり 標本問題からの帰着 帰無仮説において とする。 は対称とは限らない。 とおくと、 と は同じ分布 従って、 の分布は対称となり、ウィルコクソンの符号順位検定 が適用出来る。 2 X, Y ∼ F ′ F ′ Z = Y − X Z −Z = X − Y Z 16 / 38
17. ノンパラメトリック検定の呼び名 標本 ウィルコクソンの符号順位検定 ウィルコクソン検定 ウィルコクソンの符号順位和検定 標本 (対応なし) マン・ホイットニーの 検定 ウィルコクソン・マン・ホイットニー検定 ウィルコクソンの順位和検定 1 2 U 17 / 38
18. マン・ホイットニーの 検定 対応のない 標本問題 (分布の形は同じだと仮定) 両側検定問題 (片側検定も同様) , の各値を並べたもの 検定統計量 ( の順位を とした) U 2 X1 , … , Xm i.i.d. ∼ F (x), Y1 , … , Yn i.i.d. ∼ F (y − Δ) H0 : Δ = 0 vs. H1 : Δ ≠ 0 X Y (Z1 , … , Zm+n ) = (Y1 , … , Yn , X1 , … , Xm ) Zi Ri W = n ∑ i=1 R i 18 / 38
19. 例 標本 両方混ぜて小さい順に並べる 順位を割り当てる に関する順位のみを足す (x1 , x2 , x3 ) = (0.5, 1.2, 2.5), (y1 , y2 ) = (1.0, 2.1) 0.5 < 1.0 < 1.2 < 2.1 < 2.5 (R 1 , R 2 , R 3 , R 4 , R 5 ) = (2, 4, 1, 3, 5) y W = R 1 + R 2 = 6 19 / 38
20. 検定統計量 の標本分布 個の中から 個を選ぶ組み合わせの数 帰無仮説のもとではどのパターンも同様に確からしい。 が小さいときは全パターンを計算すれば良い。 が大きいときは正規分布近似を用いる W m + n n ( ) n + m n m + n m + n W ⋅ ∼ N ( n(m + n + 1) 2 , mn(m + n + 1) 12 ) 20 / 38
21. 非復元抽出と有限修正 一般に、平均 、分散 、サイズ の母集団から 個を非復 元抽出したとき、標本平均 について以下が成り立つ 分散の係数 を有限修正という。 これを当てはめると、母集団は なので、 とおくと μ σ 2 N n ¯ X E[ ¯ X] = μ, V [ ¯ X] = N − n N − 1 σ 2 n (N − n)/(N − 1) {1, … , m + n} N = m + n μ = 1 N N ∑ i=1 i = N + 1 2 , σ 2 = 1 N N ∑ i=1 i 2 − μ 2 = N 2 − 1 12 21 / 38
22. 検定統計量 の平均と分散 平均 分散 W E[W ] = E[n ¯ X] = n N + 1 2 = n(m + n + 1) 2 V [W ] = V [n ¯ X] = n 2 V [ ¯ X] = n 2 N − n N − 1 N 2 − 1 12n = mn(m + n + 1) 12 22 / 38
23. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 23 / 38
24. タイのある場合 観測値に同じ値があるとき、タイ (tie) があるという。 中間順位を使うことが多い。 例えば、 という観測値に対して、順位を で はなく とする。 式で書くと次のようになる ここで は定義関数 (指示関数) (10, 10, 30) (1, 2, 3) (1.5, 1.5, 3) R i = 1 2 + n ∑ j=1 (I [x j <x i ] + 1 2 I [x j =x i ] ) I IA = { 1 if A 0 otherwise 24 / 38
25. タイのある場合の検定 順位が与えられた条件つきの の分布を用いて検定を行う。 ウィルコクソンの符号順位検定の検定統計量 (再掲) 条件付き平均 条件付き分散 (タイの無い場合と一致しない) W W = n ∑ i=1 εi Ri E[W ∣ R1 , … , Rn ] = 1 2 n ∑ i=1 Ri = n(n + 1) 4 V [W ∣ R 1 , … , R n ] = 1 4 n ∑ i=1 R 2 i 25 / 38
26. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 26 / 38
27. 標本問題の区間推定 ウィルコクソンの符号順位検定と対応する。 補助的な変数を導入 を小さい順に並べたときの 番目を とする。 中央値 の信頼区間 が長さ のときの値をホッジス・レーマン推定量という 1 Uij = X i + X j 2 , 1 ≤ i ≤ j ≤ n Uij k Vk ξ S(X) = [V n(n+1)/4−c , V n(n+1)/4+c+1 ] S(X) 0 ^ ξ = medi≤j Uij 27 / 38
28. 標本問題の区間推定 マン・ホイットニーの 検定と対応する。 補助的な変数を導入 を小さい順に並べたときの 番目を とする。 分布の差 の信頼区間 2 U U ij = Y j − X i , i = 1, … , m, j = 1, … , n Uij k Vk Δ S(X) = [Vc , Vmn−c+1 ] 28 / 38
29. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 29 / 38
30. 並べかえ検定 標本問題を例に説明する。標本サイズは , とする。 個の観測値を固定し、そこから 個を選び、任意の統計 量 の値を計算する。 これを 通りの全てまたはランダムに選んだ一部に対し て行い の分布を求める。これを の並べかえ分布という。 の並べかえ分布に基づいて検定を行う。 2 m n m + n n T ( ) n + m n T T T 30 / 38
31. Outline 1. ノンパラメトリック法の考え方 2. ノンパラメトリック検定 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 31 / 38
32. 漸近相対効率 母集団が正規分布のとき、ノンパラメトリクック検定は正規分布 用の検定よりも検出力が低い。 同じ検出力を得るために、より多くの標本を必要とする。 漸近的に 倍必要なとき、その逆数 を漸近相対効率という。 c 1/c 32 / 38
33. 問題設定の例 を に関して対称な連続分布の累積分布関数とする。 とする。 は対称の中心である。 分散 は既知とし、一般性を失わず とする。 帰無仮説 隣接対立仮説 ( ) F 0 X1 , … , Xn i.i.d. ∼ F (x − ξ) ξ σ 2 σ 2 = 1 H0 : ξ = ξ0 τ > 0 H (n) 1 : ξ = ξ 1,n = ξ 0 + τ √n 33 / 38
34. 標本平均の場合 とおく。 中心極限定理より、漸近的に有意水準 の検定は 一方、隣接対立仮説 のもとでは の検出力 ( はガウスの誤差関数) Tn = ¯ X α √n(Tn − ξ0 ) > zα ⇒ reject H (n) 1 √n(Tn − ξ0 ) = √n(Tn − ξ1,n + ξ1,n − ξ0 ) = √n(Tn − ξ1,n ) + τ d → N (τ , 1) n → ∞ Φ 1 − Φ(zα − τ ) 34 / 38
35. 漸近相対効率の定義と例 前述の隣接対立仮説のもとで、統計量 を用いた検定と統計量 ( ) を用いた検定の検出力が で等しくなるよ うに を決めたとき、 を に対する の漸近相対効率と する。 例、 に対する漸近相対効率 符号検定 ウィルコクソンの符号順位検定 ただし は自由度 の 分布 Tn Sm m = cn n → ∞ c 1/c Tn Sn ¯ X N (0, 1) t(5) t(3) 0.637 0.96 1.62 0.955 1.24 1.90 t(k) k t 35 / 38
36. まとめ ノンパラメトリック検定の基本的な用語を説明しました。 1. ノンパラメトリック法の考え方 ! ノンパラメトリック検定の意味を説明できる? 2. ノンパラメトリック検定 ! ウィルコクソンの符号順位検定の意味を説明できる? ! マン・ホイットニーの 検定の意味を説明できる? 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 ! 漸近相対効率の意味を説明できる? U 36 / 38
37. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 37 / 38
38. 次回の予習用キーワード 最尤推定量 尤度比検定 大数の法則 中心極限定理 38 / 38