oku-slide-stat2-5

数理統計学特論II 第5回線形モデル奥牧人 (未病研究センター) 2024/07/10 1 / 46

前回の復習前回の目的代表的な推定と検定を最適性の観点から整理すること前回の達成目標最適性が保証されている推定や検定を複数あげられる。最適性が保証されていない推定や検定をあげられる。通常使われるが最適ではない推定や検定をあげられる。一元配置分散分析の意味を説明できる。分割表の検定の意味を説明できる。 2
/ 46

今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5.
統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法確率と統計の基礎良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明回帰分析と分散分析を統⼀的に理解常⽤される⼿法を改めて整理ベイズ統計を簡単に紹介ノンパラを簡単に紹介 3 / 46

今回の目的と達成目標目的回帰分析と分散分析を統一的に扱う理論的枠組みを理解すること達成目標単回帰モデルと重回帰モデルの意味を説明できる。一元配置分散分析の線形モデルとしての解釈を説明できる。正規線形モデルの正準形の意味を説明できる。正準形に基づく回帰分析と分散分析の解釈を説明できる。 4 /
46

予習用キーワードの確認線形部分空間直交行列基底 5 / 46

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5.
線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 6 / 46

単回帰モデル組の観測値について以下を仮定ここでと仮定例、バネの先につけた分銅の重さとバネの長さの測定値は説明変数、独立変数などと呼ばれる。は被説明変数、従属変数、目的変数などと呼ばれる。通常、回帰分析では、
は確率変数ではなく固定値とみなす。 n (x1 , y1 ), … , (xn , yn ) yi = β0 + β1 xi + εi , i = 1, … , n ε1 , … , εn i.i.d. ∼ N (0, σ 2 ) x y x y x 8 / 46

単回帰モデル、続き誤差の二乗和を最小化する , の値は (参考) 相関係数直線を回帰直線という。 ∑
n i=1 ε 2 i β0 β1 ^ β1 = ∑ n i=1 (xi − ¯ x)(yi − ¯ y) ∑ n i=1 (xi − ¯ x)2 , ^ β0 = ¯ y − ^ β1 ¯ x r = ∑ n i=1 (xi − ¯ x)(yi − ¯ y) √∑ n i=1 (xi − ¯ x)2√∑ n i=1 (yi − ¯ y)2 y = ^ β0 + ^ β1 x 9 / 46

重回帰モデル説明変数が次元 ( ) の場合、重回帰モデルという誤差についての仮定は単回帰の場合と同じ行列とベクトルを使って表記上の式を次のように書くことにする (
を計画行列という) p p ≥ 2 yi = β0 + β1 xi1 + ⋯ + βp xip + εi , i = 1, … , n = + ⎛ ⎝ y1 ⋮ yn ⎞ ⎠ ⎛ ⎝ 1 x11 ⋯ x1p ⋮ ⋮ ⋱ ⋮ 1 xn1 ⋯ xnp ⎞ ⎠ ⎛ ⎝ β0 ⋮ βp ⎞ ⎠ ⎛ ⎝ ε1 ⋮ εn ⎞ ⎠ X y = Xβ + ε 10 / 46

重回帰モデルの推定重回帰モデルの式 (再掲) 誤差の二乗和を最小化するは、の各列が一次独立の場合に一意に定まるの予測値と残差
は次のように書ける行列の解釈は後述 y = Xβ + ε ∑ n i=1 ε2 i = εT ε β X ^ β = (X T X) −1 X T y y ^ y = X ^ β e = y − ^ y ^ y = PX y e = (I − PX )y PX = X(X T X) −1 X T PX 12 / 46

の導出誤差の二乗和に関する勾配がベクトルのとき一般に , ( は対称) 従って以下が成り立つ。が存在すれば
が定まる。 ^ β ε T ε = (y − Xβ) T (y − Xβ) = y T y − β T X T y − y T Xβ + β T X T Xβ = y T y − 2β T X T y + β T X T Xβ β 0 ∇β (ε T ε) = −2X T y + 2X T Xβ = 0 ∇x (x T c) = c ∇x (x T Ax) = 2Ax A (X T X) −1 ^ β X T Xβ = X T y 13 / 46

重回帰モデルの推定、続きを「次元の点が個ある」ではなく「次元の点が個ある」とみなし、確率変数の実現値と考えると、と書ける。前述のとおりは値が固定された行列である。
の最小二乗推定量は UMVU かつ MLE の点推定の MLE はの点推定の UMVU は y 1 n n 1 Y Y ∼ N (Xβ, σ 2 I) X β ^ β σ 2 e T e/n σ 2 e T e/(n − p − 1) 14 / 46

1元配置分散分析と線形モデル対応のない標本総数を一列に並べる同様に、各を個ずつ並べるとみなす。 k
Yij ∼ N (μi , σ 2 ), i = 1, … , k, j = 1, … , ni n = ∑ k i=1 ni Yij Y = (Y11 , Y12 , … , Y1n 1 , Y21 , … , Ykn k ) T μi ni μ = (μ1 , … , μ1 n 1 , μ2 , … , μ2 n 2 , … , μk ) T       Y ∼ N (μ, σ 2 I) 16 / 46

1元配置分散分析と線形モデル、続き一方、各を個ずつ並べたものをとすると、次のように書けるここではの行列で、次の例のような形 μi
1 β = (μ1 , … , μk ) μ = Xβ X n × k = ⎛ ⎝ μ1 μ1 μ2 μ2 μ3 μ3 ⎞ ⎠ ⎛ ⎝ 1 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1 ⎞ ⎠ ⎛ ⎝ μ1 μ2 μ3 ⎞ ⎠ 17 / 46

1元配置分散分析と線形モデル、続き 1元配置分散分析モデルも重回帰モデルと同じ形に書けるの点推定の UMVU かつ MLE は分散分析モデルではの形に表すことがある。は一般平均、
は主効果という。このままでは値が一意に定まらない。母数のムダという。としたとき、対応する計画行列の各列は一次独立にならない。 Y ∼ N (Xβ, σ 2 I) β ^ β = ( ¯ Y1 , … , ¯ Yk ) T μi = μ0 + αi , i = 1, … , k μ0 αi ~ β = (μ0 , α1 , … , αk ) T ~ X 18 / 46

1元配置分散分析の復習帰無仮説群間平方和と群内平方和 ( は全平均) 検定 H0 : μ1 =
⋯ = μk ¯ ¯ Y WH = k ∑ i=1 ( ¯ Yi − ¯ ¯ Y ) 2 , WE = k ∑ i=1 n i ∑ j=1 (Yij − ¯ Yi ) 2 F = WH /(k − 1) WE /(n − k) > Fα (k − 1, n − k) ⇒ reject 19 / 46

2元配置分散分析分散分析では「要因」と「水準」という用語を用いる。下の図で、とが要因、 , などが水準である。 B1 B2 B3
A1 A2 2つの要因を , とし、それぞれの水準数を , とする。 2元配置分散分析モデル A B A1 A2 {Y11k } {Y12k } {Y13k } {Y21k } {Y22k } {Y23k } A B a b Yijk ∼ N (μij , σ 2 ), i = 1, … , a; j = 1, … , b; k = 1, … , nij 21 / 46

2元配置分散分析、続き 2元配置分散分析の場合も線形モデルの形に書き直すことが出来る。 2元配置分散分析では通常を次のように表す。は一般平均は要因の水準の主効果
は要因の水準の主効果はそれらの交互作用母数のムダがあるので、などの制約条件を加える。 Y ∼ N (Xβ, σ 2 I) μij μ ij = μ 0 + α i + β j + γ ij μ0 αi A i βj B j γij ∑ i αi = 0 22 / 46

2元配置分散分析の検定主な帰無仮説簡単のためを仮定の平均と、その行毎、列毎、全体の平均 HA : α1 = ⋯
= αa = 0 HB : β1 = ⋯ = βb = 0 HAB : γ11 = ⋯ = γab = 0 nij = r > 1 (i, j) ¯ Yij = 1 r r ∑ k=1 Yijk ¯ Yi∙ = 1 b ∑ j ¯ Yij , ¯ Y∙j = 1 a ∑ i ¯ Yij , ¯ ¯ Y = 1 ab ∑ i,j ¯ Yij 23 / 46

平方和の分解平方和の分解 WT = ∑ i,j,k (Yijk − ¯ ¯
Y ) 2 = WA + WB + WAB + WE WA = br ∑ i ( ¯ Yi∙ − ¯ ¯ Y ) 2 WB = ar ∑ j ( ¯ Y∙j − ¯ ¯ Y ) 2 WAB = r ∑ i,j ( ¯ Yij − ¯ Yi∙ − ¯ Y∙j + ¯ ¯ Y ) 2 WE = ∑ i,j,k (Yijk − ¯ Yij ) 2 24 / 46

分散分析表平方和自由度 Aの主効果 Bの主効果 ABの交互作用誤差計 WA a
− 1 WB b − 1 WAB (a − 1)(b − 1) WE ab(r − 1) WT abr − 1 25 / 46

2元配置分散分析の検定の例例、交互作用に対する仮説の検定 (参考) 1元配置分散分析 HAB F = WAB /((a
− 1)(b − 1)) WE /(ab(r − 1)) > Fα ((a − 1)(b − 1), ab(r − 1)) ⇒ reject F = WH /(k − 1) WE /(n − k) > Fα (k − 1, n − k) ⇒ reject 26 / 46

正規線形モデル回帰モデルも分散分析モデルも以下の形にできる (再掲) に対し、平均の動ける範囲が限定されている。一般に、を次元の既知の線形部分空間として、以下の形で表されるモデルを正規線形モデルというここから先は行列と区別するために確率変数も小文字で表す。
Y ∼ N (Xβ, σ 2 I) Y ∈ Rn Xβ M ⊂ R n p Y ∼ N (μ, σ 2 I), μ ∈ M 28 / 46

正準形正規線形モデルは、適当な直交行列を用いてと変換することにより、以下の正準形で表すことができる。ここでは全て互いに独立 G z =
G T y zi ∼ N (ηi , σ 2 ), i = 1, … , p zi ∼ N (0, σ 2 ), i = p + 1, … , n zi 29 / 46

確認の適当な正規直交基底をとする。の直交補空間も同様にとする。これらの縦ベクトルを横に並べた行列を , とし、とすると、
は直交行列直交行列の性質よりなので、ここで , より、改めてとおくと、で、の列はの正規直交基底より、の各要素は自由に動ける。 M {g1 , … , gp } M M ⊥ {gp+1 , … , gn } G1 G2 G = (G1 , G2 ) G |det G| = 1 z ∼ N ( ~ η, σ 2 I), ~ η = G T μ, μ ∈ M g T i μ = 0 i = p + 1, … , n ~ η = (η1 , … , ηp , 0, … , 0) η = (η1 , … , ηp ) μ = G ~ η = G1 η G1 M η 30 / 46

回帰モデルの解釈二乗誤差の最小化はとして図で表すと M (p-dim.) y ŷ e
O Rn ∥ε∥ 2 = ∥y − Xβ∥ 2 μ = Xβ min μ∈M ∥y − μ∥ 2 31 / 46

二乗誤差の最小化で正準形に変換し、の列数を改めてとおくと右辺を最小化するのは , のときこのときのを計算 (
, を使う) ここではからへの射影を表す。 z = G T y X p ∥y − μ∥ 2 = (y − μ) T (y − μ) = (y − μ) T GG T (y − μ) = (z − ~ η) T (z − ~ η) = p ∑ i=1 (z i − η i ) 2 + n ∑ i=p+1 z 2 i ηi = zi i = 1, … , p ^ y μ = G1 η z = G T y ^ y = g1 z1 + ⋯ + gp zp = (g1 g T 1 + ⋯ + gp g T p )y = G1 G T 1 y PM = G1 G T 1 y ^ y 32 / 46

直交射影行列はへの直交射影行列と呼ばれ、以下の性質を持つ同様に、残差ベクトルも正準形で計算より、からへの射影は次のように書ける PM M (PM
) 2 = PM , (PM ) T = PM e = y − ^ y = Gz − (g1 z1 + ⋯ + gp zp ) = zp+1 gp+1 + ⋯ + zn gn ∈ M ⊥ e = (I − PM )y y e P M ⊥ = I − PM 33 / 46

正準形の推定 , とおくと、の点推定の UMVU は元の座標系に戻したとき、の UMVU は
~ z = (z1 , … , zn ) z = (z1 , … , zp ) z ∼ N (η, σ 2 Ip ) η ^ η = z μ ^ μ = G1 ^ η 35 / 46

正規線形モデルの検定を次元の線形部分空間とする。検定問題図で表すと Rn M (p-dim.) M0 (s-dim.)
H0 H1 M0 ⊂ M s H0 : μ ∈ M0 vs. H1 : μ ∈ M ∖ M0 36 / 46

正準形の検定正準形で考える。をに対応させると、検定問題は Rn M (p-dim.) M0 (s-dim.) H0
H1 z1 , … , zs M0 H0 : ηs+1 = ⋯ = ηp = 0, ηp+1 = ⋯ = ηn = 0 H1 : ∃i ∈ [s + 1, p], ηi ≠ 0, ηp+1 = ⋯ = ηn = 0 37 / 46

正準形の検定、続きは , ともに平均は任意はのときのみ平均は , ともに平均検定
特にの場合は検定と等価 z1 , … , zs H0 H1 zs+1 , … , zp H0 0 zp+1 , … , zn H0 H1 0 F F = (z 2 s+1 + ⋯ z 2 p )/(p − s) (z2 p+1 + ⋯ z2 n )/(n − p) > Fα (p − s, n − p) ⇒ reject s = p − 1 t t = zp √(z2 p+1 + ⋯ z2 n )/(n − p) > tα (n − p) ⇒ reject 38 / 46

回帰モデルの検定重回帰モデル (係数が個となるように書き直した) 個別の回帰係数についての検定の場合に相当 Rn M (p-dim.)
M0 (s-dim.) H0 H1 p yi = β0 + β1 xi,1 + ⋯ + βp−1 xi,p−1 + εi , i = 1, … , n βk H0 : βk = 0 vs. H1 : βk ≠ 0 s = p − 1 39 / 46

1元配置分散分析モデルの検定 1元配置分散分析モデル (グループ数をと書き直した) 検定問題の場合に相当 Rn M (p-dim.) M0
(s-dim.) H0 H1 p Yij ∼ N (μi , σ 2 ), i = 1, … , p, j = 1, … , ni H0 : μ1 = ⋯ = μp vs. H1 : μi ≠ μj , ∃i, j s = 1 40 / 46

線形推定可能性分散分析でなどとおくと母数が一意に定まらない問題があった。追加の制約またはを加えれば定まる。 ( ) はどの制約でも同じ値になる。
一般に、以下の線形方程式を考えるここで , , , , の要素の一次結合が追加の制約によらないとき、は線形推定可能という。 μi = μ0 + αi ∑ i αi = 0 ∑ i ni αi = 0 αi − αj i ≠ j Ax = b, C T x = 0 A ∈ R n×q rank A = p < q x ∈ R q b ∈ R n C T ∈ R (q−p)×q x aT x C aT x 42 / 46

線形推定可能性、続き行列のカーネル (核) をを満たす任意の解とすると、の任意の解は以下のように表されるが制約条件によらない必要十分条件は
従って、つまり、がの行ベクトルの一次結合であればは線形推定可能 A Ker A = {x ∣ Ax = 0} x ′ Ax ′ = b Ax = b x = x ′ + ~ x, ~ x ∈ Ker A a T x C T x = 0 a T ~ x = 0, ∀ ~ x ∈ Ker A a ∈ (Ker A) ⊥ = Im A T a A a T x 43 / 46

まとめ回帰分析と分散分析を統一的に扱う理論的枠組みを説明しました。 1. 回帰モデル ! 単回帰モデルと重回帰モデルの意味を説明できる? 2. 回帰モデルの推定 3. 1元配置分散分析モデル
! 一元配置分散分析の線形モデルとしての解釈を説明できる? 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 ! 正規線形モデルの正準形の意味を説明できる? 6. 正準形に基づく線形モデルの推定と検定 ! 正準形に基づく回帰分析と分散分析の解釈を説明できる? 7. 母数のムダと線形推定可能性 44 / 46

小テスト Moodleで小テストに回答して下さい。期限は今週中 (日曜の23:59まで) とします。繰り返し受験して構いません。最高得点で成績をつけます。 45 / 46

次回の予習用キーワードマン・ホイットニーの検定 U 46 / 46

oku-slide-stat2-5

oku-slide-stat2-5

More Decks by Makito Oku

Other Decks in Education

Featured

Transcript