oku-slide-stat2-5 - Speaker Deck

Slide 1

Slide 1 text

数理統計学特論II 第5回線形モデル奥牧人 (未病研究センター) 2025/07/16 1 / 46

Slide 2

Slide 2 text

前回の復習前回の目的代表的な推定と検定を最適性の観点から整理すること前回の達成目標最適性が保証されている推定や検定を複数あげられる。最適性が保証されていない推定や検定をあげられる。通常使われるが最適ではない推定や検定をあげられる。一元配置分散分析の意味を説明できる。分割表の検定の意味を説明できる。 2 / 46

Slide 3

Slide 3 text

今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法確率と統計の基礎良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明回帰分析と分散分析を統⼀的に理解常⽤される⼿法を改めて整理ベイズ統計を簡単に紹介ノンパラを簡単に紹介 3 / 46

Slide 4

Slide 4 text

今回の目的と達成目標目的回帰分析と分散分析を統一的に扱う理論的枠組みを理解すること達成目標単回帰モデルと重回帰モデルの意味を説明できる。一元配置分散分析の線形モデルとしての解釈を説明できる。正規線形モデルの正準形の意味を説明できる。正準形に基づく回帰分析と分散分析の解釈を説明できる。 4 / 46

Slide 5

Slide 5 text

予習用キーワードの確認線形部分空間直交行列基底 5 / 46

Slide 6

Slide 6 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 6 / 46

Slide 7

Slide 7 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 7 / 46

Slide 8

Slide 8 text

単回帰モデル組の観測値について以下を仮定ここでと仮定例、バネの先につけた分銅の重さとバネの長さの測定値は説明変数、独立変数などと呼ばれる。は被説明変数、従属変数、目的変数などと呼ばれる。通常、回帰分析では、は確率変数ではなく固定値とみなす。 n (x1 , y1 ), … , (xn , yn ) yi = β0 + β1 xi + εi , i = 1, … , n ε1 , … , εn i.i.d. ∼ N (0, σ 2 ) x y x y x 8 / 46

Slide 9

Slide 9 text

単回帰モデル、続き誤差の二乗和を最小化する , の値は (参考) 相関係数直線を回帰直線という。 ∑ n i=1 ε 2 i β0 β1 ^ β1 = ∑ n i=1 (xi − ¯ x)(yi − ¯ y) ∑ n i=1 (xi − ¯ x)2 , ^ β0 = ¯ y − ^ β1 ¯ x r = ∑ n i=1 (xi − ¯ x)(yi − ¯ y) √∑ n i=1 (xi − ¯ x)2√∑ n i=1 (yi − ¯ y)2 y = ^ β0 + ^ β1 x 9 / 46

Slide 10

Slide 10 text

重回帰モデル説明変数が次元 ( ) の場合、重回帰モデルという誤差についての仮定は単回帰の場合と同じ行列とベクトルを使って表記上の式を次のように書くことにする ( を計画行列という) p p ≥ 2 yi = β0 + β1 xi1 + ⋯ + βp xip + εi , i = 1, … , n = + ⎛ ⎝ y1 ⋮ yn ⎞ ⎠ ⎛ ⎝ 1 x11 ⋯ x1p ⋮ ⋮ ⋱ ⋮ 1 xn1 ⋯ xnp ⎞ ⎠ ⎛ ⎝ β0 ⋮ βp ⎞ ⎠ ⎛ ⎝ ε1 ⋮ εn ⎞ ⎠ X y = Xβ + ε 10 / 46

Slide 11

Slide 11 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 11 / 46

Slide 12

Slide 12 text

重回帰モデルの推定重回帰モデルの式 (再掲) 誤差の二乗和を最小化するは、の各列が一次独立の場合に一意に定まるの予測値と残差は次のように書ける行列の解釈は後述 y = Xβ + ε ∑ n i=1 ε2 i = εT ε β X ^ β = (X T X) −1 X T y y ^ y = X ^ β e = y − ^ y ^ y = PX y e = (I − PX )y PX = X(X T X) −1 X T PX 12 / 46

Slide 13

Slide 13 text

の導出誤差の二乗和に関する勾配がベクトルのとき一般に , ( は対称) 従って以下が成り立つ。が存在すればが定まる。 ^ β ε T ε = (y − Xβ) T (y − Xβ) = y T y − β T X T y − y T Xβ + β T X T Xβ = y T y − 2β T X T y + β T X T Xβ β 0 ∇β (ε T ε) = −2X T y + 2X T Xβ = 0 ∇x (x T c) = c ∇x (x T Ax) = 2Ax A (X T X) −1 ^ β X T Xβ = X T y 13 / 46

Slide 14

Slide 14 text

重回帰モデルの推定、続きを「次元の点が個ある」ではなく「次元の点が個ある」とみなし、確率変数の実現値と考えると、と書ける。前述のとおりは値が固定された行列である。の最小二乗推定量は UMVU かつ MLE の点推定の MLE はの点推定の UMVU は y 1 n n 1 Y Y ∼ N (Xβ, σ 2 I) X β ^ β σ 2 e T e/n σ 2 e T e/(n − p − 1) 14 / 46

Slide 15

Slide 15 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 15 / 46

Slide 16

Slide 16 text

1元配置分散分析と線形モデル対応のない標本総数を一列に並べる同様に、各を個ずつ並べるとみなす。 k Yij ∼ N (μi , σ 2 ), i = 1, … , k, j = 1, … , ni n = ∑ k i=1 ni Yij Y = (Y11 , Y12 , … , Y1n 1 , Y21 , … , Ykn k ) T μi ni μ = (μ1 , … , μ1 n 1 , μ2 , … , μ2 n 2 , … , μk ) T       Y ∼ N (μ, σ 2 I) 16 / 46

Slide 17

Slide 17 text

1元配置分散分析と線形モデル、続き一方、各を個ずつ並べたものをとすると、次のように書けるここではの行列で、次の例のような形 μi 1 β = (μ1 , … , μk ) T μ = Xβ X n × k = ⎛ ⎝ μ1 μ1 μ2 μ2 μ3 μ3 ⎞ ⎠ ⎛ ⎝ 1 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1 ⎞ ⎠ ⎛ ⎝ μ1 μ2 μ3 ⎞ ⎠ 17 / 46

Slide 18

Slide 18 text

1元配置分散分析と線形モデル、続き 1元配置分散分析モデルも重回帰モデルと同じ形に書けるの点推定の UMVU かつ MLE は分散分析モデルではの形に表すことがある。は一般平均、は主効果という。このままでは値が一意に定まらない。母数のムダという。としたとき、対応する計画行列の各列は一次独立にならない。 Y ∼ N (Xβ, σ 2 I) β ^ β = ( ¯ Y1 , … , ¯ Yk ) T μi = μ0 + αi , i = 1, … , k μ0 αi ~ β = (μ0 , α1 , … , αk ) T ~ X 18 / 46

Slide 19

Slide 19 text

1元配置分散分析の復習帰無仮説群間平方和と群内平方和 ( は全平均) 検定 H0 : μ1 = ⋯ = μk ¯ ¯ Y WH = k ∑ i=1 ( ¯ Yi − ¯ ¯ Y ) 2 , WE = k ∑ i=1 n i ∑ j=1 (Yij − ¯ Yi ) 2 F = WH /(k − 1) WE /(n − k) > F α (k − 1, n − k) ⇒ reject 19 / 46

Slide 20

Slide 20 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 20 / 46

Slide 21

Slide 21 text

2元配置分散分析分散分析では「要因」と「水準」という用語を用いる。下の図で、とが要因、 , などが水準である。 B1 B2 B3 A1 A2 2つの要因を , とし、それぞれの水準数を , とする。 2元配置分散分析モデル A B A1 A2 {Y11k } {Y12k } {Y13k } {Y21k } {Y22k } {Y23k } A B a b Yijk ∼ N (μij , σ 2 ), i = 1, … , a; j = 1, … , b; k = 1, … , nij 21 / 46

Slide 22

Slide 22 text

2元配置分散分析、続き 2元配置分散分析の場合も線形モデルの形に書き直すことが出来る。 2元配置分散分析では通常を次のように表す。は一般平均は要因の水準の主効果は要因の水準の主効果はそれらの交互作用母数のムダがあるので、などの制約条件を加える。 Y ∼ N (Xβ, σ 2 I) μij μ ij = μ 0 + α i + β j + γ ij μ0 αi A i βj B j γij ∑ i αi = 0 22 / 46

Slide 23

Slide 23 text

2元配置分散分析の検定主な帰無仮説簡単のためを仮定の平均と、その行毎、列毎、全体の平均 HA : α1 = ⋯ = αa = 0 HB : β1 = ⋯ = βb = 0 HAB : γ11 = ⋯ = γab = 0 nij = r > 1 (i, j) ¯ Yij = 1 r r ∑ k=1 Yijk ¯ Yi∙ = 1 b ∑ j ¯ Yij , ¯ Y∙j = 1 a ∑ i ¯ Yij , ¯ ¯ Y = 1 ab ∑ i,j ¯ Yij 23 / 46

Slide 24

Slide 24 text

平方和の分解平方和の分解 WT = ∑ i,j,k (Yijk − ¯ ¯ Y ) 2 = WA + WB + WAB + WE WA = br ∑ i ( ¯ Yi∙ − ¯ ¯ Y ) 2 WB = ar ∑ j ( ¯ Y∙j − ¯ ¯ Y ) 2 WAB = r ∑ i,j ( ¯ Yij − ¯ Yi∙ − ¯ Y∙j + ¯ ¯ Y ) 2 WE = ∑ i,j,k (Yijk − ¯ Yij ) 2 24 / 46

Slide 25

Slide 25 text

分散分析表平方和自由度 Aの主効果 Bの主効果 ABの交互作用誤差計 WA a − 1 WB b − 1 WAB (a − 1)(b − 1) WE ab(r − 1) WT abr − 1 25 / 46

Slide 26

Slide 26 text

2元配置分散分析の検定の例例、交互作用に対する仮説の検定 (参考) 1元配置分散分析 HAB F = WAB /((a − 1)(b − 1)) WE /(ab(r − 1)) > Fα ((a − 1)(b − 1), ab(r − 1)) ⇒ reject F = WH /(k − 1) WE /(n − k) > Fα (k − 1, n − k) ⇒ reject 26 / 46

Slide 27

Slide 27 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 27 / 46

Slide 28

Slide 28 text

正規線形モデル回帰モデルも分散分析モデルも以下の形にできる (再掲) に対し、平均の動ける範囲が限定されている。一般に、を次元の既知の線形部分空間として、以下の形で表されるモデルを正規線形モデルというここから先は行列と区別するために確率変数も小文字で表す。 Y ∼ N (Xβ, σ 2 I) Y ∈ Rn Xβ M ⊂ R n p Y ∼ N (μ, σ 2 I), μ ∈ M 28 / 46

Slide 29

Slide 29 text

正準形正規線形モデルは、適当な直交行列を用いてと変換することにより、以下の正準形で表すことができる。ここでは全て互いに独立 G z = G T y zi ∼ N (ηi , σ 2 ), i = 1, … , p zi ∼ N (0, σ 2 ), i = p + 1, … , n zi 29 / 46

Slide 30

Slide 30 text

確認の適当な正規直交基底をとする。の直交補空間も同様にとする。これらの縦ベクトルを横に並べた行列を , とし、とすると、は直交行列直交行列の性質よりなので、ここで , より、改めてとおくと、で、の列はの正規直交基底より、の各要素は自由に動ける。 M {g1 , … , gp } M M ⊥ {gp+1 , … , gn } G1 G2 G = (G1 , G2 ) G |det G| = 1 z ∼ N ( ~ η, σ 2 I), ~ η = G T μ, μ ∈ M g T i μ = 0 i = p + 1, … , n ~ η = (η1 , … , ηp , 0, … , 0) η = (η1 , … , ηp ) μ = G ~ η = G1 η G1 M η 30 / 46

Slide 31

Slide 31 text

回帰モデルの解釈二乗誤差の最小化はとして図で表すと M (p-dim.) y ŷ e O Rn ∥ε∥ 2 = ∥y − Xβ∥ 2 μ = Xβ min μ∈M ∥y − μ∥ 2 31 / 46

Slide 32

Slide 32 text

二乗誤差の最小化で正準形に変換し、の列数を改めてとおくと右辺を最小化するのは , のときこのときのを計算 ( , を使う) ここではからへの射影を表す。 z = G T y X p ∥y − μ∥ 2 = (y − μ) T (y − μ) = (y − μ) T GG T (y − μ) = (z − ~ η) T (z − ~ η) = p ∑ i=1 (z i − η i ) 2 + n ∑ i=p+1 z 2 i ηi = zi i = 1, … , p ^ y μ = G1 η z = G T y ^ y = g1 z1 + ⋯ + gp zp = (g1 g T 1 + ⋯ + gp g T p )y = G1 G T 1 y PM = G1 G T 1 y ^ y 32 / 46

Slide 33

Slide 33 text

直交射影行列はへの直交射影行列と呼ばれ、以下の性質を持つ同様に、残差ベクトルも正準形で計算より、からへの射影は次のように書ける PM M (PM ) 2 = PM , (PM ) T = PM e = y − ^ y = Gz − (g1 z1 + ⋯ + gp zp ) = z p+1 g p+1 + ⋯ + z n g n ∈ M ⊥ e = (I − PM )y y e P M ⊥ = I − P M 33 / 46

Slide 34

Slide 34 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 34 / 46

Slide 35

Slide 35 text

正準形の推定 , とおくと、の点推定の UMVU は元の座標系に戻したとき、の UMVU は ~ z = (z1 , … , zn ) z = (z1 , … , zp ) z ∼ N (η, σ 2 Ip ) η ^ η = z μ ^ μ = G1 ^ η 35 / 46

Slide 36

Slide 36 text

正規線形モデルの検定を次元の線形部分空間とする。検定問題図で表すと Rn M (p-dim.) M0 (s-dim.) H0 H1 M0 ⊂ M s H0 : μ ∈ M0 vs. H1 : μ ∈ M ∖ M0 36 / 46

Slide 37

Slide 37 text

正準形の検定正準形で考える。をに対応させると、検定問題は Rn M (p-dim.) M0 (s-dim.) H0 H1 z1 , … , zs M0 H0 : ηs+1 = ⋯ = ηp = 0, ηp+1 = ⋯ = ηn = 0 H1 : ∃i ∈ [s + 1, p], ηi ≠ 0, ηp+1 = ⋯ = ηn = 0 37 / 46

Slide 38

Slide 38 text

正準形の検定、続きは , ともに平均は任意はのときのみ平均は , ともに平均検定特にの場合は検定と等価 z1 , … , zs H0 H1 zs+1 , … , zp H0 0 zp+1 , … , zn H0 H1 0 F F = (z2 s+1 + ⋯ z2 p )/(p − s) (z 2 p+1 + ⋯ z2 n )/(n − p) > Fα (p − s, n − p) ⇒ reject s = p − 1 t t = zp √(z 2 p+1 + ⋯ z2 n )/(n − p) > tα (n − p) ⇒ reject 38 / 46

Slide 39

Slide 39 text

回帰モデルの検定重回帰モデル (係数が個となるように書き直した) 個別の回帰係数についての検定の場合に相当 Rn M (p-dim.) M0 (s-dim.) H0 H1 p yi = β0 + β1 xi,1 + ⋯ + βp−1 xi,p−1 + εi , i = 1, … , n βk H0 : βk = 0 vs. H1 : βk ≠ 0 s = p − 1 39 / 46

Slide 40

Slide 40 text

1元配置分散分析モデルの検定 1元配置分散分析モデル (グループ数をと書き直した) 検定問題の場合に相当 Rn M (p-dim.) M0 (s-dim.) H0 H1 p Yij ∼ N (μi , σ 2 ), i = 1, … , p, j = 1, … , ni H0 : μ1 = ⋯ = μp vs. H1 : μi ≠ μj , ∃i, j s = 1 40 / 46

Slide 41

Slide 41 text

Outline 1. 回帰モデル 2. 回帰モデルの推定 3. 1元配置分散分析モデル 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 6. 正準形に基づく線形モデルの推定と検定 7. 母数のムダと線形推定可能性 41 / 46

Slide 42

Slide 42 text

線形推定可能性分散分析でなどとおくと母数が一意に定まらない問題があった。追加の制約またはを加えれば定まる。 ( ) はどの制約でも同じ値になる。一般に、以下の線形方程式を考えるここで , , , , の要素の一次結合が追加の制約によらないとき、は線形推定可能という。 μi = μ0 + αi ∑ i αi = 0 ∑ i ni αi = 0 αi − αj i ≠ j Ax = b, C T x = 0 A ∈ R n×q rank A = p < q x ∈ R q b ∈ R n C T ∈ R (q−p)×q x a T x C a T x 42 / 46

Slide 43

Slide 43 text

線形推定可能性、続き行列のカーネル (核) をを満たす任意の解とすると、の任意の解は以下のように表されるが制約条件によらない必要十分条件は従って、つまり、がの行ベクトルの一次結合であればは線形推定可能 A Ker A = {x ∣ Ax = 0} x ′ Ax ′ = b Ax = b x = x ′ + ~ x, ~ x ∈ Ker A a T x C T x = 0 a T ~ x = 0, ∀ ~ x ∈ Ker A a ∈ (Ker A) ⊥ = Im A T a A a T x 43 / 46

Slide 44

Slide 44 text

まとめ回帰分析と分散分析を統一的に扱う理論的枠組みを説明しました。 1. 回帰モデル ! 単回帰モデルと重回帰モデルの意味を説明できる? 2. 回帰モデルの推定 3. 1元配置分散分析モデル ! 一元配置分散分析の線形モデルとしての解釈を説明できる? 4. 2元配置分散分析モデル 5. 線形モデルにおける正準形と最小二乗法 ! 正規線形モデルの正準形の意味を説明できる? 6. 正準形に基づく線形モデルの推定と検定 ! 正準形に基づく回帰分析と分散分析の解釈を説明できる? 7. 母数のムダと線形推定可能性 44 / 46

Slide 45

Slide 45 text

小テスト Moodleで小テストに回答して下さい。期限は今週中 (日曜の23:59まで) とします。繰り返し受験して構いません。最高得点で成績をつけます。 45 / 46

Slide 46

Slide 46 text

次回の予習用キーワードマン・ホイットニーの検定 U 46 / 46