oku-slide-stat1-7 - Speaker Deck

Slide 1

Slide 1 text

数理統計学特論I 第7回推定論奥牧人 (未病研究センター) 2025/06/04 1 / 37

Slide 2

Slide 2 text

前回の復習前回の目的十分統計量とその関連用語の意味を理解すること前回の達成目標十分統計量の意味を説明できる。十分統計量の分解定理を説明できる。ラオ・ブラックウェルの定理を説明できる。完備十分統計量の意味を説明できる。 2 / 37

Slide 3

Slide 3 text

今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法確率と統計の基礎良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明回帰分析と分散分析を統⼀的に理解常⽤される⼿法を改めて整理ベイズ統計を簡単に紹介ノンパラを簡単に紹介 3 / 37

Slide 4

Slide 4 text

今回の目的と達成目標目的点推定の最適性に関する理論について理解すること達成目標不偏推定量の意味を説明できる。フィッシャー情報量の意味を説明できる。クラメル・ラオの不等式の意味を説明できる。不偏推定の問題点を説明できる。最尤推定量の意味と漸近有効性を説明できる。 4 / 37

Slide 5

Slide 5 text

予習用キーワードの確認不偏推定尤度関数 5 / 37

Slide 6

Slide 6 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 6 / 37

Slide 7

Slide 7 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 7 / 37

Slide 8

Slide 8 text

推定における記法と設定推定では、決定関数のことをまたは単にと書き、推定量と呼ぶリスク関数として平均二乗誤差を使うバイアス-バリアンス分解 (ここだけとおく) をバイアスと呼ぶ δ(X) ^ θ(X) ^ θ R(θ, ^ θ) = E[( ^ θ − θ) 2 ] E[ ^ θ] = μ E[( ^ θ − θ) 2 ] = E[( ^ θ − μ + μ − θ) 2 ] = E[( ^ θ − μ) 2 ] + E[(μ − θ) 2 ] + 0 = V [ ^ θ] + (μ − θ) 2 μ − θ 8 / 37

Slide 9

Slide 9 text

バイアスとバリアンス母集団から標本を抽出してを計算、を何度も行うとする。バリアンスは、推定値のバラツキの大きさを表す。バイアスは、推定値の平均と真の値のズレを表す。 ^ θ V [ ^ θ] E[ ^ θ] − θ 9 / 37

Slide 10

Slide 10 text

不偏推定量が不偏推定量であるとは、以下が成り立つこと例、不偏分散 (参考) 最尤推定の場合 ^ θ E[ ^ θ] = θ, ∀θ s 2 = 1 n − 1 n ∑ i=1 (Xi − ¯ X) 2 s 2 n = 1 n n ∑ i=1 (Xi − ¯ X) 2 10 / 37

Slide 11

Slide 11 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 11 / 37

Slide 12

Slide 12 text

一様最小分散不偏推定量不偏推定の場合、平均二乗誤差は分散のみになる従って、不偏推定量の中では、分散が最小となるものが最適一様最小分散不偏推定量 (Uniformly Minimum Variance Unbiaced estimator, 略して UMVU と書く) 不偏推定量が UMVU であるとは、任意の不偏推定量に対して以下が成り立つこと V [ ^ θ] E[( ^ θ − θ) 2 ] = V [ ^ θ] ^ θ ∗ ^ θ V [ ^ θ ∗ ] ≤ V [ ^ θ], ∀θ 12 / 37

Slide 13

Slide 13 text

話の流れを整理不偏推定量 UMVU (不偏の中で最適) UMVU であることを示す方法 1. クラメル・ラオの不等式を使う方法 (フィッシャー情報量を含む) 2. 完備十分統計量を使う方法最尤推定量 13 / 37

Slide 14

Slide 14 text

フィッシャー情報量の確率質量関数または確率密度関数を、パラメータを明示してと書くフィッシャー情報量対数尤度関数とし、と書けば、以下のように略記できるの場合が成り立つ X = (X1 , … , Xn ) p(x) θ f(x, θ) In (θ) = E [( ∂ ∂θ log f(x, θ)) 2 ] ℓ(θ) = log f(x, θ) ℓ ′ (θ) = ∂ℓ(θ)/∂θ In (θ) = E[ℓ ′ (θ) 2 ] X1 , … , Xn i.i.d. ∼ F In (θ) = nI1 (θ) 14 / 37

Slide 15

Slide 15 text

クラメル・ラオの不等式クラメル・ラオの不等式 ( は不偏推定量) ただし、と、微分と積分が交換可能なこと (正則条件) を仮定 [定理] クラメル・ラオの不等式が成り立つ場合、不偏推定量が以下を満たせば UMVU である ^ θ V [ ^ θ] ≥ 1 In (θ) In (θ) > 0 ^ θ ∗ V [ ^ θ ∗ ] = 1 In (θ) , ∀θ 15 / 37

Slide 16

Slide 16 text

例のの推定量について計算の確率密度関数 ( より個分で良い) 対数尤度関数で偏微分 X1 , … , Xn i.i.d. ∼ N (μ, σ2 ) μ ¯ X Xi In (θ) = nI1 (θ) 1 f(xi , μ) = 1 √2πσ exp (− (xi − μ) 2 2σ2 ) ℓ(μ) = log f(xi , μ) = − (xi − μ)2 2σ2 − 1 2 log(2πσ 2 ) μ ℓ ′ (μ) = ∂ ∂μ ℓ(μ) = xi − μ σ2 16 / 37

Slide 17

Slide 17 text

例、続きフィッシャー情報量クラメル・ラオの不等式の下界は、これはに一致するので、は確かに UMVU である。 I1 (μ) = E[ℓ ′ (μ) 2 ] = E [ (Xi − μ) 2 σ4 ] = 1 σ2 1 In (μ) = 1 nI1 (μ) = σ2 n V [ ¯ X] ¯ X ¯ X ∼ N (μ, σ2 n ) 17 / 37

Slide 18

Slide 18 text

分散は? クラメル・ラオの不等式では不偏分散が UMVU であることを示せない UMVU なのだが、下界を達成しない次に紹介する別の方法で証明する s 2 18 / 37

Slide 19

Slide 19 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 19 / 37

Slide 20

Slide 20 text

完備十分統計量とUMVU [定理] 完備十分統計量の関数である不偏推定量は一意に定まり UMVU となる。また、任意の不偏推定量をとするときはに一致する。 T ^ θ ∗ (T ) ^ θ E[ ^ θ|T ] ^ θ∗ (T ) 20 / 37

Slide 21

Slide 21 text

証明完備統計量の関数となる不偏推定量は一意であることを示す , を不偏推定量とし、とおけばなので、完備性の定義より続いて、任意の不偏推定量に対して、を完備十分としを作ると、不偏となるので一意に定まる。は十分統計量なのでラオ・ブラックウェルの定理を適用すれば ^ θ1 ^ θ2 g(T ) = ^ θ1 (T ) − ^ θ2 (T ) E[g(T )] = θ − θ = 0, ∀θ ^ θ1 (T ) ≡ ^ θ2 (T ) ^ θ T ^ θ ∗ (T ) = E[ ^ θ|T ] T V [ ^ θ ∗ ] ≤ V [ ^ θ], ∀θ 21 / 37

Slide 22

Slide 22 text

例母集団が正規分布のとき、以下は完備十分統計量 , は完備十分統計量の関数の形をしている , は不偏である従って、 , は UMVU である N (μ, σ 2 ) T1 = n ∑ i=1 Xi , T2 = n ∑ i=1 X 2 i ¯ X s 2 T = (T1 , T2 ) ¯ X = T1 n , s 2 = T2 − T 2 1 /n n − 1 ¯ X s 2 E[ ¯ X] = μ, E[s 2 ] = σ 2 ¯ X s 2 22 / 37

Slide 23

Slide 23 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 23 / 37

Slide 24

Slide 24 text

不偏推定の問題点母数の変換に対して不変ではない例、は不偏推定だが、は不偏ではない標準偏差の UMVU (複雑過ぎて使う人はいない) s2 s E[s] < σ s ′ = √n − 1 Γ((n − 1)/2) √2 Γ(n/2) s 24 / 37

Slide 25

Slide 25 text

不偏推定量の問題点、続き存在しない場合がある例、正規分布のの不偏推定量は存在しない不合理な場合がある例、正規分布のの UMVU は負の値になる場合がある例2、幾何分布のの不偏推定量は、標本サイズがの場合 |μ| μ 2 p(x) = (1 − p) x p, x = 0, 1, 2, … p 1 ^ p = { 1 if x = 0 0 if x ≥ 1 25 / 37

Slide 26

Slide 26 text

スタインのパラドックス UMVU は不偏推定の中で最適なもの不偏に限らなければ、より良いものが存在する場合もある意外な例として、スタインのパラドックスがある , のとき、の UMVU は自身であるのとき、各要素を以下のようにした推定量の方が平均二乗誤差が常に小さいことが示されている Xi ∼ N (μi , 1) i = 1, … , n (μ1 , … , μn ) (X1 , … , Xn ) n ≥ 3 ^ μ i = (1 − n − 2 ∑ n j=1 X 2 j )X i 26 / 37

Slide 27

Slide 27 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 27 / 37

Slide 28

Slide 28 text

最尤推定量尤度関数確率質量関数または確率密度関数をパラメータの関数とみなしたもの対数尤度関数最尤推定量漸近有効性を持つ十分統計量の関数になる変数変換に対して不変 L(θ) θ ℓ(θ) = log L(θ) ^ θ ^ θ = arg max θ L(θ) = arg max θ ℓ(θ) 28 / 37

Slide 29

Slide 29 text

例二項分布の場合をで微分してとおくと、従って、最尤推定量は L(p) = ( )p x (1 − p) n−x ℓ(p) = x log p + (n − x) log(1 − p) + log ( ) n x n x ℓ(θ) p 0 x p − n − x 1 − p = x − np p(1 − p) = 0 ^ p = x/n 29 / 37

Slide 30

Slide 30 text

正規分布の例とおくと、まずをで偏微分してとおくと、これを代入し、で微分してとおくと、より、を得る。 τ = σ 2 L(μ, τ ) = n ∏ i=1 1 (2πτ )1/2 exp (− (xi − μ) 2 2τ ) ℓ(μ, τ ) = − n 2 log(2πτ ) − 1 2τ n ∑ i=1 (xi − μ) 2 ℓ(μ, τ ) μ 0 ^ μ = ¯ x τ 0 − n 2 2π 2πτ + 1 2τ 2 n ∑ i=1 (xi − ¯ x) 2 = 0 ^ τ = s 2 n 30 / 37

Slide 31

Slide 31 text

漸近有効性が大きければ最尤推定量は UMVU とほぼ同じになるサイズの標本に基づく最尤推定量をと書く幾つかの条件の下で、のとき以下が成り立つ 1つ目の性質を一致性と呼ぶ 2つ目は、バイアスがよりも速く減少するという意味 3つ目は、クラメル・ラオの不等式の下界に相当 n n ^ θn n → ∞ ^ θn p → θ √n(E[ ^ θn ] − θ) → 0 nV [ ^ θn ] → 1 I1 (θ) 1/√n 31 / 37

Slide 32

Slide 32 text

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5. 最尤推定量 6. クラメル・ラオの不等式の一般化 32 / 37

Slide 33

Slide 33 text

クラメル・ラオの不等式の一般化クラメル・ラオの不等式 (再掲) 多次元の場合 ( とする) ここではの共分散行列であり、は以下で定義されるフィッシャー情報行列また、行列 , についてはが半正定値の意 V [ ^ θ] ≥ 1 In (θ) θ = (θ1 , … , θk ) V [ ^ θ] ≥ I(θ) −1 V [ ^ θ] ^ θ I(θ) Iij (θ) = E [ ∂ℓ(θ) ∂θi ∂ℓ(θ) ∂θj ] A B A ≥ B A − B 33 / 37

Slide 34

Slide 34 text

まとめ (前半) 点推定の最適性に関する理論について説明しました。 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 ! 不偏推定量の意味を説明できる? ! フィッシャー情報量の意味を説明できる? ! クラメル・ラオの不等式の意味を説明できる? 3. 完備十分統計量に基づく不偏推定量 34 / 37

Slide 35

Slide 35 text

まとめ (後半) 点推定の最適性に関する理論について説明しました。 4. 不偏推定の問題点 ! 不偏推定の問題点を説明できる? 5. 最尤推定量 ! 最尤推定量の意味と漸近有効性を説明できる? 6. クラメル・ラオの不等式の一般化 35 / 37

Slide 36

Slide 36 text

小テスト Moodleで小テストに回答して下さい。期限は今週中 (日曜の23:59まで) とします。繰り返し受験して構いません。最高得点で成績をつけます。 36 / 37

Slide 37

Slide 37 text

期末試験来週は期末試験 (60分) と解説 (30分) です。鉛筆またはシャープペンシル、消しゴムを持ってきて下さい。スマホ、ノートPC、本などの持ち込み可とします。 37 / 37