oku-slide-stat1-5

数理統計学特論I
第5回 統計的決定理論の枠組み
奥 牧人 (未病研究センター)
2022/05/18
2023/05/17
2024/05/15

Transcript

1. 数理統計学特論I 第5回 統計的決定理論の枠組み 奥 牧人 (未病研究センター) 2024/05/15 1 / 21
2. 前回の復習 前回の目的 主な統計量と標本分布の意味を数式で理解すること 前回の達成目標 標本平均と標本分散の式を書ける。 分布、 分布、 分布の意味を説明できる。 大数の法則と中心極限定理の式の意味を説明できる。 正規分布近似が使える条件を説明できる。 χ 2 t F 2 / 21
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 21
4. 今回の目的と達成目標 目的 推定と検定を統一的に扱うための理論的枠組みを理解すること 達成目標 損失関数の意味を説明できる。 決定関数の意味を説明できる。 リスク関数の意味を説明できる。 ミニマックス基準の意味を説明できる。 4 / 21
5. 予習用キーワードの確認 平均二乗誤差 ミニマックス法 5 / 21
6. Outline 1. 用語と定義 2. 許容性 3. ミニマックス基準とベイズ基準 6 / 21
7. Outline 1. 用語と定義 2. 許容性 3. ミニマックス基準とベイズ基準 7 / 21
8. 用語と定義 (前半) 標本空間: 標本 の実現値の属する集合 母数空間: 母数 の取り得る値の集合 分布族: 分布の集合 統計家: 未知母数について推定や検定を行う者 決定空間: 統計家の決定 の取り得る値の集合 推定の場合、 は推定値を表し、 検定の場合、 は棄却または受容を表し、 X = (X1 , … , Xn ) X θ Θ {Pθ ∣ θ ∈ Θ} d D d D = Θ d D = {0, 1} 8 / 21
9. 用語と定義 (後半) 損失関数: 母数 と決定 を変数とする非負の関数 推定の場合の例: 検定の場合の例: 決定が正しければ 、間違っていたら 決定関数: 標本から決定への写像 リスク関数: 損失関数の期待値 θ d L(θ, d) ≥ 0 L(θ, d) = (θ − d) 2 0 1 d = δ(X) R(θ, δ) = E[L(θ, δ(X))] 9 / 21
10. Outline 1. 用語と定義 2. 許容性 3. ミニマックス基準とベイズ基準 10 / 21
11. 許容性 2つの決定関数 があるとき、全ての について なら「 は より良いか同等」といい、 と書く。 少なくとも1つの で等号が外れていれば と書く。 ある決定関数 に対して、 となる が存在しなければ、 は 許容的 という。 許容的だからといって実用的とは限らない。 例) 平均の推定値として、標本によらず常に同じ値を出力する 決定関数も許容的である。 追加の制約条件を考える場合も多い。詳細は次回以降で扱う。 δ1 , δ2 θ R(θ, δ1 ) ≤ R(θ, δ2 ) δ1 δ2 δ1 ⪰ δ2 θ δ1 ≻ δ2 δ δ ∗ ≻ δ δ ∗ δ 11 / 21
12. Outline 1. 用語と定義 2. 許容性 3. ミニマックス基準とベイズ基準 12 / 21
13. ミニマックス決定関数 リスク関数の最大値 (最悪値) ミニマックス決定関数: リスク関数の最大値が最小の決定関数 ¯ R(δ) = sup θ R(θ, δ) ¯ R(δ ∗ ) ≤ ¯ R(δ), ∀δ 13 / 21
14. ベイズ決定関数 ベイズリスク: 母数 の事前分布 で重み付けしたリスク関数の 平均 ベイズ決定関数: ベイズリスクが最小の決定関数 θ π r(π, δ) = ∫ Θ R(θ, δ)π(dθ) r(π, δ ∗ ) ≤ r(π, δ), ∀δ 14 / 21
15. 具体例: 問題設定 表が出る確率が または のいずれかであることが分かって いるコインを1度だけ投げ、母数を推定する。 標本空間 (表が , 裏が ): 母数空間 ( とする): 決定空間: 損失関数: θ0 θ1 1 0 X = {0, 1} θ0 < θ1 Θ = {θ0 , θ1 } D = Θ L(θ, δ) = { 0, if θ = d 1, otherwise 15 / 21
16. 具体例: 決定関数 可能な決定関数は4通り 1. によらず常に を予測 2. によらず常に を予測 3. が のとき , のとき を予測 4. が のとき , のとき を予測 式で書くと さらに、確率的にこれらを切り替える 確率化決定関数 も 使って良いとする。 X θ0 X θ1 X 1 θ1 0 θ0 X 1 θ0 0 θ1 δ1 (x) = θ0 , δ2 (x) = θ1 , δ3 (x) = θx , δ4 (x) = θ1−x 16 / 21
17. 具体例: リスク関数 リスク関数 の値は次のようになる。 の場合 の場合 の場合 の場合 の場合 の場合 を の リスク点 と呼ぶ。 R(θ, δ) θ = θ 0 θ = θ 1 δ = δ 1 0 1 δ = δ 2 1 0 δ = δ 3 θ 0 1 − θ 1 δ = δ 4 1 − θ 0 θ 1 R(δ) = (R(θ0 , δ), R(θ1 , δ)) δ 17 / 21
18. 具体例: ミニマックス決定関数 例えば、 の場合、可能な決定関数は下図の 四角形の範囲になる。 ミニマックス決定関数は、斜め45度の線が四角形と最初に当たる 点Pに相当 (確率 で を用い、確率 で を用いる) θ0 = 1/2, θ1 = 2/3 6/7 δ3 1/7 δ1 18 / 21
19. まとめ 推定と検定を統一的に扱うための理論的枠組みを説明しました。 1. 用語と定義 ! 損失関数の意味を説明できる? ! 決定関数の意味を説明できる? ! リスク関数の意味を説明できる? 2. 許容性 3. ミニマックス基準とベイズ基準 ! ミニマックス基準の意味を説明できる? 19 / 21
20. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 20 / 21
21. 次回の予習用キーワード 十分統計量 21 / 21