oku-slide-stat1-3

数理統計学特論I
第3回 多次元の確率変数
奥 牧人 (未病研究センター)
2022/04/27
2023/05/01
2024/05/01

Transcript

1. 数理統計学特論I 第3回 多次元の確率変数 奥 牧人 (未病研究センター) 2024/05/01 1 / 29
2. 前回の復習 前回の目的 確率に関する基本用語や主な1次元分布の意味を数式で理解する こと 前回の達成目標 期待値と分散の式を書ける。 母関数と特性関数の意味を説明できる。 2項分布と正規分布の式を書ける。 主な1次元分布の式の意味を説明できる。 2 / 29
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 29
4. 今回の目的と達成目標 目的 多次元の確率変数に関する基本用語の意味を数式で理解すること 達成目標 周辺確率の式を書ける。 独立性の定義の式を書ける。 ヤコビアンの意味を説明できる。 共分散と相関係数の式の意味を説明できる。 多次元正規分布の式の意味を説明できる。 4 / 29
5. 予習用キーワードの確認 偏微分 行列式 多次元正規分布 5 / 29
6. Outline 1. 確率ベクトルの同時分布 2. 変数の変換とヤコビアン 3. 多次元分布の期待値 4. 主な多次元分布 6 / 29
7. Outline 1. 確率ベクトルの同時分布 2. 変数の変換とヤコビアン 3. 多次元分布の期待値 4. 主な多次元分布 7 / 29
8. 離散変数の場合 同時確率質量関数 累積分布関数 周辺確率質量関数 p(x, y) = P (X = x, Y = y) F (x, y) = P (X ≤ x, Y ≤ y) p(x) = ∑ y p(x, y) 8 / 29
9. 周辺と呼ぶ理由 表の周辺部に行ごと、列ごとの和を書くことがあるから 計 1 2 3 4 10 5 6 7 8 26 9 10 11 12 42 計 15 18 21 24 78 x 1 x 2 x 3 x 4 y 1 y 2 y 3 9 / 29
10. 連続変数の場合 同時確率密度関数 累積分布関数 周辺確率密度関数 p(x, y) = lim Δx,Δy→0 P (X ∈ [x, x + Δx], Y ∈ [y, y + Δy]) ΔxΔy F (x, y) = P (X ≤ x, Y ≤ y) p(x) = ∫ p(x, y)dy 10 / 29
11. 確率密度関数と累積分布関数の関係 1次元の場合 2次元の場合 次元の場合 p(x) = dF (x) dx p(x, y) = ∂ 2 F (x, y) ∂x∂y n p(x1 , … , xn ) = ∂ n F (x1 , … , xn ) ∂x1 ⋯ ∂xn 11 / 29
12. 条件付き確率と独立性 条件付き確率 ( とする) これを書き直すと 独立性 p(x) ≠ 0 p(y|x) = p(x, y) p(x) p(x, y) = p(y|x)p(x) X ⊥ ⊥ Y ⇔ p(x, y) = p(x)p(y) 12 / 29
13. Outline 1. 確率ベクトルの同時分布 2. 変数の変換とヤコビアン 3. 多次元分布の期待値 4. 主な多次元分布 13 / 29
14. ヤコビ行列とヤコビアン 次元のベクトル から 次元のベクトル への変換を考える。 ヤコビ行列 のとき の行列式が定義され、ヤコビアンと呼ぶ。 n x = (x1 , … , xn ) m y = (y1 , … , ym ) y = f(x), f : R n → R m yi = fi (x1 , … , xn ) J = J (∂y/∂x) = ⎛ ⎝ ∂f 1 ∂x 1 ⋯ ∂f 1 ∂x n ⋮ ⋱ ⋮ ∂f m ∂x 1 ⋯ ∂f m ∂x n ⎞ ⎠ n = m J 14 / 29
15. 確率分布の変数変換 仮定 と はいずれも 次元ベクトル が連続微分可能で1対1 も連続微分可能 の確率密度関数 で が単調増加の場合、以下のように書ける x y n y = f(x) x = f −1 (y) y p(y) = p(x)| det J (∂x/∂y)| = p(x)| det J (∂y/∂x)| −1 n = 1 f p(y)dy = p(x)dx 15 / 29
16. 例 と が独立で、確率密度関数はそれぞれ , とする。 の分布を知りたい。畳み込みと呼ぶ。 ダミー変数 を加えて以下のように変換 ヤコビアンは なので、変換後の確率密度関数は ダミー変数を周辺化で消すと X Y f g Z = X + Y W ( ) = ( ) ( ), ( ) = ( ) ( ) W Z 1 0 1 1 X Y X Y 1 0 −1 1 W Z 1 p(w, z) = f(x)g(y) × 1 = f(w)g(z − w) p(z) = ∫ ∞ −∞ f(w)g(z − w)dw 16 / 29
17. Outline 1. 確率ベクトルの同時分布 2. 変数の変換とヤコビアン 3. 多次元分布の期待値 4. 主な多次元分布 17 / 29
18. 多次元分布の期待値 離散変数の場合 連続変数の場合 次元の場合も同様 E[f(X, Y )] = ∑ x,y f(x, y)p(x, y) E[f(X, Y )] = ∬ f(x, y)p(x, y)dxdy n 18 / 29
19. 共分散と相関係数 共分散 ( , の平均を , とする) 確率変数の和の分散 相関係数 ( , の標準偏差を , とする) と が独立 と は無相関 ( ) 逆は一般に成り立たない X Y μX μY Cov[X, Y ] = E[(X − μX )(Y − μY )] V [X + Y ] = V [X] + V [Y ] + 2Cov[X, Y ] X Y σX σY ρXY = Cov[X, Y ] σX σY ∈ [−1, 1] X Y ⇒ X Y ρXY = 0 19 / 29
20. 無相関だが独立でない例 20 / 29
21. 共分散行列 とする。 平均ベクトルを とする。 共分散行列 (分散共分散行列) 対角項は分散、非対角項は共分散 線形変換 ( , とする) 共分散行列は半正定値対称行列 (全ての固有値が実数で非負) X = (X1 , … , Xn ) T μ = E[X] V [X] = Σ = E[(X − μ)(X − μ) T ] Σij = Cov[Xi , Xj ] a ∈ R m B ∈ R m×n V [a + BX] = BV [X]B T 21 / 29
22. 多次元分布の特性関数 , とする。 特性関数 ( は虚数単位) 畳み込み ( と が独立、 ) 次回話す中心極限定理の証明で使う。 X = (X1 , … , Xn ) T t = (t1 , … , tn ) T i ϕ(t) = E[e it T X ] X Y Z = X + Y ϕZ (t) = ϕX (t)ϕY (t) 22 / 29
23. 条件付き期待値 条件付き期待値 (連続の場合、離散も同様) これを の関数とみなし、 に関して期待値をとると 期待値の繰り返しの公式あるいは全確率の公式と呼ぶ。 E[X|Y = y] = ∫ ∞ −∞ x p(x|y)dx y p(y) E Y [E[X|Y ]] = E[X] 23 / 29
24. Outline 1. 確率ベクトルの同時分布 2. 変数の変換とヤコビアン 3. 多次元分布の期待値 4. 主な多次元分布 24 / 29
25. 多項分布 2項分布を一般化し、起こり得る結果を 種類にしたもの 例、サイコロを 回投げる 確率質量関数 期待値、分散、共分散 k n p(x1 , … , xk ) = n! x1 ! ⋯ xk ! p x1 1 ⋯ p x k k E[Xi ] = npi , V [Xi ] = npi (1 − pi ) Cov[Xi , Xj ] = −npi pj 25 / 29
26. 多変量正規分布 確率密度関数 は平均ベクトル、 は共分散行列 (参考) 1次元の場合 f(x) = 1 (2π)n/2 |Σ|1/2 exp (− 1 2 (x − μ) T Σ −1 (x − μ)) μ Σ f(x) = 1 √2πσ exp (− (x − μ)2 2σ2 ) 26 / 29
27. まとめ 多次元の確率変数に関する基本用語の意味を説明しました。 1. 確率ベクトルの同時分布 ! 周辺確率の式を書ける? ! 独立性の定義の式を書ける? 2. 変数の変換とヤコビアン ! ヤコビアンの意味を説明できる? 3. 多次元分布の期待値 ! 共分散と相関係数の式の意味を説明できる? 4. 主な多次元分布 ! 多次元正規分布の式の意味を説明できる? 27 / 29
28. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 28 / 29
29. 次回の予習用キーワード 分布 分布 分布 χ 2 t F 29 / 29