oku-slide-stat1-2

数理統計学特論I
第2回 確率と1次元の確率変数
奥 牧人 (未病研究センター)
2022/04/20
2023/04/26
2024/04/24

Transcript

1. 数理統計学特論I 第2回 確率と1次元の確率変数 奥 牧人 (未病研究センター) 2024/04/24 1 / 40
2. 前回の復習 前回は大学1年生向けの教科書に出てくるキーワードの意味を 確認しました。 平均 分散 相関係数 正規分布 大数の法則 95%信頼区間 t検定 P値 etc. 2 / 40
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 40
4. 今回の目的と達成目標 目的 確率に関する基本用語や主な1次元分布の意味を数式で理解する こと 達成目標 期待値と分散の式を書ける。 母関数と特性関数の意味を説明できる。 2項分布と正規分布の式を書ける。 主な1次元分布の式の意味を説明できる。 4 / 40
5. 予習用キーワードの確認 二項分布 ポアソン分布 正規分布 5 / 40
6. Outline 1. 確率と確率変数 2. 確率変数の期待値と分布の特性値 3. 母関数 4. 主な1次元分布 6 / 40
7. Outline 1. 確率と確率変数 2. 確率変数の期待値と分布の特性値 3. 母関数 4. 主な1次元分布 7 / 40
8. 例 歪みのないコインを投げたとき、表の出る確率は 表を 、裏を として、確率変数 で表す。 確率変数は大文字、その実現値は小文字で書く場合が多い。 1/2 1 0 X P (X = 1) = 1 2 P (X = x) = 1 2 , x = 0, 1 8 / 40
9. 離散変数の場合 確率質量関数 (確率関数) 満たすべき性質 累積分布関数 (分布関数) p(x) = P (X = x) p(x) ≥ 0, ∀x ∑ x p(x) = 1 F (x) = P (X ≤ x) 9 / 40
10. 連続変数の問題点 連続変数の場合、 は常に となってしまう。 例、 の一様分布で の場合 0 1 x 2ε P (X = x) 0 [0, 1] x ∈ (0, 1) P (X = x) = lim ε→0 P (x − ε ≤ X ≤ x + ε) = lim ε→0 2ε = 0 10 / 40
11. 連続変数の場合 確率密度関数 (密度関数) 満たすべき性質 累積分布関数 (分布関数) が成り立つ。 p(x) = lim ε→0 P (x ≤ X ≤ x + ε) ε p(x) ≥ 0, ∀x ∫ ∞ −∞ p(x)dx = 1 F (x) = P (X ≤ x) p(x) = F ′ (x) 11 / 40
12. 基準化定数 基準化定数とは、合計が となるように調節するための定数 例えば、 の場合、 とおけば 合計が になる。 正規分布でいうと、指数関数が なら、その左の部分 1 ∫ ∞ −∞ f(x)dx = c p(x) = f(x)/c 1 f(x) 1 √2πσ exp (− (x − μ) 2 2σ2 ) 12 / 40
13. Outline 1. 確率と確率変数 2. 確率変数の期待値と分布の特性値 3. 母関数 4. 主な1次元分布 13 / 40
14. 期待値 離散変数の場合 連続変数の場合 ただし、積分範囲を省略した場合は とする。 以降では と書く場合もある。 E[X] = ∑ x xp(x) E[X] = ∫ xp(x)dx (−∞, ∞) μ = E[X] 14 / 40
15. どうしてこれが平均なのか? 標本平均 の取り得る値を とし、それぞれの出現回数を とおく。 個の を同じ値ごとにまとめる。 ¯ x = x1 + ⋯ + xn n = 1 n n ∑ i=1 xi X a1 , … , aK n1 , … , nK n xi 1 n n ∑ i=1 xi = 1 n K ∑ k=1 nk ak = K ∑ k=1 nk n ak → K ∑ k=1 p(ak )ak , (n → ∞) 15 / 40
16. 発散する場合もある 取り得る状態が無限個の場合、発散する場合もある。 例、歪みのないコインを表が出るまで投げ、 回目で表が出たら のお金が貰えるとする。 期待値は無限大になる。ペテルスブルグのパラドックスと呼ぶ。 k 2 k P (X = 2 k ) = 1 2k E[X] = ∑ x xp(x) = ∞ ∑ k=1 2 k 1 2k = ∞ 16 / 40
17. 分散 一般に の関数 の期待値を以下で定義する。 離散変数の場合 連続変数の場合 分散の定義 X f(X) E[f(X)] = ∑ x f(x)p(x) E[f(X)] = ∫ f(x)p(x)dx V [X] = E[(X − μ) 2 ] 17 / 40
18. 期待値と分散の性質 常に成り立つ式 ( は定数) と が独立のときのみ成り立つ式 a, b V [X] = E[X 2 ] − E[X] 2 E[aX + b] = aE[X] + b V [aX + b] = a 2 V [X] E[X + Y ] = E[X] + E[Y ] X Y E[XY ] = E[X]E[Y ] V [X + Y ] = V [X] + V [Y ] 18 / 40
19. モーメント (積率) 原点まわりの 次のモーメント 平均値まわりの 次のモーメント 次の標準化モーメント 平均値は , 分散は 歪度 (skewness) は , 尖度 (kurtosis) は k μ ′ k = E[X k ] k μk = E[(X − μ) k ] k αk = E [( X − μ σ ) k ] μ ′ 1 μ2 α3 α4 19 / 40
20. パーセント点 上側 %点、下側 %点など 累積分布関数の逆関数が一意に決まる場合は簡単 一意に決まらない場合も含めて、以下で定義 例、 の中央値は 5 5 x(α) = F −1 (α), α ∈ (0, 1) x(α) = F −1 L (α) + F −1 R (α) 2 , α ∈ (0, 1) F −1 L (α) = min{x|P (X ≤ x) ≥ α} F −1 R (α) = max{x|P (X ≥ x) ≥ 1 − α} {1, 2, 3, 4} (2 + 3)/2 = 2.5 20 / 40
21. 平均と分散の仲間 位置母数 (分布の中心の位置を表す) 平均 中央値 (メディアン、50%点) 最頻値 (モード) 尺度母数 (分布の幅を表す) 分散 標準偏差 四分位範囲 (75%点 25%点) 四分位偏差 (四分位範囲の半分) − 21 / 40
22. Outline 1. 確率と確率変数 2. 確率変数の期待値と分布の特性値 3. 母関数 4. 主な1次元分布 22 / 40
23. 母関数と特性関数 確率母関数 ( は非負の整数、 とする) 積率母関数 ( は連続変数) 特性関数 ( は離散と連続どちらでも良い、 は虚数単位) これらは元の確率分布と1対1に対応しており、これらを使うこと で計算が簡単になる場合がある。 例、平均と分散の計算、畳み込み、収束性の証明など X |s| ≤ 1 G(s) = E[s X ] X ϕ(θ) = E[e θX ] X i ϕ(t) = E[e itX ] 23 / 40
24. 母関数の性質 確率母関数を で 回微分し、 を代入して で割る 確率母関数を で 回微分し、 を代入する 積率母関数を で 回微分し、 を代入する s k s = 0 k! G (k) (0)/k! = p(k) s k s = 1 G (k) (1) = E[X(X − 1) ⋯ (X − k + 1)] θ k θ = 0 ϕ (k) (0) = E[X k ] = μ ′ k 24 / 40
25. 特性関数の性質 離散変数の場合 連続変数の場合、 という条件下で、以下が成り立つ p(x) = 1 2π ∫ π −π e −itx ϕ(t)dt ∫ ∞ −∞ |ϕ(t)|dt < ∞ p(x) = 1 2π ∫ ∞ −∞ e −itx ϕ(t)dt 25 / 40
26. Outline 1. 確率と確率変数 2. 確率変数の期待値と分布の特性値 3. 母関数 4. 主な1次元分布 26 / 40
27. 2項分布 成功確率 の試行を 回行ったとき、成功回数 が従う分布 確率質量関数 期待値と分散 p n X p(k) = ( )p k (1 − p) n−k n k E[X] = np V [X] = np(1 − p) 27 / 40
28. 計算の例 2項分布の確率母関数 平均は 分散は を用いて G(s) = n ∑ k=0 s k ( )p k (1 − p) n−k = n ∑ x=0 ( )(sp) k (1 − p) n−k = (sp + 1 − p) n n k n k G ′ (1) = E[X] = np G ′′ (1) = E[X(X − 1)] = n(n − 1)p 2 V [X] = E[X 2 ] − E[X] 2 = E[X(X − 1)] + E[X] − E[X] 2 = n(n − 1)p 2 + np − (np) 2 = np(1 − p) 28 / 40
29. ポアソン分布 平均 の2項分布で が小さいときに成功回数 が従う分布 確率質量関数 期待値と分散 λ p X p(k) = e −λ λ k k! E[X] = V [X] = λ 29 / 40
30. 幾何分布 ベルヌーイ試行で最初に成功するまでの失敗回数 が従う分布 確率質量関数 期待値と分散 X p(k) = p(1 − p) k E[X] = 1 − p p V [X] = 1 − p p2 30 / 40
31. 負の2項分布 ベルヌーイ試行で 回成功するまでの失敗回数 が従う分布 確率質量関数 期待値と分散 幾何分布を特殊な場合として含む r X p(k) = ( )(1 − p) k p r r + k − 1 k E[X] = r(1 − p) p V [X] = r(1 − p) p2 31 / 40
32. 超幾何分布 個の中から最初に 個、続いて 個を復元抽出するとき、 重複して選ばれる個数 が従う分布 確率質量関数 期待値と分散 N n1 n2 X p(k) = ( ) ( ) ( ) n2 k N − n2 n1 − k N n1 E[X] = n1 n2 N V [X] = n1 n2 (N − n1 )(N − n2 ) N 2 (N − 1) 32 / 40
33. 一様分布 範囲内で確率密度が一定の分布 確率密度関数 ( とする) 期待値と分散 a < b p(x) = { 1/(b − a) if x ∈ [a, b] 0 otherwise E[X] = a + b 2 V [X] = (b − a) 2 12 33 / 40
34. 正規分布 確率密度関数 ( とする) 期待値と分散 標準正規分布 ( , ) の場合 σ > 0 f(x) = 1 √2πσ exp (− (x − μ) 2 2σ2 ) E[X] = μ V [X] = σ 2 μ = 0 σ = 1 f(x) = ϕ(x) = 1 √2π e −x 2 /2 34 / 40
35. ガンマ分布 ガンマ関数 ( とする) ガンマ関数は を満たす 確率密度関数 ( とする) 指数分布 ( の場合) を特殊な場合として含む 期待値と分散 a > 0 Γ(a) = ∫ ∞ 0 x a−1 e −x dx Γ(n) = (n − 1)! x, ν, α > 0 f(x) = x ν−1 e −x/α αν Γ(ν) ν = 1 E[X] = να, V [X] = να 2 35 / 40
36. ベータ分布 ベータ関数 ベータ関数は を満たす 確率密度関数 ( とする) 期待値と分散 B(a, b) = ∫ 1 0 x a−1 (1 − x) b−1 dx B(a, b) = Γ(a)Γ(b)/Γ(a + b) x ∈ (0, 1) f(x) = x a−1 (1 − x) b−1 B(a, b) E[X] = a a + b , V [X] = ab (a + b)2(a + b + 1) 36 / 40
37. 分布間の関係 2項分布 正規分布 ( を固定して ) 2項分布 ポアソン分布 ( を固定して ) 幾何分布 (離散) と指数分布 (連続) が対応 ガンマ分布 分布 ガンマ分布とベータ分布は、 分布と 分布の導出に使う 紛らわしいもの 2項分布 負の2項分布 幾何分布 超幾何分布 幾何分布 負の2項分布 → p n → ∞ → np n → ∞ ⊃ χ 2 t F ⊄ ⊄ ⊂ 37 / 40
38. まとめ 確率に関する基本用語や主な1次元分布の意味を説明しました。 1. 確率と確率変数 2. 確率変数の期待値と分布の特性値 ! 期待値と分散の式を書ける? 3. 母関数 ! 母関数と特性関数の意味を説明できる? 4. 主な1次元分布 ! 2項分布と正規分布の式を書ける? ! 主な1次元分布の式の意味を説明できる? 38 / 40
39. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 39 / 40
40. 次回の予習用キーワード 偏微分 行列式 多次元正規分布 40 / 40