Tokyo.R#79 BeginneRSession-確率の基礎

8284465a94bbdf1ea82cf1a67d55f447?s=47 kilometer
June 29, 2019

Tokyo.R#79 BeginneRSession-確率の基礎

第79回TokyoRにてトークした内容です。

8284465a94bbdf1ea82cf1a67d55f447?s=128

kilometer

June 29, 2019
Tweet

Transcript

  1. BeginneR Session - 確率の基礎 - #79 Tokyo.R 2019.06.29 @kilometer00

  2. Who!?

  3. Who!? 名前: 三村 @kilometer 職業: ポスドク (こうがくはくし) 専⾨: ⾏動神経科学(霊⻑類) 脳イメージング

    医療システム⼯学 R歴: ~ 10年ぐらい 流⾏: Netflix
  4. 2018.06.09 Tokyo.R #70 BeginneR Session – Bayesian Modeling 2018.07.15 Tokyo.R

    #71 Landscape with R – the Japanese R community 2018.10.20 Tokyo.R #73 BeginneR Session – Visualization & Plot 2019.01.19 Tokyo.R #75 BeginneR Session – Data pipeline 2019.03.02 Tokyo.R #76 BeginneR Session – Data pipeline 2019.04.13 Tokyo.R #77 BeginneR Session – Data analysis 2019.05.25 Tokyo.R #78 BeginneR Session – Data analysis
  5. BeginneR Session

  6. BeginneR

  7. BeginneR Advanced Hoxo_m If I have seen further it is

    by standing on the shoulders of Giants. -- Sir Isaac Newton, 1676
  8. Before After BeginneR Session BeginneR BeginneR

  9. BeginneR Session - 確率の基礎 -

  10. 今回は

  11. 新作です!

  12. ‧スライドが⽇本語です ‧難しいかも ‧分かりやすさを優先する ため単純化しました。

  13. ‧スライドが⽇本語です ‧難しいかも ‧分かりやすさを優先する ため単純化しました ていません(ちょっとだけ)。

  14. で、

  15. 確率変数は正規分布に従う

  16. 確率変数は正規分布に従う 【今⽇の⽬標】 を完全に理解する。

  17. = () 関数

  18. : → 空間 空間 写像 = () 関数は写像。

  19. : → 空間 空間 写像 Ω空間 空間 写像 確率を求める関数も写像。

  20. へのへのもへサイコロ へ の の へ も へ

  21. へのへのもへサイコロ 根元事象 標本空間Ω ⾯1 : へ ⾯2 : の ⾯3

    : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  22. へのへのもへサイコロ ⾯1 : へ ⾯2 : の ⾯3 : へ

    ⾯4 : の ⾯5 : も ⾯6 : へ 根元事象 へ も の 事象 標本空間Ω 事象族ℱ
  23. へのへのもへサイコロ 根元事象 へ も の 事象 1 2 1 3

    1 6 標本空間Ω 事象族ℱ 確率 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  24. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    1 3 1 6 関 数 確率 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  25. 0 ≤ ≤ 1 : ℱ → [0,1] Ω (標本空間)

    写像 ̅ 事象 [0,1]空間 事象族 : → 空間 空間 写像
  26. 事象族ℱの性質 ℱ ⊆ Ω ∅, Ω ∈ ℱ ℱ =

    1 , 2 , … ≠ ∅ ∈ ℱ ⇒ ̅ ∈ ℱ I ∈ ℱ ⇒ J I ∈ ℱ I → ℱはσ-加法族である
  27. 写像の性質 : ℱ → [0,1] (Ω) = 1 → が確率測度である。

    ⇒ (⋃ I I ) = ∑ ( I I ) ∀ I ∩ P = ∅ ( ≠ )
  28. 0 ≤ ≤ 1 : ℱ → [0,1] Ω (標本空間)

    写像 ̅ 確率空間(Ω, ℱ, ) probability space 事象 [0,1]空間 事象族 確率測度
  29. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    1 3 1 6 確率 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  30. 「で、君、それは何点なんだね?」 Mr. IF

  31. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  32. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 1点 実数空間R 2点 1点 2点 3点 1点 実現値 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  33. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 1点 実数空間R 2点 1点 2点 3点 1点 実現値 関 数 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  34. 0 ≤ ≤ 1 : ℱ → [0,1] Ω (標本空間)

    [0,1]空間 ̅ 確率空間(Ω, ℱ, ) probability space 事象 : Ω → R R (実数空間) (実現値) (確率変数) 事象族
  35. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 :

    Ω → R R (実数空間) (実現値) (確率変数) = ⇔ U1() = より厳密には U1 : = { ∈ Ω| ∈ } ∈ ℱ : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space U1: R → Ω
  36. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (実現値)

    R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space U1: R → Ω
  37. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (実現値)

    R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space U1: R → Ω : R → [0,1] (確率分布)
  38. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (実現値)

    R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space U1: R → Ω : R → [0,1] (確率分布) = U1 = ∋ = = 確率 確率分布 実現値 確率変数 事象 根元事象 確率測度
  39. へのへのもへサイコロ = ( = ) =

  40. さんの⾝⻑\ が180cmである確率 \ 0 300 実数空間R \

  41. 事象\ さんの⾝⻑\ が180cmである確率 \ 0 300 実数空間R 標本空間Ω 確率変数 \

  42. 事象\ さんの⾝⻑\ が180cmである確率 \ 0 300 実数空間R 標本空間Ω 事象族ℱ \

    = 180.01 \ = 180.02 \ = 179.99 \ = 180.00 ... 確率変数 \
  43. 事象\ さんの⾝⻑\ が180cmである確率 \ \ 0 300 実数空間R 標本空間Ω 事象族ℱ

    \ = 180.01 \ = 180.02 \ = 179.99 \ = 180.00 ... 確率 \ ≅ 0 \ ≅ 0 \ ≅ 0 \ ≅ 0 ... 確率変数
  44. = (| = ) = = 180 ≅ 0 !?

    180
  45. さんの⾝⻑\ が180cmである確率 \ 事象族ℱの性質より、 I ∈ ℱ ⇒ J I

    ∈ ℱ I (⾜したものもℱ に含まれるよ) だいたい180cmである確率
  46. さんの⾝⻑\ が180cmである確率 \ だいたい180cmである確率 事象族ℱの性質より、 I ∈ ℱ ⇒ J

    I ∈ ℱ I 確率測度の性質より、 ∀ I ∩ P = ∅ ⇒ J I I = d ( I I ) (事象が互いに素なら、和事象の確率は、事象の確率の和だよ) ≠
  47. さんの⾝⻑\ が180cmである確率 \ ≅ 180 = J I e If1

    = d I e If1 = g = 1ijk∆ 1ijU∆ = g () 1ijk∆ 1ijU∆ だいたい180cmである確率
  48. = = = = g n Ue

  49. (無理やり描画) 1 ∞ = () = g n Ue 確率分布():

    定義域 pIq , prn において均⼀
  50. (無理やり描画) 1 prn − pIq 1 ∞ = () =

    g n Ue f() = 1 確率分布(): 定義域 pIq , prn において均⼀
  51. (無理やり描画) 1 prn − pIq 1 ∞ = () =

    g n Ue f() = 1 確率分布(): 定義域 pIq , prn において均⼀ g u r = g f u r = |rvnvu
  52. = = = = g n Ue f() = 1

    |rvnvu = g f u r 確率分布 累積分布 確率密度 確率
  53. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (確率変数)

    (実現値) : Ω → R R (実数空間) : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度)
  54. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (実現値)

    R (実数空間) : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) U1: R → Ω
  55. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 :

    R → [0,1] (確率分布) (実現値) R (実数空間) : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) U1: R → Ω
  56. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 :

    R → [0,1] (確率分布) R (実数空間) : ℱ → [0,1] (確率測度) U1: R → Ω 確率空間(Ω, ℱ, ) probability space 確率空間(R, ℛ, ) (実現値) 事象族
  57. もし、わからない事があったら 完全に理解しているヒトにドンドン聞いてみよう!

  58. 確率変数は正規分布に従う

  59. 確率変数は正規分布に従う 確率密度関数f が f |, 2 = 1 22 U

    (nU|)} 2~}
  60. f |, 2 = 1 22 U (nU|)} 2~} 確率密度関数f

    が 「お、要するにy = Un} を考えて = でprn , = ±∞でpIq = 0 。 理解 そのなだらかさの度合いがかな。」
  61. f |, 2 = 1 22 U (nU|)} 2~} 確率密度関数f

    が 完全理解 (論理) 「にゃーん」 理解 「お、要するにy = Un} を考えて = でprn , = ±∞でpIq = 0 。 そのなだらかさの度合いがかな。」
  62. y <- function(x, mu = 0, s = 1){ (2

    * pi * s^2)^(-1/2) * exp(-(x - mu)^2/(2 * s^2)) } plot(y, -5, 5) f |, 2 = 1 22 U (nU|)} 2~} 確率密度関数f が
  63. y <- function(x, mu = 0, s = 1){ (2

    * pi * s^2)^(-1/2) * exp(-(x - mu)^2/(2 * s^2)) } plot(y, -5, 5) f |, 2 = 1 22 U (nU|)} 2~} 確率密度関数f が
  64. library(tidyverse) dat_g <- data.frame(x = seq(-5, 5, by = 0.1))

    %>% mutate(y = dnorm(x, 0, 1)) dat_g %>% ggplot(aes(x, y))+ geom_path() f |, 2 = 1 22 U (nU|)} 2~} 確率密度関数f が
  65. 確率分布に関わるRの関数群 d** (第1引数はx座標) p** (第1引数はx座標) r** (第1引数は個数) q** (第1引数は割合) 確率密度関数

    累積確率分布 乱数 確率点 確率分布の略号 正規分布: ポアソン分布: ⼀様分布: 対数正規分布: ベータ分布: norm pois unif lnorm beta などなど
  66. 確率分布に関わるRの関数群 d** (第1引数はx座標) p** (第1引数はx座標) r** (第1引数は個数) q** (第1引数は割合) 確率密度関数

    累積確率分布 乱数 確率点 確率分布の略号 正規分布: ポアソン分布: ⼀様分布: 対数正規分布: ベータ分布: norm pois unif lnorm beta などなど 済 済
  67. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ (確率変数) (実現値)

    : Ω → R R (実数空間) : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度)
  68. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ (確率変数) (実現値)

    : Ω → R : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) ランダムに選ばれたI∈ℕ R (実数空間) 乱数: 対応する実現値I∈ℕ
  69. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 1点 実数空間R 2点 1点 2点 3点 1点 実現値 関 数 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  70. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 1点 実数空間R 2点 1点 2点 3点 1点 実現値 関 数 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ ここをランダムに した時の この値が 乱数
  71. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 1点 実数空間R 2点 1点 2点 3点 1点 実現値 関 数 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ ここをランダムに した時の この値が 乱数 標本空間から サンプリングする
  72. 正規分布の乱数 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ (確率変数)

    (実現値) : Ω → R : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) ランダムに選ばれたI∈ℕ R (実数空間) 乱数: 対応する実現値I∈ℕ Ωにおけるの分布は ⼀般には取り扱えない (ピッタリ180cmの確率はゼロ)
  73. 正規分布の乱数 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ (確率変数)

    (実現値) : Ω → R : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) ランダムに選ばれたI∈ℕ R (実数空間) 乱数: 対応する実現値I∈ℕ Ωにおけるの分布は ⼀般には取り扱えない (ピッタリ180cmの確率はゼロ) こっちから攻める U1
  74. 正規分布の乱数 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ (確率変数)

    (実現値) : Ω → R : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) ランダムに選ばれたI∈ℕ R (実数空間) 乱数: 対応する実現値I∈ℕ Ωにおけるの分布は ⼀般には取り扱えない (ピッタリ180cmの確率はゼロ) こっちから攻める これも直接 扱えないので FU1 こっちを使う U1
  75. 正規分布の乱数 累積分布()は必ず0 ≤ ≤ 1で、かつ、単調増加関数。 = を[0, 1]において均⼀にサンプリングすれば良い。 I I

    =
  76. 1 ∞ 正規分布の乱数 累積分布()は必ず0 ≤ ≤ 1で、かつ、単調増加関数。 = を[0, 1]において均⼀にサンプリングすれば良い。

    ⼀様分布の確率分布 1 すごく大きい数 近似 Rで取り扱える最⼤数は103jjぐらい?
  77. set.seed(71) dat <- data.frame(x = rnorm(3000)) %>% rowid_to_column("index") ggplot(dat, aes(x))+

    geom_histogram()+ coord_flip() ggplot(dat, aes(index, x))+ geom_point()
  78. 確率変数は正規分布に従う 確率密度関数f が f |, 2 = 1 22 U

    (nU|)} 2~} となる確率分布から⽣じるサンプルを 実現値に持つ確率変数を考える。
  79. まとめ

  80. へのへのもへサイコロ へ の の へ も へ

  81. 根元事象 へ も の 事象 標本空間Ω 事象族ℱ へのへのもへサイコロ 1 2

    確率 1 3 1 6 1点 実数空間R 2点 1点 2点 3点 1点 実現値 関 数 関 数 ⾯1 : へ ⾯2 : の ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ
  82. 事象\ さんの⾝⻑\ が180cmである確率 \ \ 0 300 実数空間R 標本空間Ω 事象族ℱ

    \ = 180.01 \ = 180.02 \ = 179.99 \ = 180.00 ... 確率 \ ≅ 0 \ ≅ 0 \ ≅ 0 \ ≅ 0 ... 確率変数
  83. (無理やり描画) 1 prn − pIq 1 ∞ = () =

    g n Ue f() = 1 確率分布(): 定義域 pIq , prn において均⼀ g u r = g f u r = |rvnvu
  84. = = = = g n Ue f() = 1

    |rvnvu = g f u r 確率分布 累積分布 確率密度 確率
  85. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 :

    R → [0,1] (確率分布) R (実数空間) : ℱ → [0,1] (確率測度) U1: R → Ω 確率空間(Ω, ℱ, ) probability space (実現値)
  86. 正規分布に従う乱数 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ (確率変数)

    (実現値) : Ω → R : ℱ → [0,1] 確率空間(Ω, ℱ, ) probability space (確率測度) ランダムに選ばれたI∈ℕ R (実数空間) 乱数: 対応する実現値I∈ℕ こっちから攻める U1
  87. set.seed(71) dat <- data.frame(x = rnorm(3000)) %>% rowid_to_column("index") ggplot(dat, aes(x))+

    geom_histogram()+ coord_flip() ggplot(dat, aes(index, x))+ geom_point()
  88. 確率分布に関わるRの関数群 d** (第1引数はx座標) p** (第1引数はx座標) r** (第1引数は個数) q** (第1引数は割合) 確率密度関数

    累積確率分布 乱数 確率点 確率分布の略号 正規分布: ポアソン分布: ⼀様分布: 対数正規分布: ベータ分布: norm pois unif lnorm beta などなど 済 済 済
  89. 確率変数は正規分布に従う 【今⽇の⽬標】 を完全に理解する。

  90. もし、わからない事があったら 完全に理解しているヒトにドンドン聞いてみよう!

  91. Before After BeginneR Session BeginneR BeginneR

  92. BeginneR Advanced Hoxo_m If I have seen further it is

    by standing on the shoulders of Giants. -- Sir Isaac Newton, 1676
  93. enjoy!

  94. bar dradra

  95. None
  96. 標本空間Ω上の事象族ℱから区間[0,1]への 写像として確率測度を定義することで、 Ω上の事象に対応する確率を得る。 から区間[0,1]への写像として、 確率分布(x)を定義することで、 空間 (, ℛ, ) が確率空間として振る舞える。

    Ωから実数空間Rへの写像を、 確率変数として定義することで、 その逆により 上に適切な事象族 ℛ を得る。 これによりの実現値に対応するを、 確率空間(, ℛ, )上で求める事が可能となる。 [1] [2] [3] [4]
  97. 事象I へのへのもへサイコロ Ω R X: Ω → R I ∈

    1,2, … , ∈ 1,2, … , 事象I Ω R X: Ω → R I ∈ 1,2, … , ∞ ∈ 1,2, … , ∞
  98. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (実現値)

    R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space : Ω → R (確率変数)
  99. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (確率変数)

    : R → [0,1] (確率分布) = ∋ = = (実現値) 確率 確率分布 実現値 確率変数 事象 : Ω → R R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space
  100. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (確率変数)

    : ℛ → [0,1] (確率分布) (実現値) : Ω → R R (実数空間) : ℱ → [0,1] 事象族 確率空間(R, ℛ, ) probability space 事象族 確率変数を考える事で、実現値が存在する実数空間から[1,0]空間への写像である 確率分布を定義することができ、(R, , ) を確率空間として捉えられるようになった。
  101. 事象族ℱの性質より、 ℱ ⊆ Ω I ∈ ℱ ⇒ J I

    ∈ ℱ I∈ℕ 確率測度の性質より、 (Ω) = 1 ⇒ (⋃ I I ) = ∑ ( I I ) ∀ I ∩ P = ∅
  102. へのへのもへサイコロ ⾯1 : へ ⾯2 : の ⾯3 : へ

    ⾯4 : の ⾯5 : も ⾯6 : へ 根元事象 elementary event (atomic event) へ も の 事象 event 標本空間Ω sample space
  103. へのへのもへサイコロ ⾯1 : へ ⾯2 : の ⾯3 : へ

    ⾯4 : の ⾯5 : も ⾯6 : へ へ も の 事象 標本空間Ω sample space
  104. 1点 3点 2点 へのへのもへサイコロ ⾯1 : へ ⾯2 : の

    ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ へ も の 事象 標本空間Ω sample space 実数空間R
  105. 1点 3点 2点 へのへのもへサイコロ ⾯1 : へ ⾯2 : の

    ⾯3 : へ ⾯4 : の ⾯5 : も ⾯6 : へ へ も の 事象 標本空間Ω sample space 実数空間R 関 数
  106. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (確率変数)

    : R → [0,1] (確率分布) = ∋ = = (実現値) 確率 確率分布 実現値 確率変数 事象 : Ω → R R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space ※ この内容は⼀般性は失われない
  107. 0 ≤ ≤ 1 Ω (標本空間) [0,1]空間 ̅ 事象 (確率変数)

    : R → [0,1] (確率分布) = ∋ = = (実現値) 確率 確率分布 実現値 確率変数 事象 : Ω → R R (実数空間) : ℱ → [0,1] 事象族 確率空間(Ω, ℱ, ) probability space ※ この内容は⼀般性は失われないが、
  108. へ の も