170503_BayesianMethods4Hackers_1

Transcript

1. Pythonで体験するベイズ推論 - PyMCによるMCMC入門 - 第1部 ベイズ推論の考え方 • 頻度主義とベイズ主義の解釈の違い • ポアソン分布と指数分布 2017/5/4 1
2. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.1 ベイズ推論の考え方 例）飛行機事故の確率  年に1回しか飛行機の飛ばない、飛行場Aにおける飛行機事故の確率  頻度主義：Frequentist • The long-run frequency of events • 調査期間中に、飛行機事故が何回起きたか  年に1度の飛行で事故が起きたら、事故の確率は100%  ベイズ主義：Bayesian • Believability in an event • 調査期間中に、飛行機事故が何回起きたか • ＋同型の飛行機の事故確率（客観）  同型の飛行機では、1度も事故は起きていない。 • ＋飛行機事故の常識的な頻度（主観）  99.9％以上の確率で事故は起こらないはず。 2 p1 ① マーケティング思考 他の情報がなければ、頻度主義と確率は変わらない ① ベイズ推論の考え方 「同型の飛行機なら、飛行場Aでも、 他の飛行場と同じ確率で事故が起 きないだろう」というのは主観 頻度主義では、命題を変えることによって、追加の情報を扱うこ とができる。「飛行場Aにおける飛行機の事故確率」という命題 のまま、追加の情報を扱えるのが、ベイズ主義の特徴である。
3. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論  ベイズの定理 = (|)() ∝ () = (|)() = (|)() = + + 1.2 ベイズ推論の枠組み 3 P4 ② ベイズ推論の枠組み
4. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.2 ベイズ推論の枠組み 例）スティーブは司書になりそうか？  与えられた情報X • スティーブは内向的と言われている  知りたいこと… = (|)() • スティーブが内向的である時、司書である確率  事前確率 を何にするか • 男性の職業比率→ スティーブが司書である確率 農家：司書＝20：1 () = 1 21 ≈ 0.047  尤度 を何にするか • スティーブが司書である時、内向的と言われる確率 =0.95 4 p8 ② ベイズ推論の枠組み 近似：approximately equal(=nearly equal)
5. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.2 ベイズ推論の枠組み  とは … = + ＝0.95 × 1 21 + × 20 21 • を何にするか • スティーブが農家である時、内向的と言われる確率 =0.5 = 0.95 × 1 21 + 0.5 × 20 21 ≈ 0.52  事後確率 　　　 = (|)() ＝ 0.95 × 1 21 0.52 ≈ 0.087 5 p8 () ≈ 0.047 ② ベイズ推論の枠組み
6. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.3 確率分布 6 P10  確率分布とは：probability distribution • 確率変数の起こる確率の対応 例）サイコロ • 確率変数：random variable • サイコロの値(1～6) • 確率分布関数：probability distribution function • ある目が出る確率（1/6）を与える関数  確率変数の種類 • 離散確率変数：ジャストの値が存在する値 • サイコロ、価格 • 連続確率変数：小数点以下を無限に取れる値 • 温度、時間 • 混合型 • コインを投げて表が出た時のみルーレットを回す（by wikipedia） – 表：ルーレットの角度は無限 – 裏：1/2 1 2 3 4 5 6 1/6 1/6 1/6 1/6 1/6 1/6 ③ 確率分布 離散分布を利用するが、パラメータ が連続確率変数の場合など
7. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.3 確率分布  二項分布 • ベルヌーイ試行を n 回行った時に、事象が何回起こるかの確率分布 = = (1 − ) − 例）コインを2回投げて、表が1回出る確率 = 1 = 1 2 × 0.51 × 1 − 0.5 = 0.25 • nが大きい場合→ 正規分布 • nが大きく、pが小さい場合→ ポアソン分布  一様分布 • 確率変数がどんな値でも、起こる確率値が同じ 7 試行結果が2種類（True/False）の試行 Pの組み合わせ 表が出る確率 表が出ない確率 ③ 確率分布
8. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.3 確率分布（離散確率変数/連続確率変数）  確率質量関数（Probability mass function） = = − ! , = 0,1,2,3 … • 離散型確率分布 • ポアソン分布(Poisson distribution) 単位時間あたりに平均 λ 回起こる現象： = ~Poi()  確率密度分布関数（Probability density distribution function） (|) = − , ≥ 0 • 連続型確率分布 • 指数分布(exponential distribution) 単位時間あたりに平均λ回起こるイベントの発生間隔： = ~E() 8 | = λ：期待値（平均）が分散と等しい | = 1 λ：期待値がパラメータの逆数 ③ 確率分布
9. ① ベイズ推論の考え方 ② ベイズ推論の枠組み ③ 確率分布 ④ コンピュータに ベイズ推論 1.4 コンピュータにベイズ推論をさせるには  知りたいこと：メール受信数の変化 • 1日あたりに受信したメールの数は整数 → ポアソン分布 = ~Poi() • 変化があった場合 • 観測期間内のある日（τ）にパラメータが変化する （変化がなければ、1 = 2 ） λ = 1 < λ = 2 ( ≥ ) 知りたいことは、1 と2 • 事前分布を決めるには→指数分布 1 ~E 1 =0 ≈ | = 1 = = 1/70 9kan α：ハイパーパラメータ 他のパラメータ（1 ）のパラメータ 指数分布 データ数が70日分 変化点は同等の確率 ④ STPと4Ps ④ コンピュータに ベイズ推論 事前分布λ（平均） λは正の実数値であるから