ベイズの定理を感じよう〜ベイズ主義入門〜

by ueniki

Slide 1

Slide 1 text

Slide 2

Slide 2 text

上野彰大大阪府堺市生まれ・育ち東京大学大学院農学生命科学研究科卒 YOJO Technologies取締役・エンジニア責任者自己紹介 Twitter：@ueeeeniki

Slide 3

Slide 3 text

統計学史上最大の論争頻度主義統計学ベイズ統計学 VS

Slide 4

Slide 4 text

ベイズの定理ベイズ統計学とは、ベイズの定理を統計学的推測に応用した統計学古典的な統計学である頻度主義統計学とは、 ①何に確率を適用しているのか、 ② どのように推論を行うのかが異なる事前確率事後確率尤度トーマス・ベイズ（ 1701 - 1761年）

Slide 5

Slide 5 text

闇に葬られた統計学 ● ベイズの法則を巡る闘いは、19世紀後半の現代統計学の確立から21世紀初めまでの150年に渡って続いた血塗られた闘争 ● ベイズ統計学は、長く統計学の主流だった頻度主義統計学者たちによって弾圧されてきた（「頻度主義にあらずんば統計学にあらず」） ● この論争の中で人類が向き合ったのは、「人は証拠をどのように分析し、新たな情報が手に入ったときにどう考えを変え、不確かな状況下でいかに合理的な決定を下すのか」という問題（『異端の統計学ベイズ』） ● ベイズ統計学は今や統計学の主流になりつつある参考：『統計初心者がベイズ統計学に入門するまでの勉強法』（私記事）

Slide 6

Slide 6 text

頻度主義者によるベイズ主義批判「逆確率の理論（ベイズの理論）はある誤謬の上に立脚するものであって、完全に葬り去らなければならない」「誤り、おそらくは、数学界がこれほどまで深く関わってしまったただ一つの誤りだ」（ロナルド.A.フィッシャー）「逆確率の法則（ベイズの定理）は・・・死んだ。これらの法則は人目につかないところにきちんと埋葬されるべきものであって、そのミイラを教科書や試験用紙に残すべきではない。」（ジョージ・クリスタル）参考：『統計初心者がベイズ統計学に入門するまでの勉強法』（私記事）

Slide 7

Slide 7 text

壺B 壺A 壺A 壺A 壺B ベイズ推論による事後確率の計算例暗い部屋

Slide 8

Slide 8 text

壺B 壺A 壺A 壺A 壺B ベイズ推論による事後確率の計算例暗い部屋

Slide 9

Slide 9 text

壺B 壺A 壺A 壺A 壺B ベイズ推論による事後確率の計算例暗い部屋壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか問題観測されたデータのみを元にどちらの仮説（壺はAだったのかBだったのか）が正しそうかを推測する

Slide 10

Slide 10 text

壺B 壺B 壺A 暗い部屋ベイズ推論による事後確率の計算例壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか問題観測されたデータのみを元にどちらの仮説（壺はAだったのかBだったのか）が正しそうかを推測するどちら（壺A or B）の仮説をどの程度支持するべきか壺B 壺A

Slide 11

Slide 11 text

条件付き確率の考え方事象R：赤いボールが取り出される事象A：壺Aが選ばれる事象B：壺Bが選ばれる事象R 事象A 事象B

Slide 12

Slide 12 text

条件付き確率の考え方事象R 事象A 事象B 壺はAでかつ赤いボールが取り出される確率積事象の確率

Slide 13

Slide 13 text

条件付き確率の考え方事象R 事象A 事象B R 壺Aが選ばれた上で、赤いボールが取り出される確率壺Aが選ばれる確率条件付き確率 ✕ 事象A ✕ ✕ 壺はAでかつ赤いボールが取り出される確率積事象の確率

Slide 14

Slide 14 text

事象R 事象A 事象B 積事象の確率 R R ✕ 事象R 赤いボールが取り出された時に、その壺がAだった確率赤いボールが取り出される確率条件付き確率事象R 壺はAでかつ赤いボールが取り出される確率

Slide 15

Slide 15 text

条件付き確率の考え方

Slide 16

Slide 16 text

ベイズの定理の導出

Slide 17

Slide 17 text

ベイズの定理の導出

Slide 18

Slide 18 text

ベイズの定理の導出赤いボールが取り出された時に、その壺がAだった確率

Slide 19

Slide 19 text

ベイズの定理の導出 R R ✕ ✕ 赤いボールが取り出された時に、その壺がAだった確率

Slide 20

Slide 20 text

ベイズの定理とベイズ推論 Rという事象を観察したとする

Slide 21

Slide 21 text

AとBのどちらから出てきたのかは分からない Rという事象を観察したとするベイズの定理とベイズ推論

Slide 22

Slide 22 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する Rという事象を観察したとするベイズの定理とベイズ推論？

Slide 23

Slide 23 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとするベイズの定理とベイズ推論

Slide 24

Slide 24 text

Slide 25

Slide 25 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとするそもそもA or Bのどちらかである確率ベイズの定理とベイズ推論

Slide 26

Slide 26 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとするそもそもA or Bのどちらかである確率そもそもAが発生しやすいのか、Bが発生しやすいのかに事後確率は比例するベイズの定理とベイズ推論

Slide 27

Slide 27 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとするそもそもA or Bのどちらかである確率 Rの観測の前後でAが発生しやすいのか Bが発生しやすいのかが変化すると言えるベイズの定理とベイズ推論

Slide 28

Slide 28 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとするそもそもA or Bのどちらかである確率事前確率（事象観測前の事象の背景仮説の確率）ベイズの定理とベイズ推論 Rの観測の前後でAが発生しやすいのか Bが発生しやすいのかが変化すると言える

Slide 29

Slide 29 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとする A or Bのどちらかの仮説が正しいとした場合にRが発生し得る確率ベイズの定理とベイズ推論

Slide 30

Slide 30 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとする背景からの事象の発生しやすさに背景の事後確率は比例する A or Bのどちらかの仮説が正しいとした場合にRが発生し得る確率ベイズの定理とベイズ推論

Slide 31

Slide 31 text

AとBのどちらから出てきたのかは分からないそのRが Aから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？ Rという事象を観察したとする A or Bのどちらかの仮説が正しいとした場合にRが発生し得る確率尤度（背景仮説選択後の事象の尤もらしさの程度）ベイズの定理とベイズ推論背景からの事象の発生しやすさに背景の事後確率は比例する

Slide 32

Slide 32 text

ベイズ推論による事後確率の計算例全仮説事象R 仮説A 仮説B 問題壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 33

Slide 33 text

ベイズ推論による事後確率の計算例全仮説事象R 仮説A 仮説B 問題正規化定数壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 34

Slide 34 text

ベイズ推論による事後確率の計算例全仮説事象R 仮説A 仮説B 問題正規化定数事後確率壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 35

Slide 35 text

ベイズ推論による事後確率の計算例全仮説事象R 仮説A 仮説B 問題正規化定数＜ボールを取り出した壺はAだったのではないかと考える方が確からしそうだ事後確率壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 36

Slide 36 text

壺B 壺B 壺A 暗い部屋ベイズ推論による事後確率の計算例問題観測されたデータのみを元にどちらの仮説（壺はAだったのかBだったのか）が正しそうかを推測するどちら（壺A or B）の仮説をどの程度支持するべきか壺B 壺A 壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 37

Slide 37 text

壺B 壺A 壺B 壺B 壺A 暗い部屋ベイズの定理と事前確率壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか問題事後確率を計算できない状況では事前確率も分からないはず事前確率が分からない状況でどちら（壺A or B）の仮説をどの程度支持するべきかを決められるのか？

Slide 38

Slide 38 text

ベイズの定理と事前確率全仮説事象R 事象R 仮説A 仮説B ＜＜

Slide 39

Slide 39 text

ベイズの定理と事前確率全仮説事象R 事象R 仮説A 仮説B ＜＜大小が逆転する

Slide 40

Slide 40 text

ベイズ主義における確率の主観的解釈 ● 事前確率が分かっていて、何度もボールを取り出し、その度に取り出した壺の答え合わせができるのであれば、ボールを取り出したのが実際に壺A、壺Bであった確率は、P(A|R)、P(B|R)に近づいていく ● 観測によって事前確率を決められない場合には、事前確率の決め方によって推論結果が大きく変わってしまうにも関わらず、事前確率を主観的に決めざるを得ない ○ データ分析における科学的客観性を本質的・根本的に脅かす ● ベイズ主義では、確率を「仮説に対する信念の度合い」として解釈することで、事前確率を客観的に決められない場合であっても、ベイズの定理によって事後確率を求め、推論を行うことができるとする ○ 「仮説に対する信念の度合い」として扱う確率を主観確率という

Slide 41

Slide 41 text

主観確率と客観確率 ● ベイズ主義は、確率を「仮説に対する信念の度合い」＝「主観確率」としてを扱うことを許すが、頻度主義は、確率を「客観的な頻度（何分の何起こるか）」＝「客観確率」としてしか扱わない ● 下記のような一期一会な事象は、同じ状況で試行を繰り返す思考実験ができず、客観確率を考えることはできないが、主観確率では表現することができる ○ 「あなたがAさんと1ヶ月以内にお付き合いできる確率」 ○ 「この容疑者がBさん殺害の真犯人である確率」 ○ 「火星に知的生命体がかつて生息していた確率」

Slide 42

Slide 42 text

逆確率の理論は誤謬の上に立脚するものであって、完全に葬り去られなければならない観測上の根拠が前もって存在するような場合を除くと、逆確率の方法では、既知の標本が取り出された母集団に関する推論を、確率的に表現することはできないのであるフィッシャーによるベイズ推論批判とその例外ロナルド.A.フィッシャー（1890年 - 1962年）

Slide 43

Slide 43 text

Slide 44

Slide 44 text

頻度主義者によるベイズ主義批判 ● 頻度主義が批判するベイズ主義のポイントは、① 確率を「仮説に対する信念の度合い」＝主観確率として解釈すること、② 事前確率を主観的に決めること ● 事前確率に客観的頻度＝客観確率を用いることができる場合は、頻度主義者もベイズの定理による事後確率の推論を認めざるを得ず、実際、何度もボールを取り出し、その度に取り出した壺の答え合わせができるのであれば、ボールを取り出したのが壺A、壺Bであった確率は、P(A|R)、P(B|R)に近づいていくはずであるというように事後確率を頻度で解釈する ● 一方で、確率推論や統計学的推論において、事前確率に客観的根拠が存在することは決して多くはないので、頻度主義では推論対象についての仮説・命題を確率的に表す＝事前・事後確率を考えるようなことはしない ○ 「例：ボールを取り出した壺がAだった確率、〇〇の平均身長が 170cm以上である確率、A群の平均の重さよりもB群の平均の重さの方が大きい確率」といった推論対象についての確率を表すことはできない

Slide 45

Slide 45 text

事前確率の主観性に対する批判へのベイズ主義者の応答 ● 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そうであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を適用する ○ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか ○ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな対処ではない（『基礎からのベイズ統計学』） ● 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれば、実際上の問題にはならないとベイズ主義者は主張する（『統計学を哲学する』） ○ 実際には限られたデータから推論したい場面が多い ● 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころか、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定的な立場はまだない（『基礎からのベイズ統計学』）

Slide 46

Slide 46 text

壺B 壺B 壺A 暗い部屋ベイズ更新による事後確率の計算例壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか問題壺B 壺A 10個中9個赤ボール事前確率は無情報としP(A)=P(B)=1/2とする（理由不十分の原則）

Slide 47

Slide 47 text

ベイズ更新による事後確率の計算例全仮説事象 R 1 ,R 2 ,…,R 10 仮説A 仮説B 問題正規化定数壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 48

Slide 48 text

ベイズ更新による事後確率の計算例全仮説事象 R 1 ,R 2 ,…,R 10 仮説A 仮説B 問題正規化定数 33倍事後確率壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 49

Slide 49 text

壺B 壺B 壺A 暗い部屋ベイズ更新による事後確率の計算例壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、そのうち4個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか問題壺B 壺A 10個中4個赤ボール事前確率は無情報としP(A)=P(B)=1/2とする（理由不十分の原則）

Slide 50

Slide 50 text

ベイズ更新による事後確率の計算例全仮説事象 R 1 ,R 2 ,…,R 10 仮説A 仮説B 問題正規化定数事後確率 94倍壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、そのうち4個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか

Slide 51

Slide 51 text

近年までベイズ主義が実用的でないとされてきた理由 ● 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そうであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を取る ○ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか ○ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな対処ではない（『基礎からのベイズ統計学』） ● 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれば、実際上の問題にはならないとベイズ主義者は主張する（『統計学を哲学する』） ○ 実際には限られたデータから推論したい場面が多い ● 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころか、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定的な立場はまだない（『基礎からのベイズ統計学』）

Slide 52

Slide 52 text

Slide 53

Slide 53 text

まとめ ● ベイズ主義は、今やデータ分析の主役に躍り出つつある ● 観測されたデータに基づき、仮説の事後確率をベイズの定理を用いて推測することをベイズ推論と呼ぶ ● ベイズ主義では、確率を「仮説に対する信念の度合い」として解釈することで、事前確率を客観的に決められない場合であっても、ベイズの定理によって事後確率を求め、推論を行うことができるとする ● 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころか、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定的な立場はまだない（『基礎からのベイズ統計学』）ため、主観確率の問題点を理解した上で使用することが望ましい