connpassで開催した勉強会『統計・機械学習の話をつまむ会〜ベイズ主義/ZeroshotLearning/ONNX/信頼できるAI』の内容スライドです。
確率論・統計学の世界で有名なベイズの定理を理解しましょう！
ベイズの定理の意味や使い方を説明し、歴史上なぜベイズの定理が多くの論争を生んできたのかも掴んでもらいたいと思います
# ベイズ主義 # ベイズ統計 # 統計入門 # 機械学習
ベイズの定理を感じよう〜ベイズ主義入門〜
View Slide
上野彰大大阪府堺市生まれ・育ち東京大学大学院農学生命科学研究科卒YOJO Technologies取締役・エンジニア責任者自己紹介Twitter：@ueeeeniki
統計学史上最大の論争頻度主義統計学 ベイズ統計学VS
ベイズの定理ベイズ統計学とは、ベイズの定理を統計学的推測に応用した統計学古典的な統計学である頻度主義統計学とは、 ①何に確率を適用しているのか、② どのように推論を行うのかが異なる事前確率事後確率尤度トーマス・ベイズ（ 1701 - 1761年）
闇に葬られた統計学● ベイズの法則を巡る闘いは、19世紀後半の現代統計学の確立から21世紀初めまでの150年に渡って続いた血塗られた闘争● ベイズ統計学は、長く統計学の主流だった頻度主義統計学者たちによって弾圧されてきた（「頻度主義にあらずんば統計学にあらず」）● この論争の中で人類が向き合ったのは、「人は証拠をどのように分析し、新たな情報が手に入ったときにどう考えを変え、不確かな状況下でいかに合理的な決定を下すのか」という問題（『異端の統計学ベイズ』）● ベイズ統計学は今や統計学の主流になりつつある参考：『統計初心者がベイズ統計学に入門するまでの勉強法』（私記事）
頻度主義者によるベイズ主義批判「逆確率の理論（ベイズの理論）はある誤謬の上に立脚するものであって、完全に葬り去らなければならない」「誤り、おそらくは、数学界がこれほどまで深く関わってしまったただ一つの誤りだ」（ロナルド.A.フィッシャー）「逆確率の法則（ベイズの定理）は・・・死んだ。これらの法則は人目につかないところにきちんと埋葬されるべきものであって、そのミイラを教科書や試験用紙に残すべきではない。」（ジョージ・クリスタル）参考：『統計初心者がベイズ統計学に入門するまでの勉強法』（私記事）
壺B壺A 壺A 壺A 壺Bベイズ推論による事後確率の計算例暗い部屋
壺B壺A 壺A 壺A 壺Bベイズ推論による事後確率の計算例暗い部屋壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか問題観測されたデータのみを元にどちらの仮説（壺はAだったのかBだったのか）が正しそうかを推測する
壺B 壺B 壺A暗い部屋ベイズ推論による事後確率の計算例壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか問題観測されたデータのみを元にどちらの仮説（壺はAだったのかBだったのか）が正しそうかを推測するどちら（壺A or B）の仮説をどの程度支持するべきか壺B壺A
条件付き確率の考え方事象R：赤いボールが取り出される事象A：壺Aが選ばれる事象B：壺Bが選ばれる事象R事象A 事象B
条件付き確率の考え方事象R事象A 事象B壺はAでかつ赤いボールが取り出される確率積事象の確率
条件付き確率の考え方事象R事象A 事象BR壺Aが選ばれた上で、赤いボールが取り出される確率壺Aが選ばれる確率条件付き確率✕事象A✕✕壺はAでかつ赤いボールが取り出される確率積事象の確率
事象R事象A 事象B積事象の確率RR✕ 事象R赤いボールが取り出された時に、その壺がAだった確率赤いボールが取り出される確率条件付き確率事象R壺はAでかつ赤いボールが取り出される確率
条件付き確率の考え方
ベイズの定理の導出
ベイズの定理の導出赤いボールが取り出された時に、その壺がAだった確率
ベイズの定理の導出RR✕✕赤いボールが取り出された時に、その壺がAだった確率
ベイズの定理とベイズ推論Rという事象を観察したとする
AとBのどちらから出てきたのかは分からないRという事象を観察したとするベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測するRという事象を観察したとするベイズの定理とベイズ推論？
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするそもそもA or Bのどちらかである確率ベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするそもそもA or Bのどちらかである確率そもそもAが発生しやすいのか、Bが発生しやすいのかに事後確率は比例するベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするそもそもA or Bのどちらかである確率Rの観測の前後でAが発生しやすいのかBが発生しやすいのかが変化すると言えるベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするそもそもA or Bのどちらかである確率 事前確率（事象観測前の事象の背景仮説の確率）ベイズの定理とベイズ推論Rの観測の前後でAが発生しやすいのかBが発生しやすいのかが変化すると言える
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするA or Bのどちらかの仮説が正しいとした場合にRが発生し得る確率ベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとする背景からの事象の発生しやすさに背景の事後確率は比例するA or Bのどちらかの仮説が正しいとした場合にRが発生し得る確率ベイズの定理とベイズ推論
AとBのどちらから出てきたのかは分からないそのRがAから出てきたのか or Bから出てきたのかを推測する事後確率（事象観測後の事象の背景仮説の確率）？Rという事象を観察したとするA or Bのどちらかの仮説が正しいとした場合にRが発生し得る確率尤度（背景仮説選択後の事象の尤もらしさの程度）ベイズの定理とベイズ推論背景からの事象の発生しやすさに背景の事後確率は比例する
ベイズ推論による事後確率の計算例全仮説事象R仮説A 仮説B問題 壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか
ベイズ推論による事後確率の計算例全仮説事象R仮説A 仮説B問題正規化定数壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか
ベイズ推論による事後確率の計算例全仮説事象R仮説A 仮説B問題正規化定数事後確率壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか
ベイズ推論による事後確率の計算例全仮説事象R仮説A 仮説B問題正規化定数＜ボールを取り出した壺はAだったのではないかと考える方が確からしそうだ事後確率壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか
壺B 壺B 壺A暗い部屋ベイズ推論による事後確率の計算例問題観測されたデータのみを元にどちらの仮説（壺はAだったのかBだったのか）が正しそうかを推測するどちら（壺A or B）の仮説をどの程度支持するべきか壺B壺A壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか
壺B壺A 壺B 壺B 壺A暗い部屋ベイズの定理と事前確率壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、そのボールは赤色だった、ボールを取り出した壺はAとBのどちらだったのだろうか問題事後確率を計算できない状況では事前確率も分からないはず事前確率が分からない状況でどちら（壺A or B）の仮説をどの程度支持するべきかを決められるのか？
ベイズの定理と事前確率全仮説事象R事象R仮説A 仮説B＜＜
ベイズの定理と事前確率全仮説事象R事象R仮説A 仮説B＜＜大小が逆転する
ベイズ主義における確率の主観的解釈● 事前確率が分かっていて、何度もボールを取り出し、その度に取り出した壺の答え合わせができるのであれば、ボールを取り出したのが実際に壺A、壺Bであった確率は、P(A|R)、P(B|R)に近づいていく● 観測によって事前確率を決められない場合には、事前確率の決め方によって推論結果が大きく変わってしまうにも関わらず、事前確率を主観的に決めざるを得ない○ データ分析における科学的客観性を本質的・根本的に脅かす● ベイズ主義では、確率を「仮説に対する信念の度合い」として解釈することで、事前確率を客観的に決められない場合であっても、ベイズの定理によって事後確率を求め、推論を行うことができるとする○ 「仮説に対する信念の度合い」として扱う確率を主観確率という
主観確率と客観確率● ベイズ主義は、確率を「仮説に対する信念の度合い」＝「主観確率」としてを扱うことを許すが、頻度主義は、確率を「客観的な頻度（何分の何起こるか）」＝「客観確率」としてしか扱わない● 下記のような一期一会な事象は、同じ状況で試行を繰り返す思考実験ができず、客観確率を考えることはできないが、主観確率では表現することができる○ 「あなたがAさんと1ヶ月以内にお付き合いできる確率」○ 「この容疑者がBさん殺害の真犯人である確率」○ 「火星に知的生命体がかつて生息していた確率」
逆確率の理論は誤謬の上に立脚するものであって、完全に葬り去られなければならない観測上の根拠が前もって存在するような場合を除くと、逆確率の方法では、既知の標本が取り出された母集団に関する推論を、確率的に表現することはできないのであるフィッシャーによるベイズ推論批判とその例外ロナルド.A.フィッシャー（1890年 - 1962年）
逆確率の理論は誤謬の上に立脚するものであって、完全に葬り去られなければならない観測上の根拠が前もって存在するような場合を除くと、逆確率の方法では、既知の標本が取り出された母集団に関する推論を、確率的に表現することはできないのであるフィッシャーによるベイズ推論批判とその例外ロナルド.A.フィッシャー（1890年 - 1962年）事前確率に観測上の根拠が存在する場合には、ベイズ推論（逆確率の方法）を認めているとも言える
頻度主義者によるベイズ主義批判● 頻度主義が批判するベイズ主義のポイントは、① 確率を「仮説に対する信念の度合い」＝主観確率として解釈すること、② 事前確率を主観的に決めること● 事前確率に客観的頻度＝客観確率を用いることができる場合は、頻度主義者もベイズの定理による事後確率の推論を認めざるを得ず、実際、何度もボールを取り出し、その度に取り出した壺の答え合わせができるのであれば、ボールを取り出したのが壺A、壺Bであった確率は、P(A|R)、P(B|R)に近づいていくはずであるというように事後確率を頻度で解釈する● 一方で、確率推論や統計学的推論において、事前確率に客観的根拠が存在することは決して多くはないので、頻度主義では推論対象についての仮説・命題を確率的に表す＝事前・事後確率を考えるようなことはしない○ 「例：ボールを取り出した壺がAだった確率、〇〇の平均身長が170cm以上である確率、A群の平均の重さよりもB群の平均の重さの方が大きい確率」といった推論対象についての確率を表すことはできない
事前確率の主観性に対する批判へのベイズ主義者の応答● 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そうであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を適用する○ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか○ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな対処ではない（『基礎からのベイズ統計学』）● 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれば、実際上の問題にはならないとベイズ主義者は主張する（『統計学を哲学する』）○ 実際には限られたデータから推論したい場面が多い● 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころか、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定的な立場はまだない（『基礎からのベイズ統計学』）
壺B 壺B 壺A暗い部屋ベイズ更新による事後確率の計算例壺が見えない暗い部屋に入って、壺の中のボールを10個取り出ししたところ、そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか問題壺B壺A10個中9個赤ボール事前確率は無情報としP(A)=P(B)=1/2とする（理由不十分の原則）
ベイズ更新による事後確率の計算例全仮説事象R1,R2,…,R10仮説A 仮説B問題正規化定数壺が見えない暗い部屋に入って、壺の中のボールを10個取り出ししたところ、そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか
ベイズ更新による事後確率の計算例全仮説事象R1,R2,…,R10仮説A 仮説B問題正規化定数33倍事後確率壺が見えない暗い部屋に入って、壺の中のボールを10個取り出ししたところ、そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか
壺B 壺B 壺A暗い部屋ベイズ更新による事後確率の計算例壺が見えない暗い部屋に入って、壺の中のボールを10個取り出ししたところ、そのうち4個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか問題壺B壺A10個中4個赤ボール事前確率は無情報としP(A)=P(B)=1/2とする（理由不十分の原則）
ベイズ更新による事後確率の計算例全仮説事象R1,R2,…,R10仮説A 仮説B問題正規化定数事後確率94倍壺が見えない暗い部屋に入って、壺の中のボールを10個取り出ししたところ、そのうち4個のボールは赤色だった、毎回ボールは壺に戻すとすると、ボールを取り出した壺はAとBのどちらだったのだろうか
近年までベイズ主義が実用的でないとされてきた理由● 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そうであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を取る○ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか○ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな対処ではない（『基礎からのベイズ統計学』）● 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれば、実際上の問題にはならないとベイズ主義者は主張する（『統計学を哲学する』）○ 実際には限られたデータから推論したい場面が多い● 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころか、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定的な立場はまだない（『基礎からのベイズ統計学』）
まとめ● ベイズ主義は、今やデータ分析の主役に躍り出つつある● 観測されたデータに基づき、仮説の事後確率をベイズの定理を用いて推測することをベイズ推論と呼ぶ● ベイズ主義では、確率を「仮説に対する信念の度合い」として解釈することで、事前確率を客観的に決められない場合であっても、ベイズの定理によって事後確率を求め、推論を行うことができるとする● 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころか、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定的な立場はまだない（『基礎からのベイズ統計学』）ため、主観確率の問題点を理解した上で使用することが望ましい
ueniki
higgi13425
saltcooky12
rabernat
genomethica
thimblee
tagtag
ykamit
dasaptaerwin
mkkon
ngehlenborg
koro485
tanoku
zakiwarfel
rmw
matthewcrist
bkeepers
chrislema
michaelherold
trishagee
paulrobertlloyd
cassininazir
davidbonilla
deanohume