Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ベイズの定理を感じよう〜ベイズ主義入門〜

ueniki
September 05, 2022

 ベイズの定理を感じよう〜ベイズ主義入門〜

connpassで開催した勉強会『統計・機械学習の話をつまむ会〜ベイズ主義/ZeroshotLearning/ONNX/信頼できるAI』の内容スライドです。

確率論・統計学の世界で有名なベイズの定理を理解しましょう!

ベイズの定理の意味や使い方を説明し、歴史上なぜベイズの定理が多くの論争を生んできたのかも掴んでもらいたいと思います

# ベイズ主義 # ベイズ統計 # 統計入門 # 機械学習

ueniki

September 05, 2022
Tweet

More Decks by ueniki

Other Decks in Science

Transcript

  1. 事象R 事象A 事象B 積事象の確率 R R ✕ 事象R 赤いボールが取り出さ れた時に、

    その壺がAだった確率 赤いボールが 取り出される確率 条件付き確率 事象R 壺はAでかつ赤いボールが取り出される確率
  2. AとBのどちらから 出てきたのかは分からない そのRが Aから出てきたのか or Bから出てきたのか を推測する 事後確率 (事象観測後の事象の背景仮説の確率) ?

    Rという事象を観察したとする そもそもA or Bのどちらかである確率 そもそもAが発生しやすいのか、Bが発生しや すいのかに事後確率は比例する ベイズの定理とベイズ推論
  3. AとBのどちらから 出てきたのかは分からない そのRが Aから出てきたのか or Bから出てきたのか を推測する 事後確率 (事象観測後の事象の背景仮説の確率) ?

    Rという事象を観察したとする そもそもA or Bのどちらかである確率 Rの観測の前後でAが発生しやすいのか Bが発生しやすいのかが変化すると言える ベイズの定理とベイズ推論
  4. AとBのどちらから 出てきたのかは分からない そのRが Aから出てきたのか or Bから出てきたのか を推測する 事後確率 (事象観測後の事象の背景仮説の確率) ?

    Rという事象を観察したとする そもそもA or Bのどちらかである確率 事前確率(事象観測前の事象の背景仮説の確率) ベイズの定理とベイズ推論 Rの観測の前後でAが発生しやすいのか Bが発生しやすいのかが変化すると言える
  5. AとBのどちらから 出てきたのかは分からない そのRが Aから出てきたのか or Bから出てきたのか を推測する 事後確率 (事象観測後の事象の背景仮説の確率) ?

    Rという事象を観察したとする A or Bのどちらかの仮説が正しい とした場合にRが発生し得る確率 ベイズの定理とベイズ推論
  6. AとBのどちらから 出てきたのかは分からない そのRが Aから出てきたのか or Bから出てきたのか を推測する 事後確率 (事象観測後の事象の背景仮説の確率) ?

    Rという事象を観察したとする 背景からの事象の発生しやすさに 背景の事後確率は比例する A or Bのどちらかの仮説が正しい とした場合にRが発生し得る確率 ベイズの定理とベイズ推論
  7. AとBのどちらから 出てきたのかは分からない そのRが Aから出てきたのか or Bから出てきたのか を推測する 事後確率 (事象観測後の事象の背景仮説の確率) ?

    Rという事象を観察したとする A or Bのどちらかの仮説が正しい とした場合にRが発生し得る確率 尤度 (背景仮説選択後の事象の尤もらしさの程度) ベイズの定理とベイズ推論 背景からの事象の発生しやすさに 背景の事後確率は比例する
  8. ベイズ推論による事後確率の計算例 全仮説 事象R 仮説A 仮説B 問題 正規化定数 < ボールを取り出した壺はAだったのではないかと考える方が 確からしそうだ

    事後確率 壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、 そのボールは赤色だった、 ボールを取り出した壺はAとBのどちらだったのだろうか
  9. 壺B 壺B 壺A 暗い部屋 ベイズ推論による事後確率の計算例 問題 観測されたデータのみを元に どちらの仮説(壺はAだったのかBだったのか) が正しそうかを推測する どちら(壺A

    or B)の仮説をどの程度支持するべきか 壺B 壺A 壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、 そのボールは赤色だった、 ボールを取り出した壺はAとBのどちらだったのだろうか
  10. 壺B 壺A 壺B 壺B 壺A 暗い部屋 ベイズの定理と事前確率 壺が見えない暗い部屋に入って、壺の中のボールを取り出ししたところ、 そのボールは赤色だった、 ボールを取り出した壺はAとBのどちらだったのだろうか

    問題 事後確率を計算できない状況では 事前確率も分からないはず 事前確率が分からない状況で どちら(壺A or B)の仮説を どの程度支持するべきかを決められるのか?
  11. 頻度主義者によるベイズ主義批判 • 頻度主義が批判するベイズ主義のポイントは、① 確率を「仮説に対する信念の度合い」= 主観確率として解釈すること、② 事前確率を主観的に決めること • 事前確率に客観的頻度=客観確率を用いることができる場合は、頻度主義者もベイズの 定理による事後確率の推論を認めざるを得ず、 実際、何度もボールを取り出し、その度に取り出した壺の答え合わせができるのであれ

    ば、ボールを取り出したのが壺A、壺Bであった確率は、P(A|R)、P(B|R)に近づいていくは ずであるというように事後確率を頻度で解釈する • 一方で、確率推論や統計学的推論において、事前確率に客観的根拠が存在することは決 して多くはないので、頻度主義では推論対象についての仮説・命題を確率的に表す=事前 ・事後確率を考えるようなことはしない ◦ 「例:ボールを取り出した壺がAだった確率、〇〇の平均身長が 170cm以上である確率、A群の平均の重さより もB群の平均の重さの方が大きい確率」といった推論対象についての確率を表すことはできない
  12. 事前確率の主観性に対する批判へのベイズ主義者の応答 • 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そ うであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を適用する ◦ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか ◦ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな 対処ではない(『基礎からのベイズ統計学』)

    • 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれ ば、実際上の問題にはならないとベイズ主義者は主張する(『統計学を哲学する』) ◦ 実際には限られたデータから推論したい場面が多い • 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころ か、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定 的な立場はまだない(『基礎からのベイズ統計学』)
  13. ベイズ更新による事後確率の計算例 全仮説 事象 R 1 ,R 2 ,…,R 10 仮説A

    仮説B 問題 正規化定数 壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、 そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、 ボールを取り出した壺はAとBのどちらだったのだろうか
  14. ベイズ更新による事後確率の計算例 全仮説 事象 R 1 ,R 2 ,…,R 10 仮説A

    仮説B 問題 正規化定数 33倍 事後確率 壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、 そのうち9個のボールは赤色だった、毎回ボールは壺に戻すとすると、 ボールを取り出した壺はAとBのどちらだったのだろうか
  15. ベイズ更新による事後確率の計算例 全仮説 事象 R 1 ,R 2 ,…,R 10 仮説A

    仮説B 問題 正規化定数 事後確率 94倍 壺が見えない暗い部屋に入って、壺の中のボールを 10個取り出ししたところ、 そのうち4個のボールは赤色だった、毎回ボールは壺に戻すとすると、 ボールを取り出した壺はAとBのどちらだったのだろうか
  16. 近年までベイズ主義が実用的でないとされてきた理由 • 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そ うであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を取る ◦ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか ◦ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな 対処ではない(『基礎からのベイズ統計学』)

    • 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれ ば、実際上の問題にはならないとベイズ主義者は主張する(『統計学を哲学する』) ◦ 実際には限られたデータから推論したい場面が多い • 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころ か、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定 的な立場はまだない(『基礎からのベイズ統計学』)
  17. 近年までベイズ主義が実用的でないとされてきた理由 • 考慮している仮説について事前に情報がない場合、そのどれもが同程度あり得そ うであると考え、全仮説に同じ確率を割りあてる「理由不十分の原則」を取る ◦ 例えば、マゼラン星雲に知的生物がいる確率は見当もつかないので 1/2に設定してもいいのか ◦ 理由不十分の原則によって等確率を選択することは、情報不足な状況下において必ずしもフェアな 対処ではない(『基礎からのベイズ統計学』)

    • 探求の初期に主観的な相違があったとしても、データさえ十分に取ることができれ ば、実際上の問題にはならないとベイズ主義者は主張する(『統計学を哲学する』) ◦ 実際には限られたデータから推論したい場面が多い • 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころ か、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定 的な立場はまだない(『基礎からのベイズ統計学』)
  18. まとめ • ベイズ主義は、今やデータ分析の主役に躍り出つつある • 観測されたデータに基づき、仮説の事後確率をベイズの定理を用いて推測すること をベイズ推論と呼ぶ • ベイズ主義では、確率を「仮説に対する信念の度合い」として解釈することで、事前 確率を客観的に決められない場合であっても、ベイズの定理によって事後確率を 求め、推論を行うことができるとする

    • 主観確率の不合理性・危険性は、今でも本質的には解決されてない。それどころ か、ベイズ統計学を専門としている学者の間でさえ主観確率の扱いに関する決定 的な立場はまだない(『基礎からのベイズ統計学』)ため、主観確率の問題点を理 解した上で使用することが望ましい