単純ベイズ分類利用のための基礎知識 #TechLunch

単純ベイズ分類利用のための基礎知識 #TechLunch

2012/04/18(水) @ Livesense TechLunch
発表者:福田 絵里

E60aa4f80303f3f386898546ddb3686a?s=128

Livesense Inc.

April 23, 2014
Tweet

Transcript

  1. 単純ベイズ分類器  利用のための基礎知識

  2. •事前確率 ・ある変数について知られていることを確率とし て表現するもの ・証拠なし •事後確率 ・証拠を考慮に入れた条件での変数の確率    事前確率・事後確率 相性が良い確率 0.5

    相性が良い確率 0.7 データ: スポーツの趣味 が一致 初対面
  3. 「あなたは事業ネタ鑑定人です」 ・事業が成功する確率は「千に3つ」 ・それが成功ネタの時:言い当てられる確率99% ・それが失敗ネタの時:言い当てられる確率90% ある日、絶対成功ネタだ!とあなたが確信した 事業ネタに出会います。 問題:それが実際に成功ネタである確率は??   事前確率・事後確率 (問)

  4. 「あなたは事業ネタ鑑定人です」 ・事業が成功する確率は「千に3つ」 ・それが成功ネタの時:言い当てられる確率99% ・それが失敗ネタの時:言い当てられる確率90% ある日、絶対成功ネタだ!とあなたが確信した 事業ネタに出会います。 問題:それが実際に成功ネタである確率は??   正解:2.9% 事前確率・事後確率 (解答)

    事前確率 事後確率
  5.             AのもとでBが起こる確率× Aの起こる確率 BのもとでAが起こる確率= ――――――――――――――――――――                   Bの起こる確率 ベイズの定理 データ 事前確率 事後確率

  6. データDが得られたときの原因がH 1 である確率 ベイズの基本公式 データ(結果) 仮説1(原因) = 一般化

  7. H1 = 成功、H2 = 失敗、D = 成功判定 P(成功) = 成功ネタである確率

    = 0.3% P(失敗) = 成功ネタでない確率 = 99.7% P(成功判定|成功) = 成功ネタを成功と判定する確率 = 99% P(成功判定|失敗) = 失敗ネタを成功と判定する確率 = 10% P(成功|成功判定) = 成功判定されたネタが実際に成功ネタである確率 P(成功判定|成功) × P(成功) = ――――――――――――――――――――――――――――― P(成功判定|成功) × P(成功) + P(成功判定|失敗) × P(失敗) = 2.9% 事前確率・事後確率 (解説) 事前確率 事後確率
  8. ベイズ理論を利用して、与えられたデータを目的のカテゴリー に分類する技法。 •単純ベイズ分類器 (Naive Bayes classifier) ベイズ分類の最も簡単なもの。 カテゴリ毎に「そのカテゴリに属する文書」を使って学習。 数あるテキスト分類の技法との比較すると、 実装が簡単、高速

    → 比較的よく利用されている •補集合単純ベイズ分類器 (Complement Bayes classifier) カテゴリ毎に「そのカテゴリに属さない文書」を使って学習。 速さは単純ベイズ分類より多少劣るが、単純ベイズ分類よりも 精度が高い。 ベイズ分類器 (Bayes classifier)
  9. ※テキスト分類手法:非常に多くの研究があり、そのア ルゴリズムも大量 ナイーブベイズ、決定木、Rocchio分類法、k-最近傍法、ロジス ティック回帰、ニューラルネットワーク、サポートベクトルマシン 、ブースティング etc... ※一般的には、サポートベクトルマシンやブースティン グが他の手法と比べて高精度な分類ができると言われて いる

  10.   •Paul Grahamのスパム対策 → ベイジアンフィルタを考案 単純ベイズ分類器の適用例 学習量が増えると フィルタの分類精 度が上昇 個々の判定を間違えた

    場合には、ユーザが正 しい内容に判定しなお し、再学習 数学モデル 数学モデル ( (ベイズ理論 ベイズ理論) ) スパムメール スパムではない メール トレーニング 用データ 参照 登録 元メール 再学習
  11. →次回  単純ベイズ分類器実装

  12. →次回  MySQL Cluster 7.2