ナイーブベイズ分類機、SVM

長岡技術科学大学
自然言語処理研究室　守谷歩

Transcript

1. ナイーブベイズ、SVM
   長岡技術科学大学
   自然言語処理研究室
   守谷 歩
   

   View Slide

2. ナイーブベイズ分類器 ベイズの定理
   目的：事例ｄに対してP(c|d)が最大となるクラス ∈ を出
   力する。この確率P(c|d)を求める。
   ベイズの定理 =
   ()
   P(d)はクラスcに依存しない。⇒P(c),P(d|c)を考えればよい。
   これらを最大にするクラスCmaxは
   
   = arg
   max
   
   
   ()
   = arg
   max
   
   
   

   View Slide

3. ベイズの定理
   言語処理では事象dは文書データなのでデータが膨大
   ⇒すべてのdについてのP(c|d)を求めるのは効率的でない
   文書にモデルを仮定してP(d|c)の値を求める。
   モデル
   ⚫多変数ベルヌーイモデル
   ⚫多項モデル
   

   View Slide

4. 多変数ベルヌーイモデル
   クラスｃが与えられているとき単語ｗの生起確率
   ,
   , 1 − ,
   1−,
   語彙Vでの文書dの生起確率
   = ς∈
   ,
   , 1 − ,
   1−,
   ナイーブベイズ分類器の多変数ベルヌーイモデル
   () =
   ς∈
   ,
   , 1 − ,
   1−,
   

   View Slide

5. 例
   強い肯定表現や強い否定表現の文書例で分類器を考える。
   肯定T
   d1= “True True True False”
   d2= “Not agree ”
   d3= “True agree Not True”
   否定F
   d1= “Not False Not True”
   d2= “Not True False”
   d3= “agree Not False True”
   

   View Slide

6. 多項モデル
   クラスｃが与えられているとき、文書ｄ内で単語が発生確率ｗで,
   回
   発生する確率
   (σ ,)!
   ς∈
   ,!
   ς∈
   
   ,
   ,
   語彙Vでの単語が発生確率ｗで,
   回発生する確率
   = ( = σ
   ,
   ) (σ ,)!
   ς∈
   ,!
   ς∈
   
   ,
   ,
   ナイーブベイズ分類器の多項ベルヌーイモデル
   () =
   (σ
   ,
   ) (σ ,)!
   ς∈
   ,!
   ς∈
   
   ,
   ,
   

   View Slide

7. 例
   強い肯定表現や強い否定表現の文書例で分類
   器を考える。
   肯定T
   d1= “True True True False”
   d2= “Not agree ”
   d3= “True agree Not True”
   否定F
   d1= “Not False Not True”
   d2= “Not True False”
   d3= “agree Not False True”
   先ほど求めた文書数
   NT=3 NF=3
   Ntrue,T=2 Ntrue,F=3
   Nfalse,T=1 Nfalse,F=3
   Nnot,T=2 Nnot,F=3
   Nagree,T=2 Nagree,F=1
   

   View Slide

8. サポートベクターマシン（SVM）
   ⚫線形2値分類器であり、クラスが2である問題に使われる。
   ⚫訓練データD={(x1,y1),(x2,y2),・・・,(xd,yd)}で和えられてるとき、
   ｘは事例の素性ベクトル、ｙはクラスラベルである。正例、負例
   をそれぞれ1,-1とする。
   ⚫分離平面の方向ベクトルｗと切片ｂをパラメータとして
   = ∗ − ≥ 0：正クラス < 0：負クラス
   

   View Slide

9. マージン最大化（2次元空間）
   

   View Slide

10. 多値分類器
    1. One-versus-rest法
    2. ペアワイズ法
    

    View Slide