b3semi_4.pdf

Transcript

1. 自然言語処理のための機械学習 第4回 B3 丸山 拓海 自然言語処理研究室
2. 自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング 1. 必要な数学的知識
3. 等式制約付凸計画問題 . . . = 0 ▪等式制約付凸計画問題 ：目的関数 が凸関数で、実行可能領域が凸集合である最適化問題 ▪ ラグランジュの未定乗数法 , = + : ラグランジュ関数 + = 0 , = 0 3 復習
4. 等式制約付凸計画問題 次の最大化問題を解け. ▪ 例題 , =−3 4 − 4 4+ 3 + 4 − 1 4 . . 3 + 4 − 1 = 0 . −3 4 − 4 4 3 , 4 , 3 = −23 + = 0 3 , 4 , 4 = −24 + = 0 3 , 4 , = 3 + 4 − 1 = 0 3 , 4 = 1 2 , 1 2 復習
5. 最尤推定 5 ▪ i.i.dと尤度 i.i.d（independently, identically distributed) : 独立に同一の確率分布に従う 確率変数のサンプルデータ = 3 , … ; の生成確率 | が = | = ? ( B |) E F ∈H となることを保証する仮定 尤度（likelihood) モデルのパラメータ 復習
6. 最尤推定 6 ▪ 最尤推定 ：与えられたデータに対し, 尤度が最大となるように モデルパラメータを決定する方法 IJE = = ? ( B |) E F ∈H IJE = log ( ) = O log ( B ) E F ∈H 復習
7. 最尤推定 7 ポアソン分布から生成されたデータ = 3 , … ; が与えられたとする。 このとき、ポアソン分布のパラメータを最尤推定を用いて求めよ。 log | = O log E F B ! ST E F ∈H log | = O B 1 − 1 E F ∈H = 0 = ∑ B E F ∈H ▪ 例題 復習
8. MAP推定 8 ▪ MAP推定 : パラメータの事前確率分布 | : パラメータの事後確率分布 最尤推定 : 尤度（与えられたデータが生成される確率）が 最大になるようにパラメータを決定 MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 | = | = |
9. MAP推定 9 ▪ MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 | = + O log ( B ) E F ∈H を最大化するパラメータを決定する | = | = |
10. 4. 分類 10 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5 対数線形モデル 4.1 分類とは
11. 4.1 分類とは 11
12. 4.1 分類とは 12 ▪ 分類 (classification, categorization) : あらかじめ決まったグループに分けること ▪分類器 (classifier) ・ 規則ベース手法 ・ データから自動的に分類器を構築する手法 Ex.) 品詞のタグ付け, 係り受け解析
13. 4.2 ナイーブベイズ分類器 13
14. 4.2 ナイーブベイズ分類器 14 4.2.1 はじめに 4.2.2 多変数ベルヌーイモデル 4.2.3多項モデル ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定 ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定
15. 4.2.1 はじめに 15 : 確率に基づいた分類器 事例dに対して, | が最大となるクラスを出力する IJE = | = | = | | をどう計算するのか？ ※ 以下、 を文書として考える ▪ ナイーブベイズ分類器 (naive bayes classifier)
16. 4.2.2 多変数ベルヌーイモデル 16 : 取りうる値が二つであるような確率変数を記述する分布 ベルヌーイ分布に従う確率変数 確率変数Xは, 確率で, 確率1 − で の値をとる = ; = , + , (1 − ) = , + (1 − , )(1 − ) = ] E,J (1 − )(3 S] E,J ) ▪ ベルヌーイ分布
17. 4.2.2 多変数ベルヌーイモデル 17 : ベルヌーイ分布に従う確率変数を要素とする確率分布 = ; 3 , 4 , … , _ = ?(B ] EF,3 (1 − B )(3 S] EF,3 )) _ B`3 互いに独立な確率変数3 , 4 , … , _ 確率3 , 4 , … , _ で1, 確率1 − 3 , 1 − 4 , … ,1 − _ で0をとる 確率変数ベクトル = (3 , 4 , … , _ ) ▪ 多変数ベルヌーイ分布
18. 4.2.2 多変数ベルヌーイモデル 語彙 (各単語), クラス ・ c,d = P(c,d = 1) ・ d = () c,d: が事例内で出現するとき1, 出現しないとき0 モデルのパラメータ ▪ モデルの導入 (|)を多変数ベルヌーイ分布でモデル化 18
19. 4.2.2 多変数ベルヌーイモデル ▪ モデルの導入 クラスが与えられている時に、各単語が生起するかを表す確率 c,d ] c,f (1 − c,d )3S] c,f , : 単語が文書に出現したとき1, 出現しなかったとき0 文書の生起確率 | = ? c,d ] c,f (1 − c,d )3S] c,f c∈g 多変数ベルヌーイモデルのナイーブベイズ分類器は () | = d ? c,d ] c,f (1 − c,d )3S] c,f c∈g を最大化するようなを出力する 19
20. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 データ集合D = { 3 , 3 , 4 , 4 , … |H| , |H| } 事例: 3 , 4 , … , |H| クラス: 3 , 4 , …, |H| c,d , d を最尤推定により求める log () = O d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g (f,d)∈H = O d d d + O O c,d c∈g d c,d + O O d − c,d log (1 − c∈g d c,d ) c,d: クラスでありを含むような訓練文書数 d: クラスであるような訓練文書数 20
21. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 max. log () log ()を最大化するようなc,d , d を求める . . O d = 1 d 等式制約付き凸関数問題 ラグランジュ関数(, )を定義する , = + O d − 1 d ∶求めたいパラメータの集合 c,d ∈ , ∈ , c,d ∈ 21
22. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , = + O d − 1 d 各パラメータ(c,d , d , )でラグランジュ関数を偏微分 , c,d = c,d c,d − d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 22
23. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , c,d = c,d c,d − d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 c,d = c,d d d = d ∑ d d 23
24. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 c,d = c,d d d = d ∑ d d c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = (クラスであるような訓練文書数) (訓練文書数) パラメータ推定に用いるのは, 「文書数」 単語の頻度そのものは用いない 24
25. 4.2.2 多変数ベルヌーイモデル ▪ まとめると… c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = (クラスであるような訓練文書数) (訓練文書数) 多変数ベルヌーイモデル () | = d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g IJE = | = | ナイーブベイズ分類器 パラメータの最尤推定 25
26. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ” 4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 26
27. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ” 4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 パラメータc,d , d を求めよ 27
28. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good} c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) 28
29. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good} c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 29
30. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good} c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 30
31. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good} c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 31
32. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 z = 3, ; = 3より, 32
33. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = |Jf,ƒ z = 1 3 = 0.33 c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 |Jf,; = |Jf,; ; = 3 3 = 1.00 より, |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 |}~B_•,z = 0.67 |}~B_•,; = 0.33 33
34. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = 0.33 |Jf,; = 1.00 |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 •}}f,z = 0.67 •}}f,; = 0.33 z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 34
35. 4.2.2 多変数ベルヌーイモデル ▪ 例題2 例題1 の分類器を用いて, 次の文書を分類せよ: = “ ” z f|z = z × |Jf,z × |}~B_•,z × (1− €EdB•B_•,z )× •}}f,z = 0.5 × 0.33 ×0.33 × 1 − 0.67 ×0.67 = 0.012 ; f|; = ; × |Jf,; × |}~B_•,; × (1− €EdB•B_•,; )× •}}f,; = 0.5 × 1.00×0.67 × 1 − 0.33 × 0.33 = 0.074 ナイーブベイズ分類器はN氏によって書かれたものと推測 35