b3semi_4.pdf

Transcript

1. 自然言語処理のための機械学習 第4回 B3 丸山 拓海 自然言語処理研究室

2. 自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング

   1. 必要な数学的知識

3. 等式制約付凸計画問題 . . . = 0 ▪等式制約付凸計画問題 ：目的関数 が凸関数で、実行可能領域が凸集合である最適化問題 ▪

   ラグランジュの未定乗数法 , = + : ラグランジュ関数 + = 0 , = 0 3 復習

4. 等式制約付凸計画問題 次の最大化問題を解け. ▪ 例題 , =−3 4 − 4 4+

   3 + 4 − 1 4 . . 3 + 4 − 1 = 0 . −3 4 − 4 4 3 , 4 , 3 = −23 + = 0 3 , 4 , 4 = −24 + = 0 3 , 4 , = 3 + 4 − 1 = 0 3 , 4 = 1 2 , 1 2 復習

5. 最尤推定 5 ▪ i.i.dと尤度 i.i.d（independently, identically distributed) : 独立に同一の確率分布に従う 確率変数のサンプルデータ

   = 3 , … ; の生成確率 | が = | = ? ( B |) E F ∈H となることを保証する仮定 尤度（likelihood) モデルのパラメータ 復習

6. 最尤推定 6 ▪ 最尤推定 ：与えられたデータに対し, 尤度が最大となるように モデルパラメータを決定する方法 IJE = =

   ? ( B |) E F ∈H IJE = log ( ) = O log ( B ) E F ∈H 復習

7. 最尤推定 7 ポアソン分布から生成されたデータ = 3 , … ; が与えられたとする。 このとき、ポアソン分布のパラメータを最尤推定を用いて求めよ。

   log | = O log E F B ! ST E F ∈H log | = O B 1 − 1 E F ∈H = 0 = ∑ B E F ∈H ▪ 例題 復習

8. MAP推定 8 ▪ MAP推定 : パラメータの事前確率分布 | : パラメータの事後確率分布 最尤推定

   : 尤度（与えられたデータが生成される確率）が 最大になるようにパラメータを決定 MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 | = | = |

9. MAP推定 9 ▪ MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 |

   = + O log ( B ) E F ∈H を最大化するパラメータを決定する | = | = |

10. 4. 分類 10 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5

    対数線形モデル 4.1 分類とは

11. 4.1 分類とは 11

12. 4.1 分類とは 12 ▪ 分類 (classification, categorization) : あらかじめ決まったグループに分けること ▪分類器

    (classifier) ・ 規則ベース手法 ・ データから自動的に分類器を構築する手法 Ex.) 品詞のタグ付け, 係り受け解析

13. 4.2 ナイーブベイズ分類器 13

14. 4.2 ナイーブベイズ分類器 14 4.2.1 はじめに 4.2.2 多変数ベルヌーイモデル 4.2.3多項モデル ・ モデルの導入

    ・ パラメータの最尤推定 ・ パラメータのMAP推定 ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定

15. 4.2.1 はじめに 15 : 確率に基づいた分類器 事例dに対して, | が最大となるクラスを出力する IJE =

    | = | = | | をどう計算するのか？ ※ 以下、 を文書として考える ▪ ナイーブベイズ分類器 (naive bayes classifier)

16. 4.2.2 多変数ベルヌーイモデル 16 : 取りうる値が二つであるような確率変数を記述する分布 ベルヌーイ分布に従う確率変数 確率変数Xは, 確率で, 確率1 −

    で の値をとる = ; = , + , (1 − ) = , + (1 − , )(1 − ) = ] E,J (1 − )(3 S] E,J ) ▪ ベルヌーイ分布

17. 4.2.2 多変数ベルヌーイモデル 17 : ベルヌーイ分布に従う確率変数を要素とする確率分布 = ; 3 , 4

    , … , _ = ?(B ] EF,3 (1 − B )(3 S] EF,3 )) _ B`3 互いに独立な確率変数3 , 4 , … , _ 確率3 , 4 , … , _ で1, 確率1 − 3 , 1 − 4 , … ,1 − _ で0をとる 確率変数ベクトル = (3 , 4 , … , _ ) ▪ 多変数ベルヌーイ分布

18. 4.2.2 多変数ベルヌーイモデル 語彙 (各単語), クラス ・ c,d = P(c,d =

    1) ・ d = () c,d: が事例内で出現するとき1, 出現しないとき0 モデルのパラメータ ▪ モデルの導入 (|)を多変数ベルヌーイ分布でモデル化 18

19. 4.2.2 多変数ベルヌーイモデル ▪ モデルの導入 クラスが与えられている時に、各単語が生起するかを表す確率 c,d ] c,f (1 −

    c,d )3S] c,f , : 単語が文書に出現したとき1, 出現しなかったとき0 文書の生起確率 | = ? c,d ] c,f (1 − c,d )3S] c,f c∈g 多変数ベルヌーイモデルのナイーブベイズ分類器は () | = d ? c,d ] c,f (1 − c,d )3S] c,f c∈g を最大化するようなを出力する 19

20. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 データ集合D = { 3 , 3

    , 4 , 4 , … |H| , |H| } 事例: 3 , 4 , … , |H| クラス: 3 , 4 , …, |H| c,d , d を最尤推定により求める log () = O d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g (f,d)∈H = O d d d + O O c,d c∈g d c,d + O O d − c,d log (1 − c∈g d c,d ) c,d: クラスでありを含むような訓練文書数 d: クラスであるような訓練文書数 20

21. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 max. log () log ()を最大化するようなc,d ,

    d を求める . . O d = 1 d 等式制約付き凸関数問題 ラグランジュ関数(, )を定義する , = + O d − 1 d ∶求めたいパラメータの集合 c,d ∈ , ∈ , c,d ∈ 21

22. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , = + O d −

    1 d 各パラメータ(c,d , d , )でラグランジュ関数を偏微分 , c,d = c,d c,d − d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 22

23. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , c,d = c,d c,d −

    d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 c,d = c,d d d = d ∑ d d 23

24. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 c,d = c,d d d =

    d ∑ d d c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = (クラスであるような訓練文書数) (訓練文書数) パラメータ推定に用いるのは, 「文書数」 単語の頻度そのものは用いない 24

25. 4.2.2 多変数ベルヌーイモデル ▪ まとめると… c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d

    = (クラスであるような訓練文書数) (訓練文書数) 多変数ベルヌーイモデル () | = d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g IJE = | = | ナイーブベイズ分類器 パラメータの最尤推定 25

26. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ”

    4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 26

27. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ”

    4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 パラメータc,d , d を求めよ 27

28. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) 28

29. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 29

30. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 30

31. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 31

32. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 d = ;y ∑ ;y y

    = (クラスdであるような訓練文書数) (訓練文書数) z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 z = 3, ; = 3より, 32

33. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = |Jf,ƒ z = 1

    3 = 0.33 c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 |Jf,; = |Jf,; ; = 3 3 = 1.00 より, |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 |}~B_•,z = 0.67 |}~B_•,; = 0.33 33

34. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = 0.33 |Jf,; = 1.00

    |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 •}}f,z = 0.67 •}}f,; = 0.33 z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 34

35. 4.2.2 多変数ベルヌーイモデル ▪ 例題2 例題1 の分類器を用いて, 次の文書を分類せよ: = “ ”

    z f|z = z × |Jf,z × |}~B_•,z × (1− €EdB•B_•,z )× •}}f,z = 0.5 × 0.33 ×0.33 × 1 − 0.67 ×0.67 = 0.012 ; f|; = ; × |Jf,; × |}~B_•,; × (1− €EdB•B_•,; )× •}}f,; = 0.5 × 1.00×0.67 × 1 − 0.33 × 0.33 = 0.074 ナイーブベイズ分類器はN氏によって書かれたものと推測 35
36. None
37. None
38. None
39. None
40. None
41. None
42. None
43. None
44. None
45. None
46. None
47. None
48. None
49. None
50. None
51. None
52. None
53. None
54. None
55. None
56. None
57. None
58. None
59. None
60. None
61. None
62. None
63. None