b3semi_6.pdf

Transcript

1. 自然言語処理のための機械学習 第6回 B3 丸山 拓海 自然言語処理研究室

2. 自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング

   1. 必要な数学的知識

3. 4. 分類 3 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5

   対数線形モデル 4.1 分類とは

4. 4.2 ナイーブベイズ分類器 4 4.2.1 はじめに 4.2.2 多変数ベルヌーイモデル 4.2.3多項モデル ・ モデルの導入

   ・ パラメータの最尤推定 ・ パラメータのMAP推定 ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定

5. 4.2.2 多変数ベルヌーイモデル 5 ",$ = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) $ =

   (クラスであるような訓練文書数) (訓練文書数) ▪ 多変数ベルヌーイモデル () | = $ - ",$ . ",/ (1 − ",$ )23. ",/ "∈6 ▪ パラメータの最尤推定 ▪ パラメータのMAP推定 ",$ = ",$ + ( − 1) $ + 2( − 1) $ = $ + ( − 1) ∑ $ $ + ||( − 1) 復習

6. 4.2.3 多項モデル 6 個の値を取りうる確率変数 各値にはそれぞれ2 , > , … ,

   @ の確率が与えられる (∑ A = 1 A ) ▪ 多項分布 1回の試行で個の値のうち1つが起こる 回試行した場合, 各値がそれぞれ2 , > , … , @ ( = ∑ A A )回起こる確率は ! ∏ A ! A - A FG A

7. 4.2.3 多項モデル 7 ▪ 多項分布 語彙 {good, bad, exciting, boring}

   確率 IJJ/ , KL/ , MN$AOAPI , PJQAPI の確率で発言する (IJJ/ + KL/ + MN$AOAPI + PJQAPI = 1) “good, bad, boring, exciting, boring, good, bad, good, good, bad” 以下のような発言が起こる確率を求める 10! 4! 3! 1! 2! (IJJ/ )U×(KL/ )W×(MN$AOAPI )2×(KJQAPI )> 「何回起こったか」だけが考慮されている

8. 4.2.3 多項モデル 8 || : 文書の単語数 ▪ モデルの導入 (|)を多項分布でモデル化 ・

   多変数ベルヌーイモデル () | = $ - ",$ . ",/ (1 − ",$ )23. ",/ "∈6 ・多項モデル 語彙における単語が事例にあるかどうか → | 語彙の中から単語を|| 回選ぶ → |

9. 4.2.3 多項モデル 9 || : 文書の単語数 ・ ",$ = P(

   = | = ) ・ $ = () : 単語を値とする確率変数 モデルのパラメータ ▪ モデルの導入 : クラスを値とする確率変数

10. 4.2.3 多項モデル 10 ▪ モデルの導入 文書内で、単語がそれぞれ",/ 回起こる確率は, 多項分布より ∑ ",/

    " ! ∏ ",/ ! "∈6 - ",$ P\,] A 何回試行するか (文書の長さ) を決定する必要があるため、 文書の長さを表す確率変数 = = _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] A 長さ∑ ",/ " であるような文書が起こる確率 = ∑ ",/ " ※ ここでは、文書の長さはクラスに依存しないと仮定する

11. 4.2.3 多項モデル 11 ▪ モデルの導入 多項モデルのナイーブベイズ分類器は, () = $ _

    ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 を最大化するようなを出力する

12. 4.2.3 多項モデル 12 ▪ モデルの比較 ・ 多項モデル () = $

    _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 ・ 多変数ベルヌーイモデル () | = $ - ",$ . ",/ (1 − ",$ )23. ",/ "∈6 生起しなかったことを積極的に取り入れるモデル 単語が生起した回数に注目したモデル 生起しなかった単語は相手にしない

13. 4.2.3 多項モデル 13 ▪ パラメータの最尤推定 max. log () . .

    ∑ $ = 1 $ ∑ ",$ = 1; ∀ ∈ "∈6 等式制約付き凸関数問題 = , = $ _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 を最大化するパラメータを求める

14. 4.2.3 多項モデル 14 ▪ パラメータの最尤推定 , , = + _

    $ $ _ ",$ − 1 "∈6 + _ $ − 1 $∈u ラグランジュ関数を偏微分し、パラメータを求めると ",$ = ",$ ∑ ",$ " ラグランジュ関数 , , を定義する (未定乗数{$ }$∈u , ) ",$ = (クラスに属する訓練文書全体でのの出現回数) (クラスに属する訓練文書全体での全単語の出現回数) $ = $ ∑ $ $ $ = (クラスであるような訓練文書数) (訓練文書数)

15. 4.2.3 多項モデル 15 ▪ 例題6 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 2 = “

    ” > = “ ” W = “ ” U = “ ” € = “ ” • = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多項モデルのナイーブベイズ分類器を構築せよ。 パラメータ",$ , $ を求めよ

16. 4.2.3 多項モデル 16 ▪ 例題6 ‚ = 3, ƒ =

    3 KL/,‚ = 1, KL/,ƒ = 5 KJQAPI,‚ = 1, KJQAPI,ƒ = 4 MN$AOAPI,‚ = 3, MN$AOAPI,ƒ = 1 IJJ/,‚ = 5, IJJ/,ƒ = 1 統計値を求めると, 2 = “ ” > = “ ” W = “ ” U = “ ” € = “ ” • = “ ”

17. 4.2.3 多項モデル 17 ▪ 例題6 KL/,‚ = KL/,‚ KL/,‚ +

    KJQAPI,‚ + MN$AOAPI,‚ + IJJ/,‚ = 1 1 + 1 + 3 + 5 = 0.10 KJQAPI,‚ = 0.10 KJQAPI,ƒ = 0.36 MN$AOAPI,‚ = 0.30 MN$AOAPI,ƒ = 0.09 IJJ/,ƒ = 0.09 ‚ = ‡ ‡ + ƒ = 3 3 + 3 = 0.50 ƒ = ƒ ‡ + ƒ = 3 3 + 3 = 0.50 KL/,ƒ = KL/,ƒ KL/,ƒ + KJQAPI,ƒ + MN$AOAPI,ƒ + IJJ/,ƒ = 5 5 + 4 + 1 + 1 = 0.45 IJJ/,‚ = 0.50

18. 4.2.3 多項モデル 18 ▪ 例題7 例題6で構築した分類器を用いて次の文書を分類器をせよ。 = “ ” ‚

    /|‚ ∝ ‚ × (IJJ/ ‚ )> × KL/,‚ × KJQAPI,‚ = 0.5 × 0.50> × 0.10 × 0.10 = 0.00125 ƒ /|ƒ ∝ ƒ × (IJJ/ ƒ )> × KL/,ƒ × KJQAPI,ƒ = 0.5 ×0.09>× 0. 45 × 0.36 = 0.0006561 ナイーブベイズ分類器はP氏によって書かれたものと推測

19. 4.2.3 多項モデル 19 ▪ パラメータのMAP推定 log () + log ()

    = log - $ ‰32 $ × - ",$ ‰32 ",$ + _ , /,$ ∈Š + (定数) = − 1 _ $ $ + _ ",$ ",$ + _ ! ∏ ",/ ! "∈6 $ - ",$ P\,] "∈6 + (定数) (/,$)∈Š

20. 4.2.3 多項モデル 20 ▪ パラメータのMAP推定 ラグランジュ関数(, , )を定義する , ,

    = log () + log () + _ $ _ ",$ − 1 "∈6 $∈u + _ $ − 1 $∈u ラグランジュ関数を偏微分し、パラメータを求めると ",$ = ",$ + ( − 1) ∑ ",$ + ||( − 1) " : 単語の種類数 $ = $ + ( − 1) ∑ $ $ + ||( − 1)

21. 4.2.3 多項モデル 21 $ = (クラスであるような訓練文書数) (訓練文書数) ▪ 多項モデル ▪

    パラメータの最尤推定 ▪ パラメータのMAP推定 $ = $ + ( − 1) ∑ $ $ + ||( − 1) () = $ _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 ",$ = (クラスに属する訓練文書全体でのの出現回数) (クラスに属する訓練文書全体での全単語の出現回数) ",$ = ",$ + ( − 1) ∑ ",$ + ||( − 1) "