Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
b3semi_6.pdf
MARUYAMA
February 28, 2017
0
130
b3semi_6.pdf
MARUYAMA
February 28, 2017
Tweet
Share
More Decks by MARUYAMA
See All by MARUYAMA
vampire.pdf
tmaru0204
0
69
Misspelling_Oblivious_Word_Embedding.pdf
tmaru0204
0
52
Simple_Unsupervised_Summarization_by_Contextual_Matching.pdf
tmaru0204
0
62
Controlling_Text_Complexity_in_Neural_Machine_Translation.pdf
tmaru0204
0
61
20191028_literature-review.pdf
tmaru0204
0
63
Hint-Based_Training_for_Non-Autoregressive_Machine_Translation.pdf
tmaru0204
0
46
Soft_Contextual_Data_Augmentation_for_Neural_Machine_Translation_.pdf
tmaru0204
0
61
An_Embarrassingly_Simple_Approach_for_Transfer_Learning_from_Pretrained_Language_Models_.pdf
tmaru0204
0
56
Addressing_Trobulesome_Words_in_Neural_Machine_Translation.pdf
tmaru0204
0
48
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
261
25k
Building an army of robots
kneath
299
40k
Design by the Numbers
sachag
271
17k
Building Flexible Design Systems
yeseniaperezcruz
310
33k
Thoughts on Productivity
jonyablonski
43
2.2k
Building Your Own Lightsaber
phodgson
94
4.6k
Creatively Recalculating Your Daily Design Routine
revolveconf
207
10k
Raft: Consensus for Rubyists
vanstee
126
5.4k
WebSockets: Embracing the real-time Web
robhawkes
57
5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
7
1k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
100
5.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
337
17k
Transcript
自然言語処理のための機械学習 第6回 B3 丸山 拓海 自然言語処理研究室
自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング
1. 必要な数学的知識
4. 分類 3 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5
対数線形モデル 4.1 分類とは
4.2 ナイーブベイズ分類器 4 4.2.1 はじめに 4.2.2 多変数ベルヌーイモデル 4.2.3多項モデル ・ モデルの導入
・ パラメータの最尤推定 ・ パラメータのMAP推定 ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定
4.2.2 多変数ベルヌーイモデル 5 ",$ = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) $ =
(クラスであるような訓練文書数) (訓練文書数) ▪ 多変数ベルヌーイモデル () | = $ - ",$ . ",/ (1 − ",$ )23. ",/ "∈6 ▪ パラメータの最尤推定 ▪ パラメータのMAP推定 ",$ = ",$ + ( − 1) $ + 2( − 1) $ = $ + ( − 1) ∑ $ $ + ||( − 1) 復習
4.2.3 多項モデル 6 個の値を取りうる確率変数 各値にはそれぞれ2 , > , … ,
@ の確率が与えられる (∑ A = 1 A ) ▪ 多項分布 1回の試行で個の値のうち1つが起こる 回試行した場合, 各値がそれぞれ2 , > , … , @ ( = ∑ A A )回起こる確率は ! ∏ A ! A - A FG A
4.2.3 多項モデル 7 ▪ 多項分布 語彙 {good, bad, exciting, boring}
確率 IJJ/ , KL/ , MN$AOAPI , PJQAPI の確率で発言する (IJJ/ + KL/ + MN$AOAPI + PJQAPI = 1) “good, bad, boring, exciting, boring, good, bad, good, good, bad” 以下のような発言が起こる確率を求める 10! 4! 3! 1! 2! (IJJ/ )U×(KL/ )W×(MN$AOAPI )2×(KJQAPI )> 「何回起こったか」だけが考慮されている
4.2.3 多項モデル 8 || : 文書の単語数 ▪ モデルの導入 (|)を多項分布でモデル化 ・
多変数ベルヌーイモデル () | = $ - ",$ . ",/ (1 − ",$ )23. ",/ "∈6 ・多項モデル 語彙における単語が事例にあるかどうか → | 語彙の中から単語を|| 回選ぶ → |
4.2.3 多項モデル 9 || : 文書の単語数 ・ ",$ = P(
= | = ) ・ $ = () : 単語を値とする確率変数 モデルのパラメータ ▪ モデルの導入 : クラスを値とする確率変数
4.2.3 多項モデル 10 ▪ モデルの導入 文書内で、単語がそれぞれ",/ 回起こる確率は, 多項分布より ∑ ",/
" ! ∏ ",/ ! "∈6 - ",$ P\,] A 何回試行するか (文書の長さ) を決定する必要があるため、 文書の長さを表す確率変数 = = _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] A 長さ∑ ",/ " であるような文書が起こる確率 = ∑ ",/ " ※ ここでは、文書の長さはクラスに依存しないと仮定する
4.2.3 多項モデル 11 ▪ モデルの導入 多項モデルのナイーブベイズ分類器は, () = $ _
",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 を最大化するようなを出力する
4.2.3 多項モデル 12 ▪ モデルの比較 ・ 多項モデル () = $
_ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 ・ 多変数ベルヌーイモデル () | = $ - ",$ . ",/ (1 − ",$ )23. ",/ "∈6 生起しなかったことを積極的に取り入れるモデル 単語が生起した回数に注目したモデル 生起しなかった単語は相手にしない
4.2.3 多項モデル 13 ▪ パラメータの最尤推定 max. log () . .
∑ $ = 1 $ ∑ ",$ = 1; ∀ ∈ "∈6 等式制約付き凸関数問題 = , = $ _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 を最大化するパラメータを求める
4.2.3 多項モデル 14 ▪ パラメータの最尤推定 , , = + _
$ $ _ ",$ − 1 "∈6 + _ $ − 1 $∈u ラグランジュ関数を偏微分し、パラメータを求めると ",$ = ",$ ∑ ",$ " ラグランジュ関数 , , を定義する (未定乗数{$ }$∈u , ) ",$ = (クラスに属する訓練文書全体でのの出現回数) (クラスに属する訓練文書全体での全単語の出現回数) $ = $ ∑ $ $ $ = (クラスであるような訓練文書数) (訓練文書数)
4.2.3 多項モデル 15 ▪ 例題6 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 2 = “
” > = “ ” W = “ ” U = “ ” € = “ ” • = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多項モデルのナイーブベイズ分類器を構築せよ。 パラメータ",$ , $ を求めよ
4.2.3 多項モデル 16 ▪ 例題6 ‚ = 3, ƒ =
3 KL/,‚ = 1, KL/,ƒ = 5 KJQAPI,‚ = 1, KJQAPI,ƒ = 4 MN$AOAPI,‚ = 3, MN$AOAPI,ƒ = 1 IJJ/,‚ = 5, IJJ/,ƒ = 1 統計値を求めると, 2 = “ ” > = “ ” W = “ ” U = “ ” € = “ ” • = “ ”
4.2.3 多項モデル 17 ▪ 例題6 KL/,‚ = KL/,‚ KL/,‚ +
KJQAPI,‚ + MN$AOAPI,‚ + IJJ/,‚ = 1 1 + 1 + 3 + 5 = 0.10 KJQAPI,‚ = 0.10 KJQAPI,ƒ = 0.36 MN$AOAPI,‚ = 0.30 MN$AOAPI,ƒ = 0.09 IJJ/,ƒ = 0.09 ‚ = ‡ ‡ + ƒ = 3 3 + 3 = 0.50 ƒ = ƒ ‡ + ƒ = 3 3 + 3 = 0.50 KL/,ƒ = KL/,ƒ KL/,ƒ + KJQAPI,ƒ + MN$AOAPI,ƒ + IJJ/,ƒ = 5 5 + 4 + 1 + 1 = 0.45 IJJ/,‚ = 0.50
4.2.3 多項モデル 18 ▪ 例題7 例題6で構築した分類器を用いて次の文書を分類器をせよ。 = “ ” ‚
/|‚ ∝ ‚ × (IJJ/ ‚ )> × KL/,‚ × KJQAPI,‚ = 0.5 × 0.50> × 0.10 × 0.10 = 0.00125 ƒ /|ƒ ∝ ƒ × (IJJ/ ƒ )> × KL/,ƒ × KJQAPI,ƒ = 0.5 ×0.09>× 0. 45 × 0.36 = 0.0006561 ナイーブベイズ分類器はP氏によって書かれたものと推測
4.2.3 多項モデル 19 ▪ パラメータのMAP推定 log () + log ()
= log - $ ‰32 $ × - ",$ ‰32 ",$ + _ , /,$ ∈Š + (定数) = − 1 _ $ $ + _ ",$ ",$ + _ ! ∏ ",/ ! "∈6 $ - ",$ P\,] "∈6 + (定数) (/,$)∈Š
4.2.3 多項モデル 20 ▪ パラメータのMAP推定 ラグランジュ関数(, , )を定義する , ,
= log () + log () + _ $ _ ",$ − 1 "∈6 $∈u + _ $ − 1 $∈u ラグランジュ関数を偏微分し、パラメータを求めると ",$ = ",$ + ( − 1) ∑ ",$ + ||( − 1) " : 単語の種類数 $ = $ + ( − 1) ∑ $ $ + ||( − 1)
4.2.3 多項モデル 21 $ = (クラスであるような訓練文書数) (訓練文書数) ▪ 多項モデル ▪
パラメータの最尤推定 ▪ パラメータのMAP推定 $ = $ + ( − 1) ∑ $ $ + ||( − 1) () = $ _ ",/ " ∑ ",/ " ! ∏ ",/ ! "∈6 - ",$ P\,] "∈6 ",$ = (クラスに属する訓練文書全体でのの出現回数) (クラスに属する訓練文書全体での全単語の出現回数) ",$ = ",$ + ( − 1) ∑ ",$ + ||( − 1) "