Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
b3semi_4.pdf
MARUYAMA
February 16, 2017
0
110
b3semi_4.pdf
MARUYAMA
February 16, 2017
Tweet
Share
More Decks by MARUYAMA
See All by MARUYAMA
vampire.pdf
tmaru0204
0
69
Misspelling_Oblivious_Word_Embedding.pdf
tmaru0204
0
52
Simple_Unsupervised_Summarization_by_Contextual_Matching.pdf
tmaru0204
0
62
Controlling_Text_Complexity_in_Neural_Machine_Translation.pdf
tmaru0204
0
61
20191028_literature-review.pdf
tmaru0204
0
63
Hint-Based_Training_for_Non-Autoregressive_Machine_Translation.pdf
tmaru0204
0
46
Soft_Contextual_Data_Augmentation_for_Neural_Machine_Translation_.pdf
tmaru0204
0
61
An_Embarrassingly_Simple_Approach_for_Transfer_Learning_from_Pretrained_Language_Models_.pdf
tmaru0204
0
56
Addressing_Trobulesome_Words_in_Neural_Machine_Translation.pdf
tmaru0204
0
48
Featured
See All Featured
Visualization
eitanlees
124
11k
Reflections from 52 weeks, 52 projects
jeffersonlam
337
17k
How STYLIGHT went responsive
nonsquared
85
3.9k
The Cult of Friendly URLs
andyhume
68
4.7k
Unsuck your backbone
ammeep
659
55k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
172
8.3k
Statistics for Hackers
jakevdp
781
210k
Put a Button on it: Removing Barriers to Going Fast.
kastner
56
2.3k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
100
5.9k
Faster Mobile Websites
deanohume
294
28k
GraphQLとの向き合い方2022年版
quramy
16
8.1k
The Invisible Side of Design
smashingmag
289
48k
Transcript
自然言語処理のための機械学習 第4回 B3 丸山 拓海 自然言語処理研究室
自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング
1. 必要な数学的知識
等式制約付凸計画問題 . . . = 0 ▪等式制約付凸計画問題 :目的関数 が凸関数で、実行可能領域が凸集合である最適化問題 ▪
ラグランジュの未定乗数法 , = + : ラグランジュ関数 + = 0 , = 0 3 復習
等式制約付凸計画問題 次の最大化問題を解け. ▪ 例題 , =−3 4 − 4 4+
3 + 4 − 1 4 . . 3 + 4 − 1 = 0 . −3 4 − 4 4 3 , 4 , 3 = −23 + = 0 3 , 4 , 4 = −24 + = 0 3 , 4 , = 3 + 4 − 1 = 0 3 , 4 = 1 2 , 1 2 復習
最尤推定 5 ▪ i.i.dと尤度 i.i.d(independently, identically distributed) : 独立に同一の確率分布に従う 確率変数のサンプルデータ
= 3 , … ; の生成確率 | が = | = ? ( B |) E F ∈H となることを保証する仮定 尤度(likelihood) モデルのパラメータ 復習
最尤推定 6 ▪ 最尤推定 :与えられたデータに対し, 尤度が最大となるように モデルパラメータを決定する方法 IJE = =
? ( B |) E F ∈H IJE = log ( ) = O log ( B ) E F ∈H 復習
最尤推定 7 ポアソン分布から生成されたデータ = 3 , … ; が与えられたとする。 このとき、ポアソン分布のパラメータを最尤推定を用いて求めよ。
log | = O log E F B ! ST E F ∈H log | = O B 1 − 1 E F ∈H = 0 = ∑ B E F ∈H ▪ 例題 復習
MAP推定 8 ▪ MAP推定 : パラメータの事前確率分布 | : パラメータの事後確率分布 最尤推定
: 尤度(与えられたデータが生成される確率)が 最大になるようにパラメータを決定 MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 | = | = |
MAP推定 9 ▪ MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 |
= + O log ( B ) E F ∈H を最大化するパラメータを決定する | = | = |
4. 分類 10 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5
対数線形モデル 4.1 分類とは
4.1 分類とは 11
4.1 分類とは 12 ▪ 分類 (classification, categorization) : あらかじめ決まったグループに分けること ▪分類器
(classifier) ・ 規則ベース手法 ・ データから自動的に分類器を構築する手法 Ex.) 品詞のタグ付け, 係り受け解析
4.2 ナイーブベイズ分類器 13
4.2 ナイーブベイズ分類器 14 4.2.1 はじめに 4.2.2 多変数ベルヌーイモデル 4.2.3多項モデル ・ モデルの導入
・ パラメータの最尤推定 ・ パラメータのMAP推定 ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定
4.2.1 はじめに 15 : 確率に基づいた分類器 事例dに対して, | が最大となるクラスを出力する IJE =
| = | = | | をどう計算するのか? ※ 以下、 を文書として考える ▪ ナイーブベイズ分類器 (naive bayes classifier)
4.2.2 多変数ベルヌーイモデル 16 : 取りうる値が二つであるような確率変数を記述する分布 ベルヌーイ分布に従う確率変数 確率変数Xは, 確率で, 確率1 −
で の値をとる = ; = , + , (1 − ) = , + (1 − , )(1 − ) = ] E,J (1 − )(3 S] E,J ) ▪ ベルヌーイ分布
4.2.2 多変数ベルヌーイモデル 17 : ベルヌーイ分布に従う確率変数を要素とする確率分布 = ; 3 , 4
, … , _ = ?(B ] EF,3 (1 − B )(3 S] EF,3 )) _ B`3 互いに独立な確率変数3 , 4 , … , _ 確率3 , 4 , … , _ で1, 確率1 − 3 , 1 − 4 , … ,1 − _ で0をとる 確率変数ベクトル = (3 , 4 , … , _ ) ▪ 多変数ベルヌーイ分布
4.2.2 多変数ベルヌーイモデル 語彙 (各単語), クラス ・ c,d = P(c,d =
1) ・ d = () c,d: が事例内で出現するとき1, 出現しないとき0 モデルのパラメータ ▪ モデルの導入 (|)を多変数ベルヌーイ分布でモデル化 18
4.2.2 多変数ベルヌーイモデル ▪ モデルの導入 クラスが与えられている時に、各単語が生起するかを表す確率 c,d ] c,f (1 −
c,d )3S] c,f , : 単語が文書に出現したとき1, 出現しなかったとき0 文書の生起確率 | = ? c,d ] c,f (1 − c,d )3S] c,f c∈g 多変数ベルヌーイモデルのナイーブベイズ分類器は () | = d ? c,d ] c,f (1 − c,d )3S] c,f c∈g を最大化するようなを出力する 19
4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 データ集合D = { 3 , 3
, 4 , 4 , … |H| , |H| } 事例: 3 , 4 , … , |H| クラス: 3 , 4 , …, |H| c,d , d を最尤推定により求める log () = O d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g (f,d)∈H = O d d d + O O c,d c∈g d c,d + O O d − c,d log (1 − c∈g d c,d ) c,d: クラスでありを含むような訓練文書数 d: クラスであるような訓練文書数 20
4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 max. log () log ()を最大化するようなc,d ,
d を求める . . O d = 1 d 等式制約付き凸関数問題 ラグランジュ関数(, )を定義する , = + O d − 1 d ∶求めたいパラメータの集合 c,d ∈ , ∈ , c,d ∈ 21
4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , = + O d −
1 d 各パラメータ(c,d , d , )でラグランジュ関数を偏微分 , c,d = c,d c,d − d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 22
4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , c,d = c,d c,d −
d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 c,d = c,d d d = d ∑ d d 23
4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 c,d = c,d d d =
d ∑ d d c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = (クラスであるような訓練文書数) (訓練文書数) パラメータ推定に用いるのは, 「文書数」 単語の頻度そのものは用いない 24
4.2.2 多変数ベルヌーイモデル ▪ まとめると… c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d
= (クラスであるような訓練文書数) (訓練文書数) 多変数ベルヌーイモデル () | = d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g IJE = | = | ナイーブベイズ分類器 パラメータの最尤推定 25
4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ”
4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 26
4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ”
4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 パラメータc,d , d を求めよ 27
4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}
c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) 28
4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}
c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 29
4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}
c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 30
4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}
c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 31
4.2.2 多変数ベルヌーイモデル ▪ 例題1 d = ;y ∑ ;y y
= (クラスdであるような訓練文書数) (訓練文書数) z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 z = 3, ; = 3より, 32
4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = |Jf,ƒ z = 1
3 = 0.33 c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 |Jf,; = |Jf,; ; = 3 3 = 1.00 より, |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 |}~B_•,z = 0.67 |}~B_•,; = 0.33 33
4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = 0.33 |Jf,; = 1.00
|}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 •}}f,z = 0.67 •}}f,; = 0.33 z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 34
4.2.2 多変数ベルヌーイモデル ▪ 例題2 例題1 の分類器を用いて, 次の文書を分類せよ: = “ ”
z f|z = z × |Jf,z × |}~B_•,z × (1− €EdB•B_•,z )× •}}f,z = 0.5 × 0.33 ×0.33 × 1 − 0.67 ×0.67 = 0.012 ; f|; = ; × |Jf,; × |}~B_•,; × (1− €EdB•B_•,; )× •}}f,; = 0.5 × 1.00×0.67 × 1 − 0.33 × 0.33 = 0.074 ナイーブベイズ分類器はN氏によって書かれたものと推測 35
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None