Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
b3semi_8.pdf
Search
MARUYAMA
March 21, 2017
1
140
b3semi_8.pdf
MARUYAMA
March 21, 2017
Tweet
Share
More Decks by MARUYAMA
See All by MARUYAMA
vampire.pdf
tmaru0204
0
180
Misspelling_Oblivious_Word_Embedding.pdf
tmaru0204
0
190
Simple_Unsupervised_Summarization_by_Contextual_Matching.pdf
tmaru0204
0
180
Controlling_Text_Complexity_in_Neural_Machine_Translation.pdf
tmaru0204
0
170
20191028_literature-review.pdf
tmaru0204
0
150
Hint-Based_Training_for_Non-Autoregressive_Machine_Translation.pdf
tmaru0204
0
140
Soft_Contextual_Data_Augmentation_for_Neural_Machine_Translation_.pdf
tmaru0204
0
170
An_Embarrassingly_Simple_Approach_for_Transfer_Learning_from_Pretrained_Language_Models_.pdf
tmaru0204
0
160
Addressing_Trobulesome_Words_in_Neural_Machine_Translation.pdf
tmaru0204
0
160
Featured
See All Featured
Designing for Performance
lara
610
69k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Balancing Empowerment & Direction
lara
4
690
Docker and Python
trallard
46
3.6k
How to train your dragon (web standard)
notwaldorf
96
6.3k
The Cult of Friendly URLs
andyhume
79
6.6k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
9
590
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
620
Transcript
自然言語処理のための機械学習 第8回 B3 丸山 拓海 自然言語処理研究室
自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング
1. 必要な数学的知識
4. 分類 3 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5
対数線形モデル 4.1 分類とは
4.3.1 はじめに 4 ▪サポートベクトルマシン(Support Vector Machine, SVM) : 線形二値分類器 正クラス
( positive class), 負クラス ( negative class) 訓練データ = (%), (%) , ()), ()) , … , (|,|), (|,|) 正, 負クラスに属する事例のクラスラベル: +1, -1 = ・ − ≥ 0: 正クラス < 0: 負クラス 復習
4.3.2 マージン最大化 5 ▪ マージン最大化 :どちらのクラスからも なるべく遠い位置で分ける 復習 マージン最大化 →
を最小化する 5 ・ = ・5 = + 1 ・5 = − 1 (厳密制約) 訓練事例は, 正しく分類できる (9) = +1 : ・(9) − ≥ 1 (9) = −1 : ・(9) − ≤ −1
4.3.3 厳密制約下でのSVMモデル 6 ▪ 厳密制約下でのSVMモデル . ∗, , = −
1 2 C 9 E 9 E 9 ・ F 9,E + C 9 9 双対問題(dual problem) . . C 9 9 9 = 0, 9 ≥ 0 ラグランジュの鞍点理論より, 復習
4.4 カーネル法 7 ・多項カーネル ・ 例題 ・ カーネル法とは
4.4 カーネル法 8 . ∗, , = − 1 2
C 9 E 9 E 9 ・ F 9,E + C 9 9 . . C 9 9 9 = 0, 9 ≥ 0 双対問題(dual problem) ▪ SVM 分離平面 = C 9 9 9 ・ − 事例の内積だけが計算できればよい
4.4 カーネル法 9 ▪ カーネル法 (kernel method) : 内積だけを用いて学習や分類を行う方法 ▪
カーネル関数 (kernel function) : 事例対を引数として, 高次元の内積を与える関数
4.4 カーネル法 10 . ∗, , = − 1 2
C 9 E 9 E 9 ・ F 9,E + C 9 9 . . C 9 9 9 = 0, 9 ≥ 0 ▪ カーネル法 (kernel method) 訓練データ = (%), (%) , ()), ()) , … , (|,|), (|,|) . ∗, , = − 1 2 C 9 E 9 E ( 9 , E ) 9,E + C 9 9 . . C 9 9 9 = 0, 9 ≥ 0 訓練データ = (%), (%) , ()), ()) , … , (|,|), (|,|)
4.4 カーネル法 11 分類 = C 9 9 ( 9
, ) − . ∗, , = − 1 2 C 9 E 9 E ( 9 , E ) 9,E + C 9 9 . . C 9 9 9 = 0, 9 ≥ 0 ▪ カーネル法 (kernel method) 双対問題(dual problem)
4.4 カーネル法 12 ▪カーネル関数 (kernel function) ・ 木構造カーネル (tree kernel)
・ 文字列カーネル (string kernel) ・ 動径基底関数カーネル (radial basis function kernel) ・ 多項式カーネル (polynomial kernel)
4.4 カーネル法 13 ▪ 多項式カーネル (polynomial kernel) MNOP 9 ,
E = ( 9 ・ E + r) R Ex.) 入力ベクトル 9 = % 9 , ) 9 , E = % E , ) E である場合の, 2次の多項式カーネル MNOP 9 , E = ( 9 ・ E + 1) )= (% 9 % E + ) 9 ) E + 1) ) = (% 9 )), () 9 )), 2% 9 ) 9 , 2% 9 , 2) 9 , 1 ・ (% E )), () E )), 2% E ) E , 2% E , 2) E , 1 = % , ) () = (% )), () )), 2% ) , 2% , 2) , 1
4.4 カーネル法 14 例題) 訓練データ = (%), −1 , ()),
1 に対し, 2次の多項式カーネルを用いて, SVMを構築せよ。ただし, (%) = 0, 1 , ()) = 1, 1 とする。 . ∗, , = − 1 2 C 9 E 9 E ( 9 , E ) 9,E + C 9 9 . . C 9 9 9 = 0, 9 ≥ 0
4.4 カーネル法 15 例題) 訓練データ = (%), −1 , ()),
1 に対し, 2次の多項式カーネルを用いて, SVMを構築せよ。ただし, (%) = 0, 1 , ()) = 1, 1 とする。 MNOP % , % = (1 + % ・ % ) )= 4 MNOP ) , ) = 9 MNOP % , ) = 4 ∗, , = −2% ) − 9 2 ) ) + 4% ) + % + ) ∗, , = − 1 2 C 9 E 9 E ( 9 , E ) 9,E + C 9 9
4.4 カーネル法 16 例題) 訓練データ = (%), −1 , ()),
1 に対し, 2次の多項式カーネルを用いて, SVMを構築せよ。ただし, (%) = 0, 1 , ()) = 1, 1 とする。 ∗, , = −2% ) − 9 2 ) ) + 4% ) + % + ) % % + ) ) = −% + ) = 0 より, ∗, , = − 5 2 % ) + 2% ∗, , % = −5% + 2 = 0 % = ) = 2 5 = C 9 9 9 , 5 − 1 = 2 5 × −1 × 0,1 , 1,1 + 2 5 ×1× 1,1 , 1,1 − 1 = 1 = C 9 9 9 , − 1 = 2 5 % ) + 4 5 % ) + 4 5 % − 1
4.5 対数線形モデル 17 ・ モデルの導入 ・ モデルの学習 ・ 素性表現の拡張
4.5 対数線形モデル 18 ▪ 素性表現の拡張 素性関数: Z 事例一つに対して, 一つの素性ベクトル 事例,
ラベル 素性ベクトル(, ) = (% , , ) , , … , \ , )
4.5 対数線形モデル 19 ▪ 素性表現の拡張 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 % = “
” ) = “ ” e = “ ” g = “ ” 以下のような素性を考える Z , = δ ∈ δ = = 1 “単語がで出現” ∩ “ =P氏” 0 それ以外 N氏に関しても同様の素性を考える
4.5 対数線形モデル 20 ▪ 素性表現の拡張 % , = δ ””
∈ δ = e , = δ ”” ∈ δ = ) , = δ ”” ∈ δ = g , = δ ”” ∈ δ = m , = δ ”” ∈ δ = o , = δ ”” ∈ δ = p , = δ ”” ∈ δ = q , = δ ”” ∈ δ = 素性ベクトルは以下のように表される % , = (1,1,0,0,0,0,0,0) ) , = (0,0,1,0,0,0,0,0) e , = (0,0,0,0,0,1,0,1) g , = (0,0,1,0,0,1,1,0)
4.5 対数線形モデル 21 ▪ モデルの導入 | = 1 R,s (・
, ) R,s = C (・ , ) P : 素性に対する重みベクトル ∗ = 1 R,s ・ , = (・ , ) 分類する時は,
4.5 対数線形モデル 22 ▪ モデルの学習 = C log 9 9
− 2 ||) (R y ,P y )∈, : 正の整数 正則化 解析的に求めることができない
4.5 対数線形モデル 23 ▪ モデルの学習 最急降下法ならば, \z{ = NOR +
s (NOR) s = C 9 , 9 − C 9 9 , P − (R y ,P y ) を収束するまで計算すればよい
まとめ 24 ・ モデルの導入 ・ モデルの学習 ・ 素性表現の拡張 4.4 カーネル法
4.5 対数線形モデル ・多項カーネル ・ 例題 ・ カーネル法とは