b3semi_7.pdf

Transcript

1. 自然言語処理のための機械学習 第7回 B3 丸山 拓海 自然言語処理研究室
2. 自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング 1. 必要な数学的知識
3. 4. 分類 3 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5 対数線形モデル 4.1 分類とは
4. 4.3 サポートベクトルマシン 4 4.3.1 はじめに 4.3.2 マージン最大化 4.3.3 厳密制約下のSVMモデル 4.3.4 緩和制約下のSVMモデル 4.3.5 多値分類器への拡張
5. 4.3.1 はじめに 5 ▪サポートベクトルマシン(Support Vector Machine, SVM) : 線形二値分類器 正クラス ( positive class), 負クラス ( negative class) 訓練データ = (%), (%) , ()), ()) , … , (|,|), (|,|) 正, 負クラスに属する事例のクラスラベル: +1, -1 = ・ − ≥ 0: 正クラス < 0: 負クラス
6. 4.3.2 マージン最大化 6 ▪ 分離平面 (separating plane) : ・ = を満たす の集合 : 正例 : 負例
7. 4.3.2 マージン最大化 7 ▪ 分離平面 (separating plane) : ・ = を満たす の集合
8. 4.3.2 マージン最大化 8 ▪ マージン (margin) : 分類平面と, その平面に 最も近い訓練事例の間の距離 ▪ マージン最大化 :どちらのクラスからも なるべく遠い位置で分ける
9. 4.3.2 マージン最大化 9 ▪ マージン最大化 ∗ 6 マージン: |6 − ∗ | ・(6 −∗ ) = |||6 − ∗ | (1) ・ =
10. 4.3.2 マージン最大化 10 ▪ マージン最大化 6 マージン: |6 − ∗ | ・(6 −∗ ) = |||6 − ∗ | (1) パラメータを調整し, 分離平面・ = を定数倍すると, ・6 = + 1 ・(6 −∗ ) = ・6 - ・∗ = + 1 − = 1 (2) ・6 = + 1 ・ = ∗
11. 4.3.2 マージン最大化 11 ▪ マージン最大化 6 ・(6 −∗ ) = |||6 − ∗ | (1) ・(6 −∗ ) = 1 (2) ・6 = + 1 |6 − ∗ | = || マージン最大化 → を最小化する ・ =
12. 4.3.3 厳密制約下でのSVMモデル 12 ▪ 制約条件 訓練事例は, 正しく分類できる (;) = +1 : ・(;) − ≥ 1 6 ・ = ・6 = + 1 (;) = −1 : ・(;) − ≤ −1 ・6 = − 1 (;)(・(;) − ) ≥ 1
13. 4.3.3 厳密制約下でのSVMモデル 13 ▪ 厳密制約下でのSVMモデル . . ; ・ ; − − 1 ≥ 0 ; ∀ . % ) ラグランジュの未定乗数法により解く , , = 1 2 − G ; ; ・ ; − − 1 ; K , , = − G ; ; ; = 0 , , = G ; ; ; = 0 ∗ = G ; ; ; (3) G ; ; ; = 0 (4)
14. 4.3.3 厳密制約下でのSVMモデル 14 ▪ 厳密制約下でのSVMモデル (3)より, 分離平面の式 = ・ − は, = G ; ; ; ・ − (5) (3), (4), (5)をもとのラグランジュ関数に代入 ∗, , = − 1 2 G ; Q ; Q ; ・ R ;,Q + G ; ;
15. 4.3.3 厳密制約下でのSVMモデル 15 ▪ 厳密制約下でのSVMモデル 双対問題(dual problem) ラグランジュの鞍点理論より, . ∗, , = − 1 2 G ; Q ; Q ; ・ R ;,Q + G ; ; . . G ; ; ; = 0, ; ≥ 0
16. 4.3.3 厳密制約下でのSVMモデル 16 例題) 訓練データ = (%), −1 , ()), 1 に対し, SVMを構築せよ。 ただし, (%) = 0, 1 , ()) = 1, 1 とする。 ∗, , = − 1 2 G ; Q ; Q ; ・ R ;,Q + G ; ; 1 1 o ) % G ; ; ; = 0, ; ≥ 0
17. 4.3.3 厳密制約下でのSVMモデル 17 例題) 訓練データ = (%), −1 , ()), 1 に対し, SVMを構築せよ。 ただし, (%) = 0, 1 , ()) = 1, 1 とする。 ∗, , = − 1 2 G ; Q ; Q ; ・ R ;,Q + G ; ; 1 1 o ) % (%)・(%)=1 (%)・())=())・(%) =1 ())・())=2
18. 4.3.3 厳密制約下でのSVMモデル 18 例題) 訓練データ = (%), −1 , ()), 1 に対し, SVMを構築せよ。 ただし, (%) = 0, 1 , ()) = 1, 1 とする。 ∗, , = − 1 2 G ; Q ; Q ; ・ R ;,Q + G ; ; 1 1 o ) % (%)・(%)=1 (%)・())=())・(%) =1 ())・())=2 ∗, , = − 1 2 % ) − ) ) + % ) + % + )
19. 4.3.3 厳密制約下でのSVMモデル 19 例題) 訓練データ = (%), −1 , ()), 1 に対し, SVMを構築せよ。 ただし, (%) = 0, 1 , ()) = 1, 1 とする。 1 1 o ) % ∗, , = − 1 2 % ) − ) ) + % ) + % + ) % % + ) ) = −% + ) = 0 より, ∗, , = − 1 2 % ) + 2% ∗, , % = −% + 2 = 0 % = ) = 2
20. 4.3.3 厳密制約下でのSVMモデル 20 例題) 訓練データ = (%), −1 , ()), 1 に対し, SVMを構築せよ。 ただし, (%) = 0, 1 , ()) = 1, 1 とする。 1 1 o ) % % = ) = 2 ∗ = G ; ; ; = 2× −1 × 0,1 + 2×1× 1,1 = (2, 0) = ∗・6 − 1 = 2, 0 ・ 1, 1 − 1 = 1 = 2, 0 ・ − 1 = 0 = 0.5, 0.5
21. 4.3.3 厳密制約下でのSVMモデル 21 例題) 構築したSVMを用いて = 1, 0 を分類せよ。 1 1 o ) % = 2, 0 ・ − 1 よって, = 1, 0 は正例 0.5 = 2, 0 ・ 1, 0 − 1 = 1 > 0
22. 4.3.4 緩和制約下でのSVMモデル 22 訓練データの例外的な事例を考慮 制約条件を緩める ; ・ ; − − 1 ≥ − ; ; ≥ 0 . . ; ・ ; − ≥ 1 − ;; ∀ . % ) + C ∑ ; ; ; ：正の定数 ∗, , , = − 1 2 G ; Q ; Q ; ・ R ;,Q + G ; ; ; ≥ 0 0 ≤ ; ≤
23. 4.3.5 多値分類器への拡張 23 ▪ one – versus – rest法 ▪ ペアワイズ法
24. まとめ 24 4.3.1 はじめに 4.3.2 マージン最大化 4.3.3 厳密制約下のSVMモデル 4.3.4 緩和制約下のSVMモデル 4.3.5 多値分類への拡張