b3semi_4.pdf

A3ea3bc5dde6ae2dd6eae71da9c418b0?s=47 MARUYAMA
February 16, 2017
92

 b3semi_4.pdf

A3ea3bc5dde6ae2dd6eae71da9c418b0?s=128

MARUYAMA

February 16, 2017
Tweet

Transcript

  1. 自然言語処理のための機械学習 第4回 B3 丸山 拓海 自然言語処理研究室

  2. 自然言語処理のための機械学習 2 2. 文書及び単語の数学的表現 3. クラスタリング 4. 分類 5. 系列ラベリング

    1. 必要な数学的知識
  3. 等式制約付凸計画問題 . . . = 0 ▪等式制約付凸計画問題 :目的関数 が凸関数で、実行可能領域が凸集合である最適化問題 ▪

    ラグランジュの未定乗数法 , = + : ラグランジュ関数 + = 0 , = 0 3 復習
  4. 等式制約付凸計画問題 次の最大化問題を解け. ▪ 例題 , =−3 4 − 4 4+

    3 + 4 − 1 4 . . 3 + 4 − 1 = 0 . −3 4 − 4 4 3 , 4 , 3 = −23 + = 0 3 , 4 , 4 = −24 + = 0 3 , 4 , = 3 + 4 − 1 = 0 3 , 4 = 1 2 , 1 2 復習
  5. 最尤推定 5 ▪ i.i.dと尤度 i.i.d(independently, identically distributed) : 独立に同一の確率分布に従う 確率変数のサンプルデータ

    = 3 , … ; の生成確率 | が = | = ? ( B |) E F ∈H となることを保証する仮定 尤度(likelihood) モデルのパラメータ 復習
  6. 最尤推定 6 ▪ 最尤推定 :与えられたデータに対し, 尤度が最大となるように モデルパラメータを決定する方法 IJE = =

    ? ( B |) E F ∈H IJE = log ( ) = O log ( B ) E F ∈H 復習
  7. 最尤推定 7 ポアソン分布から生成されたデータ = 3 , … ; が与えられたとする。 このとき、ポアソン分布のパラメータを最尤推定を用いて求めよ。

    log | = O log E F B ! ST E F ∈H log | = O B 1 − 1 E F ∈H = 0 = ∑ B E F ∈H ▪ 例題 復習
  8. MAP推定 8 ▪ MAP推定 : パラメータの事前確率分布 | : パラメータの事後確率分布 最尤推定

    : 尤度(与えられたデータが生成される確率)が 最大になるようにパラメータを決定 MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 | = | = |
  9. MAP推定 9 ▪ MAP推定 : データが与えられたときのパラメータの確率分布 | が 最大となるようにパラメータを決定 |

    = + O log ( B ) E F ∈H を最大化するパラメータを決定する | = | = |
  10. 4. 分類 10 4.2 ナイーブベイズ分類器 4.3 サポートベクトルマシン 4.4 カーネル法 4.5

    対数線形モデル 4.1 分類とは
  11. 4.1 分類とは 11

  12. 4.1 分類とは 12 ▪ 分類 (classification, categorization) : あらかじめ決まったグループに分けること ▪分類器

    (classifier) ・ 規則ベース手法 ・ データから自動的に分類器を構築する手法 Ex.) 品詞のタグ付け, 係り受け解析
  13. 4.2 ナイーブベイズ分類器 13

  14. 4.2 ナイーブベイズ分類器 14 4.2.1 はじめに 4.2.2 多変数ベルヌーイモデル 4.2.3多項モデル ・ モデルの導入

    ・ パラメータの最尤推定 ・ パラメータのMAP推定 ・ モデルの導入 ・ パラメータの最尤推定 ・ パラメータのMAP推定
  15. 4.2.1 はじめに 15 : 確率に基づいた分類器 事例dに対して, | が最大となるクラスを出力する IJE =

    | = | = | | をどう計算するのか? ※ 以下、 を文書として考える ▪ ナイーブベイズ分類器 (naive bayes classifier)
  16. 4.2.2 多変数ベルヌーイモデル 16 : 取りうる値が二つであるような確率変数を記述する分布 ベルヌーイ分布に従う確率変数 確率変数Xは, 確率で, 確率1 −

    で の値をとる = ; = , + , (1 − ) = , + (1 − , )(1 − ) = ] E,J (1 − )(3 S] E,J ) ▪ ベルヌーイ分布
  17. 4.2.2 多変数ベルヌーイモデル 17 : ベルヌーイ分布に従う確率変数を要素とする確率分布 = ; 3 , 4

    , … , _ = ?(B ] EF,3 (1 − B )(3 S] EF,3 )) _ B`3 互いに独立な確率変数3 , 4 , … , _ 確率3 , 4 , … , _ で1, 確率1 − 3 , 1 − 4 , … ,1 − _ で0をとる 確率変数ベクトル = (3 , 4 , … , _ ) ▪ 多変数ベルヌーイ分布
  18. 4.2.2 多変数ベルヌーイモデル 語彙 (各単語), クラス ・ c,d = P(c,d =

    1) ・ d = () c,d: が事例内で出現するとき1, 出現しないとき0 モデルのパラメータ ▪ モデルの導入 (|)を多変数ベルヌーイ分布でモデル化 18
  19. 4.2.2 多変数ベルヌーイモデル ▪ モデルの導入 クラスが与えられている時に、各単語が生起するかを表す確率 c,d ] c,f (1 −

    c,d )3S] c,f , : 単語が文書に出現したとき1, 出現しなかったとき0 文書の生起確率 | = ? c,d ] c,f (1 − c,d )3S] c,f c∈g 多変数ベルヌーイモデルのナイーブベイズ分類器は () | = d ? c,d ] c,f (1 − c,d )3S] c,f c∈g を最大化するようなを出力する 19
  20. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 データ集合D = { 3 , 3

    , 4 , 4 , … |H| , |H| } 事例: 3 , 4 , … , |H| クラス: 3 , 4 , …, |H| c,d , d を最尤推定により求める log () = O d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g (f,d)∈H = O d d d + O O c,d c∈g d c,d + O O d − c,d log (1 − c∈g d c,d ) c,d: クラスでありを含むような訓練文書数 d: クラスであるような訓練文書数 20
  21. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 max. log () log ()を最大化するようなc,d ,

    d を求める . . O d = 1 d 等式制約付き凸関数問題 ラグランジュ関数(, )を定義する , = + O d − 1 d ∶求めたいパラメータの集合 c,d ∈ , ∈ , c,d ∈ 21
  22. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , = + O d −

    1 d 各パラメータ(c,d , d , )でラグランジュ関数を偏微分 , c,d = c,d c,d − d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 22
  23. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 , c,d = c,d c,d −

    d − c,d 1 − c,d = 0 , d = d d + = 0 , = O d − 1 d = 0 c,d = c,d d d = d ∑ d d 23
  24. 4.2.2 多変数ベルヌーイモデル ▪ パラメータの最尤推定 c,d = c,d d d =

    d ∑ d d c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = (クラスであるような訓練文書数) (訓練文書数) パラメータ推定に用いるのは, 「文書数」 単語の頻度そのものは用いない 24
  25. 4.2.2 多変数ベルヌーイモデル ▪ まとめると… c,d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d

    = (クラスであるような訓練文書数) (訓練文書数) 多変数ベルヌーイモデル () | = d ? c,d ] c,f (1 − c,d )3S] c,f _ c∈g IJE = | = | ナイーブベイズ分類器 パラメータの最尤推定 25
  26. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ”

    4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 26
  27. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 P氏は次のような文書を書いた。 N氏は次のような文書を書いた。 3 = “ ”

    4 = “ ” u = “ ” v = “ ” w = “ ” x = “ ” このデータを用いて、P氏の書いた文書とN氏の書いた文書を分類する 多変数ベルヌーイモデルのナイーブベイズ分類器を構築せよ。 パラメータc,d , d を求めよ 27
  28. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) 28
  29. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 29
  30. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 30
  31. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 語彙V = {bad, boring, exciting, good}

    c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) d = ;y ∑ ;y y = (クラスdであるような訓練文書数) (訓練文書数) z = 3, ; = 3 |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 31
  32. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 d = ;y ∑ ;y y

    = (クラスdであるような訓練文書数) (訓練文書数) z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 z = 3, ; = 3より, 32
  33. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = |Jf,ƒ z = 1

    3 = 0.33 c,d = c,d d = (クラスでありを含むような訓練文書数 ) (クラスであるような訓練文書数) |Jf,z = 1, |Jf,; = 3 |}~B_•,z = 1, |}~B_•,; = 2 €EdB•B_•,z = 2, €EdB•B_•,; = 1 •}}f,z = 2, •}}f,; = 1 |Jf,; = |Jf,; ; = 3 3 = 1.00 より, |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 |}~B_•,z = 0.67 |}~B_•,; = 0.33 33
  34. 4.2.2 多変数ベルヌーイモデル ▪ 例題1 |Jf,z = 0.33 |Jf,; = 1.00

    |}~B_•,z = 0.33 |}~B_•,; = 0.67 €EdB•B_•,z = 0.67 €EdB•B_•,; = 0.33 •}}f,z = 0.67 •}}f,; = 0.33 z = z z + ; = 3 3 + 3 = 0.50 ; = ; z + ; = 3 3 + 3 = 0.50 34
  35. 4.2.2 多変数ベルヌーイモデル ▪ 例題2 例題1 の分類器を用いて, 次の文書を分類せよ: = “ ”

    z f|z = z × |Jf,z × |}~B_•,z × (1− €EdB•B_•,z )× •}}f,z = 0.5 × 0.33 ×0.33 × 1 − 0.67 ×0.67 = 0.012 ; f|; = ; × |Jf,; × |}~B_•,; × (1− €EdB•B_•,; )× •}}f,; = 0.5 × 1.00×0.67 × 1 − 0.33 × 0.33 = 0.074 ナイーブベイズ分類器はN氏によって書かれたものと推測 35
  36. None
  37. None
  38. None
  39. None
  40. None
  41. None
  42. None
  43. None
  44. None
  45. None
  46. None
  47. None
  48. None
  49. None
  50. None
  51. None
  52. None
  53. None
  54. None
  55. None
  56. None
  57. None
  58. None
  59. None
  60. None
  61. None
  62. None
  63. None