サポートベクターマシンとは？アルゴリズムや数学の徹底解説！！

αϙʔτϕΫλʔϚγϯ 47. ͷ ਺ֶΛઆ໌͍͚ͨͩ͠ͷεϥΠυ ্ݪݡ༞!LFOZV@ ɹࢁޱେֶത࢜՝ఔֶज़ݚڀһ ࠷ۙͷτϐοΫ  ɹਓ޻஌ೳͷݕఆ Hݕఆ ʹ߹֨
ͨ͠ͷͰɼ"*ʹؔ͢ΔϚ΢ϯτ ͕ͱΕΔΑ͏ʹͳΓ·ͨ͠ɽ θϛࢿྉୈճ ࡱӨɼιʔγϟϧɼࣗݾ࢖༻ɼશ෦0, 5XJUUFSྑ͚Ε͹ϑΥϩʔͩ͘͞Εʂ

ࠓճͷθϛͷ໨తͱίϯςϯπ ɾػցֶशͷେ࿮Λͬ͘͟Γͱཧղ͢Δ͜ͱɹɾɾɾ ɾ47.ͷ਺ֶతഎܠΛཧղ͢Δ͜ͱɾɾɾ ɾ47.Λ࣮ࡍʹ࢖༻Ͱ͖ΔΑ͏ʹͳΔ͜ͱɾɾɾ ɾػցֶशͱ͸ʂʁ ɾػցֶशͷҐஔ෇͚ ɾػցֶशͷΞϧΰϦζϜ ڭࢣ͋Γ74ͳ͠ ɾ47.͸ڭࢣ͋Γֶश
ɾσϞϯετϨʔγϣϯɿ਎ۙͳ47. ɾݚڀͷϞνϕʔγϣϯ ೴೾ͷݚڀ ɾϕΫτϧͷ෮श ɾઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯˠιϑτϚʔδϯ΁  ɾओ໰୊74૒ର໰୊ɿઢܗ͔Βඇઢܗ47.΁ͷ֦ு ɾಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ ɾݚڀ΁ͷద༻ɿ঺հ ໨త ΊͬͪΌ਺ֶʂ ಺༰

ػցֶश .BDIJOF-FBSOJOH ͱ͸ʂʁ τϨϯυ (PPHMFτϨϯυ ػցֶश͕͡Θ৳ͼ͍ͯ͠Δཧ༝ ɾσΟʔϓϥʔχϯάͰ͸େྔͷ ɹσʔλ͕ඞཁʹͳΔ ɾܭࢉϦιʔε͕ඞཁʹͳΔ ɾݸਓ͕ͳ͔ͳ͔࣮૷͠ʹ͍͘
ʮσʔλΛ൓෮తʹֶशͯ͠ɼ͋Δ๏ଇΛݟ͚ͭΔ͜ͱʯ σΟʔϓϥʔχϯά͸͜͏͍ͬͨোน͕͋Δ ɾগྔͷσʔλͰ࣮૷Ͱ͖Δ 47.Ͱ͸ަࠩݕূͳͲͷख๏΋͋Δ ɾೖग़ྗؔ܎ͷؔ਺ ౷ܭཧ࿦ʹجͮ͘ ɾܭࢉϦιʔε͸ͦ͜·ͰඞཁͰ͸ͳ͍ ɾݸਓͰ࣮૷͕༰қͰ͋Δ ਓؾͬ͢Α

ਓ޻஌ೳ͔ΒΈͨػցֶशͷҐஔ෇͚ ৼΔ෣͍͕ܾΊΒΕ͍ͯΔ΋ͷ ਓ޻஌ೳͷͭͷϨϕϧ෼͚ -FWFM -FWFM -FWFM -FWFM γϯϓϧͳ੍ޚϓϩάϥϜ ݹయతͳਓ޻஌ೳ ػցֶश
σΟʔϓϥʔχϯά 0O0GG੍ޚ 1*%੍ޚ 1SPQPSUJPOBM*OUFHSBM%JGGFSFOUJBM ͋Δಛఆͷ؀ڥʹݶఆͨ͠৔߹ͷΈɼ ෳࡶͳಈ͖͕Ͱ͖Δ ೖग़ྗͷؔ܎Λֶशͨ͠΋ͷɽ ೖྗʹಛ௃ྔͱ͍͏ਓ͕ؒ ઃఆ͢Δ֓೦͕͋Δɽ ಛ௃ྔࣗମΛࣗಈͰֶशͰ͖Δ ͋ΒΏΔ৚݅ʹରԠͨ͠ಈ࡞΍੍ޚܥͷ ૊Έ߹Θͤ αϙʔτϕΫλʔϚγϯ ܾఆ໦ͳͲ χϡʔϥϧωοτϫʔΫ 3// $//ͳͲ

ػցֶशͷΞϧΰϦζϜɿڭࢣ͋Γɼڭࢣͳ͠ɼ൒ڭࢣɼڧԽֶश ػցֶश ڭࢣ͋Γֶश ڭࢣͳֶ͠श ൒ڭࢣ͋Γֶश ڧԽֶश ϥϕϧ෇͖σʔλΛ༻͍ͯೖग़ྗؒͷ ؔ਺Λ࡞Δ ϥϕϧͳ͠ͷσʔλ͔ΒӅΕͨߏ଄Λ هड़͢Δؔ਺Λ࡞Δ
ϥϕϧ෇͖ͱແ͠ͷ྆ํͷσʔλΛ༻ ͍ͯೖग़ྗؒͷؔ਺Λ࡞Δ ͋Δ؀ڥ಺ͰߦಈͷՁ஋Λ࠷େԽ͢Δ Α͏ͳಈ࡞ΛܾΊΔؔ਺Λ࡞Δ ɾճؼ ઢܗճؼɼϕΠζճؼ ɾ෼ྨ 47.ɼܾఆ໦ ɾΫϥελϦϯά ɹ ,NFBOT๏ɼࠞ߹ਖ਼ن෼෍Ϟσϧ ɾ৘ใѹॖ 1$"ɼಛҟ஋෼ղ ɾ෼ྨ ൒ڭࢣ͋ΓLۙ๣๏άϥϑɼɹɹɹ ɹɹ൒ڭࢣ͋Γࠞ߹Ψ΢εϞσϧ ɾήʔϜɼ੍ޚɼਪఆ ɹ 2MFBSOJOHɼ4BSTB

ػցֶशͷΞϧΰϦζϜɿڭࢣ͋ΓαϙʔτϕΫλʔϚγϯ47. ݹయతͳ੍ޚ ೖྗ ϓϩάϥϜ ίϯϐϡʔλ ग़ྗ ೖྗ ग़ྗ ίϯϐϡʔλ ϓϩάϥϜ
ڭࢣ͋Γֶश ػցֶश αϙʔτϕΫλʔϚγϯ ೖग़ྗσʔλͷύλʔϯΛ ίϯϐϡʔλʹ୳ͯ͠΋Β͏

47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ ΞϝϦΧ༣੓αʔϏεɿखॻ͖༣ศ൪߸Λೝࣝͯ͠ɼࣗಈ࢓෼͚͢Δ՝୊ 77BQOJL 4UBUJTUJDBM-FBSOJOH5IFPSZ 4QSJOHFS7FSMBH ࠓճ࣮૷EFNP͋Γ खॻ͖จࣈೖྗ ਺ࣈग़ྗ
ػցֶशͷ࣮ߦ 47. //FUD ίʔϧηϯλ ༣ศ෺࢓෼͚ ి࿩ަ׵ख ݱࡏɼػցʹ୅ସ͞ΕΔ ͱ༧૝͞Ε͍ͯΔ࢓ࣄ#FTU 「RaspberryPiではじめる機械学習」を参考にしました ෼ྨث ˠ಺ଆͷॲཧΛͬ͟ͱઆ໌ɽ ˠ47.ʹΑΓ෼ྨثΛ࡞੒ͯ͠ɼ࣮ࡍʹखॻ͖ ɹจࣈೝࣝΛߦ͏͜ͱ͕Ͱ͖Δ͔Ͳ͏͔ͷςετɽ σϞϯετϨʔγϣϯͷ಺༰

47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ ֦େ ͕ͪΐͬͱҟ࣭ͩͱࢥ͍·͕͢ɼ ੈքతʹ͸͜ͷܗଶ͕ओྲྀ 特徴量 (8 × 8ピクセル) 0:白 → 15:黒 ಛ௃ྔΛ࣋ͬͨϕΫτϧΛλʔήοτຖʹ ண৭ͯ͠෼෍Λ֬ೝͯ͠ΈΔ ओ੒෼෼ੳQDBͱ͍͏࣍ݩΛམͱ͢ख๏ʢˠ࣍ݩ΁ʣ Λ࢖͍·͕͢ɼ͜͜Ͱ͸આ໌Λল͖·͢ʂ 1SJODJQMF$PNQPOFOUT"OBMZTJT खॻ͖਺ࣈ ΦʔϓϯΞΫηε ໊෼ͷखॻ͖਺ࣈݸ ػցֶशϥΠϒϥϦ4DJLJUMFBSOΑΓೖख ֤਺ࣈʹ͓͚Δ ಛ௃ྔͷ෼෍ͷ͹Β͖ͭ

47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ データセットの図を確認したい場合はこちらを実行 64 (8*8)ピクセルの特徴(0~15)を持ったイメージ画像の出力 7がちょっと異質だと思いますが，世界的にはこの形態が主流

47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ x1 x2 Y1 = 6 Y2 = 5 特徴量(本当は64つ)
特徴量データ1797つ Q.　Sklearnのオープンデータセットがどのようなものか確認して下さいデータとターゲットを用意できれば，すぐにSVMやNNに与えることができます for文　「変数i を0から9まで変化させながら10回繰り返す」 n_classesには10が格納されている

47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ 特徴量を持ったベクトルをターゲット毎に着色して分布を確認してみる主成分分析pcaという次元を落とす手法（64→3次元へ）を使いますが，ここでは説明を省きます！ Principle Components Analysis ओ੒෼෼ੳͷػೳ͕࢖͑Δ EFDPNQPTJUJPOϞδϡʔϧͷΠϯϙʔτ

47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ サポートベクターマシンを使った分類器の作成に挑戦サポートベクターマシンがたったの3行で実装できる！  Sklearnを使用したらかなり楽に記述することができます．予測と正解が一致した結果（合計）をsuccessに渡す SVM X y result =
clf.predict(X) 入力のy(数字)と，出力のresult(数字)が一致しているのか確かめる！正解率を表示して，与えたデータでSVMを使ってきちんと0~9のクラスに分けることができているのか確かめる

ʮ3BTQCFSSZ1JͰ͸͡ΊΔػցֶशʯ Λࢀߟʹ͠·ͨ͠ 47.Λ༻͍Δ͜ͱʹΑͬͯɼ खॻ͖จࣈͷೝ͕ࣝͰ͖ΔΑ 47.͕͸͡Ίʹ࢖ΘΕͨ՝୊ɿखॻ͖จࣈೝࣝ

ઢܗֶशϚγϯͷ਺ֶ K2 K1 K2 K1 2VFTUJPOɿͲͬͪͷڥքͷํ͕ɼೋͭͷΫϥεΛ෼ྨ͢Δઢͱͯ͠༏ल͔ʁ  ɹɹɹɹɹ·ͨɼͳͥͦ͏ࢥ͔ͬͨʁ ෼཭ڥքΛҾ͘ͱ͖ʹ͸ɼϚʔδϯ࠷େԽͱ͍͏࠷దԽ໰୊Λղ͘ɽ  47.͸ͳΔ΂͘େ͖ͳϚʔδϯΛܭࢉ͢ΔͨΊͷख๏Ͱ͋Δɽ ͜ͷ࠷దԽ໰୊ͷཱࣜɼ࣮༻্ͷࣜల։Λߦͬͯɼ࣮ࡍʹ࢖ͬͯΈΔ
͕ͬͪ͜༏ल

ϕΫτϧͷ෮शɿزԿֶతදݱ͔Β୅਺తදݱ΁ r θ x y (r, θ) x1 x x1
x (x, y) ༗޲ઢ෼͔Β࠲ඪܥͷ੒෼΁ ୅਺త֓೦ͩͱ ϕΫτϧΛ࢖ͬͨ ࿨ࠩ಺ੵͷԋࢉ͕༰қ ஍ཧ࠲ඪܥXJLJQFEJB IUUQTKBXJLJQFEJBPSHXJLJ஍ཧ࠲ඪܥ ֤ࠃ΋Ңઢͱܦઢͷ ৘ใΛ࣋ͭϕΫτϧ ࣾձਓͷͨΊͷσʔλ෼ੳೖ໳ୈճ IUUQTBNVTFNFOUKBQBODPKQBSUJDMFEFUBJM ϚοΫͱύνϯίͷ ৘ใΛ࣋ͭϕΫτϧ ສਓ͋ͨΓ ͜͏͍ͬͨ΋ͷ΋ ϕΫτϧ

ಛ௃ྔ ಛ௃ྔ ઢܗ෼཭Մೳ K2 K1 ಛ௃ྔ ಛ௃ྔ K2 K1 ઢܗ෼཭ෆՄೳ
ϋʔυϚʔδϯ ιϑτϚʔδϯ ϋʔυϚʔδϯΑΓ΋ݡ໌ͳ47. 47.ͷऔֻ͔ͬΓʹྑ͍ ઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯ

ಛ௃ྔ ಛ௃ྔ αϙʔτϕΫτϧ αϙʔτϕΫτϧ Ϛʔδϯ࠷େԽ ໼ҹ෦ͷ௕͞ wT x + b
= 0 K2 K1 ௚ઢΑΓԼʹ͋Δσʔλ͸ Ϋϥεʹଐ͢Δ ௚ઢΑΓ্ʹ͋Δσʔλ͸ Ϋϥεʹଐ͢Δ wT xi + b > 0 wT xi wT xi + b < 0 xi ∈ K1 wT xi xi ∈ K2 ͱͳΔσʔλxͷू߹ ઢܗ෼཭Մೳͳσʔλ ෼ྨڥքͰ͋Δ௚ઢ ௒ฏ໘ ͷํఔࣜΛ͜ͷΑ͏ʹఆٛ͢Δ ϥϕϧม਺ti Λಋೖͯ͠ɼΑΓେ͖͍ܗʹ ti (wT xi + b) > 0 wT xi i = 1,2,⋯, n w زԿϚʔδϯ ͱ͍͏Αʂ ɾ෼ྨڥքΛܾఆ͢Δؔ਺ʹΑΓ෼ྨثΛఆٛ͢Δɽ ɾσʔλΛ׬ᘳʹ෼཭͢Δؔ਺͕ଘࡏ͢Δͱ͍͏Ծఆ͕͋Δɽ ɾαϙʔτϕΫτϧͰͳ͍఺͸ɼ෼཭௚ઢ ௒ฏ໘ ʹશ͘ӨڹΛ༩͑ͳ͍ɽ ɹͭ·Γɼ࠷దղʹӨڹ͸ͳ͍ɽ w w b ॏΈ O࣍ݩ࣮਺ϕΫτϧ όΠΞε εΧϥʔ ઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯ

䡧఺ͱ௚ઢͷڑ཭ ࣍ݩ7FS (x1 , x2 ) d d = |w1
x1 + w2 x2 + b| w2 1 + w2 2 wT xi + b = 0 wT xi 䡧఺ͱ௒ฏ໘ͷڑ཭ O࣍ݩ7FS (x1 , x2 , ⋯, xn ) d = |w1 x1 + w2 x2 + ⋯ + wn xn + b| w2 1 + w2 2 + ⋯ + w2 n O࣍ݩ͔͚ͳ͍͚Ͳɼ  ࣍ݩతʹɼɼɼ wT xi + b = 0 wT xi d = |wT x + b| ||w|| w wT x ҰൠԽ͢Δ ͸ɼॏΈϕΫτϧͷϊϧϜ ௕͞ Λද͢ ||w|| w O࣍ݩσʔλ ࣍ݩฏ໘ͷ ఺ͱ௚ઢͷڑ཭ ߴߍ਺ֶͩͶ ઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯ

ಛ௃ྔ ಛ௃ྔ αϙʔτϕΫτϧ αϙʔτϕΫτϧ Ϛʔδϯ࠷େԽ ໼ҹ෦ͷ௕͞ wT x + b
= 0 K2 K1 ̎ͭͷΫϥεΛ෼͚Δ௒ฏ໘ʹ࠷΋͍ۙσʔλ αϙʔτϕΫτϧ ΁ͷڑ཭Λߟ͑Δ wT x M = wT x+ + b ||w|| = −(wT x− + b) ||w|| w wT x x+ x− x x w wT x αϙʔτϕΫτϧ αϙʔτϕΫτϧ ti (wT xi + b) ||w|| ≥ M maxM, w, b w (i = 1,2,⋯, n) wT xi w ͜ͷ࠷దԽ໰୊Λղ͘ ᶃαϙʔτϕΫτϧ PS ʹରͯ͠Ϛʔδϯ࠷େԽ͢Δ ᶄશͯͷϕΫτϧɹ͕ ͦͷϚʔδϯΑΓ΋ڑ཭͕௕͍ ͜ͷͭͷ৚݅Λຬͨ͢ xi xi x+ x+ x− x− ઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯ

ti (wT xi + b) ||w|| ≥ M maxM, w,
b w (i = 1,2,⋯, n) wT xi w ͜ͷ࠷దԽ໰୊Λղ͘ ؔ਺ग़ྗͱͯ͠ଌఆ͞ΕΔؔ਺ϚʔδϯM͕มԽ͢ΔͷͰɼ زԿϚʔδϯΛ࠷దԽ͢ΔͨΊʹ΋ɼؔ਺ϚʔδϯΛʹ͢Δɽ ͦͷޙɼॏΈϕΫτϧͷϊϧϜΛ࠷େԽ ࠷খԽ ͢Δɽ M = wT x+ + b ||w|| = −(wT x− + b) ||w|| w wT x w wT x αϙʔτϕΫτϧ αϙʔτϕΫτϧ wT x + b = 1 w ͜͜Ͱɼ྆ลΛMͰׂΔ ti (wT xi + b) M||w|| ≥ 1 ti ( ˜ wT xi + ˜ b) ≥ 1 ˜ w = w M||w|| ˜ b = b M||w|| શͯͷσʔλʹରͯ͠ɼ͜ͷෆ౳͕ࣜͳΓͨͭ wT xi w wT xi w w ؆୯ͷͨΊνϧμͰද͓ͯ͘͠ ˜ M = ti ( ˜ wT xi + ˜ b) || ˜ w|| = 1 || ˜ w|| αϙʔτϕΫτϧ x+ ΍x- ʹ͓͍ͯ͸ɼ ҎԼͷ౳߸͕੒ཱ͢Δ wT xi w w ໨తؔ਺ ੍໿৚݅ ti ( ˜ wT xi + ˜ b) = 1 wT xi ಛʹαϙʔτϕΫτϧͰ͸౳߸͕੒ཱ ઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯ

max 1 || ˜ w|| , ˜ w, b w
(i = 1,2,⋯, n) ti ( ˜ wT xi + ˜ b) ≥ 1 wT xi w min 1 2 ||w||2 , ti (wT xi + b) ≥ 1 wT xi (i = 1,2,⋯, n) w, b w ࠷େԽ͸ɼٯ਺Λͱͬͯ࠷খԽ͢Δͷͱ౳ՁͰ͋Δ ࠷େԽˠ࠷খԽ໰୊ w ϊϧϜͷೋ৐΍͸ܭࢉΛߦ͍΍͘͢͢ΔͨΊʂ ໨తؔ਺ ੍໿৚݅ ࠷దԽ໰୊ͷ࠷దղΛٻΊΔͱɼ wT x + b = 1 w ti ( ˜ wT xi + ˜ b) = 1 wT xi ͸௨ৗ͍͔ͭ͘ݱΕΔɽ ͜Ε͸ɼ෼ྨڥքʹ࠷΋͍ۙϕΫτϧͰ͋Γɼࠨਤͷഁઢ্ ͷ఺ʹ૬౰͢Δ ઢܗֶशϚγϯͷ਺ֶɿϋʔυϚʔδϯ

ಛ௃ྔ ಛ௃ྔ wT x + b = 0 ઢܗ෼཭Մೳ K2
K1 ಛ௃ྔ ಛ௃ྔ K2 K1 ઢܗ෼཭ෆՄೳ wT x + b = 0 ϋʔυϚʔδϯ ιϑτϚʔδϯ ϋʔυϚʔδϯΑΓ΋ݡ໌ͳ47. ϋʔυϚʔδϯͷ੍࣋ͭ໿৚݅ͷ؇࿨ 47.ͷऔֻ͔ͬΓʹྑ͍ ઢܗֶशϚγϯͷ਺ֶɿιϑτϚʔδϯ

K2 K1 ઢܗ෼཭ෆՄೳ wT x + b = 0 wT
x + b = − 1 wT x + b = 1 ti (wT xi + b) ≥ 1 − ξi wT xi K1 ʹ͓͍ͯ෼཭͢Δ௚ઢͷ Ұ൪͍ۙσʔλ αϙʔτϕΫτϧ K2 ʹ͓͍ͯҰ൪͍ۙσʔλ αϙʔτϕΫτϧ w, b w ઢܗ෼཭Մೳͳ৔߹ ϋʔυϚʔδϯ ͸ɼ͜Εͷ࠷খԽ໰୊Λղ͘͜ͱ͕ඞཁͩͬͨ min 1 2 ||w||2 , ti (wT xi + b) ≥ 1 wT xi (i = 1,2,⋯, n) w ౳߸͕੒ཱ͢Δ৔߹ Ϛʔδϯ Ϛʔδϯ಺෦ʹҟͳΔσʔλ͕ ೖΓࠐΜͰ͠·͏ εϥοάม਺ξ Λಋೖ੍ͯ͠໿ΛऑΊΔ ξi = max{0, M − ti (wT xi + b) ||w|| } εϥοάม਺ξ ͸NBYؔ਺ wT x w w x w x w x ά β Π ઢܗֶशϚγϯͷ਺ֶɿιϑτϚʔδϯ

ξi = max{0, (1 − 0.4 = 0.6)} ξi =
max{0, M − ti (wT xi + b) ||w|| } wT x w K2 K1 ۩ମྫΛߟ͑Δ wT x + b = 0 wT x + b = 1 Ϛʔδϯ. ྫ͑͹ɼ͜ͷೖΓࠐΜͩ σʔλ ఺ Λߟ͑Δ ti (wT xi + b) ||w|| = 0.4 ௚ઢͱ఺ͷڑ཭ Ϛʔδϯ M = 1 ξi = 0.6 ti (wT xi + b) ≥ 1 − ξi = 0.4 wT xi ͜ͷೖΓࠐΜͩσʔλ ఺ ʹରͯ͠͸ɼ੍໿͕খ͘͞ͳΔ w x w x ্ͷ۩ମྫͷΑ͏ʹɼϚʔδϯΛ௒͑ͯ͠·ͬͨ఺ͷଘࡏΛڐՄ͢ΔͨΊͷ΋ͷ ͜ΕʹΑͬͯɼ෼཭ෆՄೳͳ৔߹΋ڥքͷਪఆΛՄೳʹ͍ͯ͠Δ ઢܗֶशϚγϯͷ਺ֶɿιϑτϚʔδϯ

ti (wT xi + b) ≥ 1 wT xi (i
= 1,2,⋯, n) ϋʔυϚʔδϯ min 1 2 ||w||2 w, b w w ໨తؔ਺ ੍໿৚݅ ιϑτϚʔδϯ min{ 1 2 ||w||2 + C n ∑ i=1 ξi} w, b, ξ w w ໨తؔ਺ ੍໿৚݅ ti (wT xi + b) ≥ 1 − ξi , wT xi (i = 1,2,⋯, n) ξi ≥ 0 C> 0ɿਖ਼ଇԽ܎਺ ϖφϧςΟͷ౓߹͍ ໨తؔ਺Λ࠷খԽ͢ΔͨΊʹ͸ɼ߲̎ͷόϥϯεΛ্ख͘औΒͳ͍ͱ͍͚ͳ͍ ϚʔδϯΛ޿͛Α͏ͱ͢ΔͱɼC n ∑ i=1 ξi ͷ෦෼ ξ ͷ૯࿨ ͕େ͖͘ͳΔͨΊ ΑΓ΋খ͘͞ͳΔͷͰɼ ϚʔδϯΛ௒͑ͯҟͳΔΫϥεʹೖΔͷΛڐ͢ ϚʔδϯΛ޿͛ΔͱɼୈҰ߲͸খ͘͞ͳΔ͕ɼୈೋ߲͸େ͖͘ͳ͍ͬͯ͘ ઢܗֶशϚγϯͷ਺ֶɿιϑτϚʔδϯ

ਖ਼ଇԽ܎਺ ϋΠύʔύϥϝʔλ ͷ୳ٻɹɹɹɹɹɹιϑτϚʔδϯ ਖ਼ଇԽ܎਺ͷ஋ʹΑͬͯɼϚʔδϯʹͲͷΑ͏ͳӨڹ͕͋Δͷ͔֬ೝ͢Δ min{ 1 2 ||w||2 + C
n ∑ i=1 ξi} w, b, ξ w w ໨తؔ਺ C> 0ɿਖ਼ଇԽ܎਺ ϖφϧςΟͷ౓߹͍ C= 100 C= 0.1 ਤͷҾ༻ɼαϙʔτϕΫτϧϚγϯɼ ஛಺Ұ࿠ɼௗࢁণ޾ɼߨஊࣾ ▶︎ 2VFTUJPO Ͳ͕ͬͪ$ʁ$ʁ ɾ໨తؔ਺࠷খԽΛ͢ΔࡍɼC͕େ͖͍ͱɼξΛ཈੍͢Δྗ͕ڧ͘ͳΔɽ ɹ ޡͬͨσʔλ͕ϚʔδϯΛ௒͑ͯ৵ೖ͢Δ͜ͱ͕ͳ͘ͳΔ ɾC͕খ͍͞ͱɼσʔλ͕ϚʔδϯΛ௒͑ͯ͠·͏͜ͱΛڐ͢ͷͰɼϚʔδϯΛ޿͘औΕΔɽ 47.͸Ϛʔδϯ࠷େԽΛ͍ͨ͠ͷ͚ͩͲɼɼɼɼ ߲ͷόϥϯεΛߟ͑Δඞཁ͕͋Δ CˠʿͰ͸ʮϋʔυϚʔδϯʯʹͳΔɽ

ओ໰୊74૒ର໰୊ɿઢܗ͔Βඇઢܗ47.΁ͷ֦ு ιϑτϚʔδϯ min{ 1 2 ||w||2 + C n ∑
i=1 ξi} w, b, ξ w w ໨తؔ਺ ੍໿৚݅ ti (wT xi + b) ≥ 1 − ξi , wT xi (i = 1,2,⋯, n) ξi ≥ 0 ओ໰୊ɿ͜Ε·ͰఆࣜԽ͖ͯͨ͠࠷దԽ໰୊ͷ͜ͱ 47.Λܭࢉ͢Δ৔߹͸ɼओ໰୊͸ղ͔ͣɼ૒ର໰୊Λղ͘ ૒ର໰୊ɿओ໰୊Λผͷղ͖қ͍ܗʹมܗͤͨ͞໰୊ ෼ྨڥքͷඇઢܗԽΛߟ͑Δ্Ͱɼ૒ର໰୊ͷܗ͕ࣜ༗༻Ͱ͋Δ w w w w w w w w w ̍ɽม਺ΛݮΒ͢͜ͱ͕Ͱ͖Δ ̎ɽΧʔωϧؔ਺͕ಋೖͰ͖Δ ੍໿৚݅ͷͳ͍࠷దԽ໰୊΁ͷมܗΛ͢Δ͜ͱ

K2 K1 ઢܗؔ਺ͰԾઆ͞Εۭͨؒ͸දݱෆ଍ͳ৔߹͕Α͋͘Δɽ  ͭ·ΓɼӈͷΑ͏ʹ௚ઢͰ෼཭Ͱ͖ͳ͍σʔλ͕͋Δ ओ໰୊74૒ର໰୊ɿઢܗ͔Βඇઢܗ47.΁ͷ֦ு

໨తؔ਺f(x) Λ࠷খʹ͢Δ఺Λɼn ݸͷෆ౳੍ࣜ໿gi(x) ≦ 0ͷ΋ͱͰٻΊΔ ϥάϥϯδϡͷະఆ৐਺๏ ϥάϥϯδϡؔ਺ ओม਺ ૒ରม਺ ϥάϥϯδϡ৐਺
x x (i = 1,2,⋯, n) x L(x, α) = f(x) + n ∑ i=1 αi gi (x) ∂L(x, α) ∂x = ∂f(x) ∂x + n ∑ i=1 αi ∂gi (x) ∂x ∂L(x, α) ∂αi = gi (x) ≤ 0 αi ≥ 0 αi gi (x) = 0 1. 2. 3. 4. x x x x x x x x x ओม਺ʹؔ͢Δมඍ෼ ૒ରม਺ʹؔ͢Δมඍ෼ ϥάϥϯδϡ৐਺͸ৗʹਖ਼ ੍໿৚݅ͱϥάϥϯδϡ৐਺ͷੵ͸ ҎԼͷͭΛղ͘͜ͱʹΑͬͯٻ·Δ ඇઢܗ47.΁ͷ֦ுɿϥάϥϯδϡͷະఆ৐਺๏

(1, 1, 1) 0 x y z ʲྫ୊ʳத৺(1, 1, 1
) ൒ܘͷٿද໘ʹɹ ɹɹɹɹ͓͍ͯɼݪ఺(0, 0, 0)͔Βڑ཭͕ ɹɹɹɹ࠷খͱͳΔ࠲ඪΛٻΊΑ ͜ͷ໰୊Λϥάϥϯδϡͷ ະఆ৐਺Λ࢖ͬͯղ͘Α ࠷খ ݪ఺͔Βͷڑ཭ͳͷͰɼࡾฏํͷఆཧ f(x, y, z) = x2 + y2 + z2 ໨తؔ਺ ੍໿৚݅ g(x, y, z) = (x − 1)2 + (y − 1)2 + (z − 1)2 − 1 = 0 ϥάϥϯδϡؔ਺ L(x, y, z, α) = x2 + y2 + z2 − α{(x − 1)2 + (y − 1)2 + (z − 1)2 − 1} ⾢ ໰୊Ҿ༻ɼ޻ֶͷͨΊͷ࠷దԽख๏ೖ໳ɼ ఱ୩ݡ࣏ɼ਺ཧ޻ֶࣾ ඇઢܗ47.΁ͷ֦ுɿϥάϥϯδϡͷະఆ৐਺๏ ٿͷํఔࣜʹै͏ͱ͍͏੍໿

∂L(x, y, z, α) ∂x = 2x − 2α(x −
1) ∂L(x, y, z, α) ∂y = 2y − 2α(y − 1) ∂L(x, y, z, α) ∂z = 2z − 2α(z − 1) ∂L(x, y, z, α) ∂α = − {(x − 1)2 + (y − 1)2 + (z − 1)2 − 1} (x, y, z, α) = (1 ± 1 3 , 1 ± 1 3 , 1 ± 1 3 , 1 ± 3) ্ͷຊͷ࿈ཱํఔࣜΛղ͘ͱɼ ͕ಘΒΕΔɽf ͸ූ߸͕+ͷͱ͖ʹɼ࠷େ஋Λɼ-ͷͱ͖ʹ࠷খ஋ΛͱΔɽ  Αͬͯɼݪ఺͔Βͷڑ཭͕࠷খͱͳΔ࠲ඪ͸ɼ (1 − 1 3 , 1 − 1 3 , 1 − 1 3 ) ඇઢܗ47.΁ͷ֦ுɿϥάϥϯδϡͷະఆ৐਺๏

min{ 1 2 ||w||2 + C n ∑ i=1 ξi}
w, b, ξ w w ໨తؔ਺ ੍໿৚݅ ti (wT xi + b) ≥ 1 − ξi , wT xi (i = 1,2,⋯, n) ξi ≥ 0 ϥάϥϯδϡͷະఆ৐਺๏Λ࢖ͬͯ47.ͷओ໰୊Λ૒ର໰୊΁ͱมܗ͢Δ L(w, b, ξ, α, β) = 1 2 ||w||2 + C n ∑ i=1 ξi − n ∑ i=1 αi {ti (wT xi + b) − 1 + ξi } − n ∑ i=1 βi ξi wT xi w w β α ϥάϥϯδϡ৐਺ ϥάϥϯδϡؔ਺ 1. 2. 3. ओม਺w ʹؔ͢Δมඍ෼ ∂L(w, b, ξ, α, β) ∂w = w − n ∑ i=1 αi ti xi = 0 ∂L(w, b, ξ, α, β) ∂b = − n ∑ i=1 αi ti = 0 ∂L(w, b, ξ, α, β) ∂ξ = C − αi − βi = 0 ओม਺b ʹؔ͢Δมඍ෼ ओม਺ξ ʹؔ͢Δมඍ෼ w w w w w xi ओม਺ w, b, ξ ʹؔ͢Δภඍ෼Λղ͘ w = n ∑ i=1 αi ti xi w xi n ∑ i=1 αi ti = 0 C = αi + βi ϥάϥϯδϡؔ਺΁୅ೖ ͜ΕΒͷ੍໿͕Ͳͷఔ౓ॏཁͰ͋Δ͔Λ ఆྔԽͨ͠৐਺ʹͳΔ ඇઢܗ47.΁ͷ֦ுɿϥάϥϯδϡͷະఆ৐਺๏

L(w, b, ξ, α, β) = 1 2 ||w||2 +
C n ∑ i=1 ξi − n ∑ i=1 αi {ti (wT xi + b) − 1 + ξi } − n ∑ i=1 βi ξi wT xi w w max{ ˜ L(α) = n ∑ i=1 αi − 1 2 n ∑ i=1 n ∑ i=j αi αj ti tj xT i xj} xT i xj ͭͷ৚݅ࣜΛϥάϥϯδϡؔ਺΁୅ೖ͠ɼ੔ཧ͢Δ͜ͱʹΑͬͯɼ α ͷΈͷࣜʹมܗͰ͖Δ αϙʔτϕΫλʔϚγϯͷ૒ର໰୊͸ɼ্ͷؔ਺ʹΑͬͯදݱ͞ΕΔ ϥάϥϯδϡؔ਺ ͜͜Ͱɼbͷ஋͸૒ର໰୊ʹݱΕͳ͍ͷͰɼb ͸ओ໰୊ͷ੍໿Λར༻ͯ͠ಋग़͢Δඞཁ͕͋Δ b = − maxti =−1 (wxi ) + minti =1 (wxi ) 2 wxi wxi ඇઢܗ47.΁ͷ֦ுɿϥάϥϯδϡͷະఆ৐਺๏

K2 K1 ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ ઢܗؔ਺ͰԾઆ͞Εۭͨؒ͸දݱෆ଍ͳ৔߹͕Α͋͘Δɽ  ͭ·ΓɼӈͷΑ͏ʹ௚ઢͰ෼཭Ͱ͖ͳ͍σʔλ͕͋Δ දݱྗ๛͔ͳԾઆۭ͕ؒඞཁ

ઢܗ෼཭͕Ͱ͖ΔΑ͏ʹߴ࣍ݩۭؒ΁ͱ֦ு͢Δ ௚ઢ ฏ໘ Ͱ ෼཭Ͱ͖Δ ೖྗۭؒ ಛ௃ۭؒ ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ

ೖྗۭؒ ಛ௃ۭؒ x1 x2 x1 x2 x1x2 x = (x1
, x2 ) x ϕ(x) = (x1 , x2 , x1 x2 ) x ࣸ૾ ϕ(x) = (x1 , x2 , x2 1 , x2 2 , x1 x2 ) x ଞʹ΋͍ΖΜͳํ๏͕͋ΔΑ ࣍ݩ֦ு ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ

L(w, b, ξ, α, β) = 1 2 ||w||2 +
C n ∑ i=1 ξi − n ∑ i=1 αi {ti (wT xi + b) − 1 + ξi } − n ∑ i=1 βi ξi wT xi w w max{ ˜ L(α) = n ∑ i=1 αi − 1 2 n ∑ i=1 n ∑ i=j αi αj ti tj xT i xj} xT i xj ϥάϥϯδϡؔ਺ max{ ˜ L(α) = n ∑ i=1 αi − 1 2 n ∑ i=1 n ∑ i=j αi αj ti tj ϕ(x)T i ϕ(x)j} ϕ(x)T i ϕ(x)j ಛ௃্ۭؒ΁ͷ֦ு ϕ(x) = (ϕ1 (x), ϕ2 (x), ⋯, ϕr (x)) x x x x ಺ੵͷΈͷ͓࿩ ໰୊ɿ࣍ݩ֦ுʹΑΓɼ಺ੵͷܭࢉྔ͕๲େ ϕ(x)T i ϕ(x)j ϕ(x)T i ϕ(x)j ಛ௃ۭؒͷ࣍ݩ਺ r ͸ɼ΋ͱ΋ͱͷೖྗۭؒͷn ΑΓ΋͸Δ͔ʹେ͖͍ ͦͷͨΊɼ಺ੵ ͷܭࢉ͕ͱͯ΋େม ϕ(x)T i ϕ(x)j K(xi , xj ) = ϕ(x)T i ϕ(x)j xi , xj Χʔωϧؔ਺ ಛ௃ϕΫτϧͷ಺ੵΛΧʔωϧؔ਺Ͱஔ͖׵͑Δ ݴ͍׵͑Δͱɼ಺ੵͷܭࢉ͑͞Ͱ͖Ε͹͓L ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ

ϕ(x) = ϕ(x1 , x2 ) = (x2 1 ,
2x1 x2 , x2 2 ) x x, y x y ೋͭͷϕΫτϧ Λߟ͑Δ ϕ(x) = ϕ(x1 , x2 ) = (x2 1 , 2x1 x2 , x2 2 ) x ϕ(y) = ϕ(y1 , y2 ) = (y2 1 , 2y1 y2 , y2 2 ) y ͜ΕΒೋͭͷ಺ੵΛߟ͑Δ ϕ(x)Tϕ(y) x y = (x2 1 , 2x1 x2 , x2 2 )T(y2 1 , 2y1 y2 , y2 2 ) = x2 1 y2 1 + 2x1 x2 y1 y2 + x2 2 y2 2 = (x1 y1 − x2 y2 )2 = ((x1 , x2 )T(y1 , y2 ))2 = (xTy)2 x y ม׵ޙͷϕΫτϧͷ಺ੵ͸ɼ ݩͷϕΫτϧͷ಺ੵͷ৐ʹ౳͍͠ c = 0 d = 2ͱͨ࣌͠ͷଟ߲ࣜΧʔωϧ ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ ಛ௃ۭؒͰͷ಺ੵ͕ͲͷΑ͏ͳܗʹམͪண͔͘ɼ؆୯ͳྫͰߟ͑ͯΈΔ ͜͏͍ͬͨܗ͕ɼΧʔωϧؔ਺ͱͯ͠੒Γཱͪͦ͏ͩͧɽɽɽ

max{ ˜ L(α) = n ∑ i=1 αi − 1
2 n ∑ i=1 n ∑ i=j αi αj ti tj ϕ(x)T i ϕ(x)j} ϕ(x)T i ϕ(x)j ໨తؔ਺ ϕ(x)T i ϕ(x)j K(xi , xj ) = ϕ(x)T i ϕ(x)j xi , xj Χʔωϧؔ਺ ͋Δಛఆͷੑ࣭Λຬͨ͢ͱ ͜Ε͕దԠͰ͖Δʂ Χʔωϧؔ਺Λ༻͍ΔࣄͰɼ࠷దԽΛ͢Δࡍʹɼ໌ࣔతʹП Λܭࢉ͠ͳͯ͘΋ྑ͍ ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ ʮϚʔαʔͷఆཧʯΛຬ଍Ͱ͖Δؔ਺͕ɼΧʔωϧؔ਺ͱͯ͠ద༻͢Δࣄ͕Ͱ͖Δ Χʔωϧؔ਺ͷྫ ɾଟ߲ࣜΧʔωϧ K(xi , xj ) = (xT i xj + c)d xi , xj xT i xj ɾΨ΢εΧʔωϧ K(xi , xj ) = exp{− ||xi − xj ||2 2σ2 } ɾγάϞΠυΧʔωϧ K(xi , xj ) = tanh(bxT i xj + c) xi , xj xi , xj xi xj xT i xj

Χʔωϧؔ਺ͷྫ ɾଟ߲ࣜΧʔωϧ K(xi , xj ) = (xT i xj
+ c)d xi , xj xT i xj ɾΨ΢εΧʔωϧ K(xi , xj ) = exp{− ||xi − xj ||2 2σ2 } ɾγάϞΠυΧʔωϧ K(xi , xj ) = tanh(bxT i xj + c) xi , xj xi , xj xi xj xT i xj ֤Χʔωϧͷ಺ଆͷϋΠύʔύϥϝʔλc ΍dɼσ ͳͲ͸ผ్ܾఆ͠ͳ͚Ε͹ͳΒͳ͍ɽ ͜ΕΒͷઃఆ͸ɼώϡʔϦεςΟοΫͰ͋Δ͠ɼ͍͔ͭ͘ͷٻΊํ΋͋Δɽ ඞͣ͠΋ਖ਼͍͠౴͑Λಋ͚ΔΘ͚Ͱ͸ͳ͍͕ɺ͋Δఔ౓ͷϨϕϧͰਖ਼ղʹ͍ۙղΛಘΔ͜ͱ͕Ͱ͖Δ σ ɿผʑͷΫϥεʹ෼ྨ͞Εͨ఺ؒͷڑ཭ͷ࠷΋খ͍͞΋ͷΛબ୒͢Δɽ ৴ͽΐ͏ੑͷ͋Δج४͕ͳ͍৔߹ɼަࠩݕূ΍ݕূू߹ͳͲΛ༻͍ͯઃఆ͢Δ ͨͱ͑͹ ݁Ռͱͯ͠ຬ଍ͷ͍͘ੑೳΛୡ੒͢Δ·Ͱɼ༷ʑͳύϥϝʔλΛ͍͘͡Γ·Θ͢ʁ ͔͠͠ɼଟ͘ͷ৔߹ɼ47.Λ࢖༻͢Δ৔߹ɼૉ๿ͳઃఆɼ࣮૷Ͱɼຬ଍Ͱ͖Δ݁ՌΛฦ͢ɽ  ٯʹɼ͜ΕΒͷܦݧ͸ɼ47.͕͏·͘దԠͰ͖ΔྖҬ͕׬શʹ։୓͞Ε͍ͯͳ͍͜ͱΛ҉ʹࣔ͢ɽ lαϙʔτϕΫλʔϚγϯೖ໳zɼ/FMMP$ +PIO45 େ๺߶ɼڞཱग़൛ Q ಛ௃ۭؒ΁ͷࣸ૾ɼΧʔωϧͷಋೖ

ऴΘΓ

サポートベクターマシンとは？アルゴリズムや数学の徹底解説！！

サポートベクターマシンとは？アルゴリズムや数学の徹底解説！！

Transcript

More Decks by kenyu

Other Decks in Education

Featured