機械学習勉強会05 パーセプトロン/MLStudy05

機械学習勉強会05 パーセプトロン

Transcript

1. ύʔηϓτϩϯ ෼ྨΞϧΰϦζϜͷجૅ @hachiilcane
2. લճ·Ͱ͸ ճؼ෼ੳͷجຊΛֶΜͩ
3. ࠓճֶͿ಺༰͸ ػցֶशͷΞϧΰϦζϜʮ෼ྨʯʮճؼ෼ ੳʯʮΫϥελϦϯάʯͷ͏ͪͷʮ෼ྨʯΛ ߟ͑Δ ෼ྨ͢Δͱ͸ɺ௚ઢ͋Δ͍͸ฏ໘ͰྖҬΛ෼ ͚Δ͜ͱͰ͋Δ 2࣍ݩೖྗ2Ϋϥε෼ྨΛ௚ઢͰ෼͚Δͷ͕ ύʔηϓτϩϯͱ͍͏ΞϧΰϦζϜ
4. ͜Μͳ໰୊Λߟ͑Δ ۙ೥ɺʮ͍͵͞Μͷ͜ͱ͕޷͖͗ͯ͢පʯʹ͔͔Δਓ͕૿͑ ͯࣾձ໰୊ʹͳ͍ͬͯ·͢ɻ͜ͷපؾʹ͔͔ͬͨਓ͸ಛผͳ ࣏ྍ͕ඞཁʹͳΓ·͕͢ɺපؾʹ͔͔͔ͬͨͲ͏͔ͷ൑ఆ͸ ೉͍͜͠ͱ͕Θ͔͍ͬͯ·͢ ஍ಓͳݚڀͷ݁Ռɺʮ͍͵͞Μͷը૾Λݟͤͨ࣌ͷ৺ഥ਺ͷ ૿ݮʯͱʮ͍͵͞Μάοζॴ༗਺ͷҰൠਓฏۉͱͷࠩʯ͕ප ؾͷ൑ఆʹେ͖͘໾ཱͭ͜ͱ͕Θ͔͖ͬͯ·ͨ͠ ʮ৺ഥ਺ͷ૿ݮʯͱʮάοζॴ༗਺ͷࠩʯΛܭଌ͢Δ͜ͱʹ Αͬͯɺͦͷਓ͕පؾʹ͔͔͍ͬͯΔ͔൱͔ΛҰ࣍൑ఆͨ͠ ͍Ͱ͢
5. ࣮ଌͯ͠σʔλΛूΊͯ Έͨ x ʢ৺ഥ਺ ૿ݮʣ y ʢάοζ ਺ࠩʣ t ʢ1:පؾ -1:͡Όͳ͍ʣ 0 5.604765 -0.837603 -1 1 5.093028 -1.098183 -1 2 -2.595448 1.348614 -1 3 -0.662749 -5.056531 -1 4 15.573566 10.073330 1 5 7.084038 2.165339 -1 6 6.204333 -2.945187 -1 7 13.349965 12.577250 1 8 16.487809 6.629031 1 9 0.060047 -2.900301 -1 τϨʔχϯάηοτ50ݸத ͷઌ಄10ݸͷ஋ පؾάϧʔϓ t=+1ͱ͢Δ පؾ͡Όͳ͍ άϧʔϓ t=-1ͱ͢Δ
6. ͪͳΈʹճؼ෼ੳͱͷม ਺ͷѻ͍ͷҧ͍͸ ճؼ෼ੳ…ʮ͍͵͞ΜͷഎதͷͲ͜Λ෡ͰͨΒͲΕ͘Β͍تͿ͔ʯ x t ม਺ͷҙຯ എதͷҐஔ تͼ౓ ม਺ͷछྨ ಛ௃ม਺ ໨తม਺ औΓ͏Δ஋ ࣮਺஋ ࣮਺஋ ෼ྨ…ʮ͜ͷ৚݅ͷਓ͸͍͵͞Μͷ͜ͱ͕޷͖͗ͯ͢ප͔Ͳ͏͔ʯ x y t ม਺ͷҙຯ ৺ഥ਺૿ݮ άοζ਺ࠩ පؾ͔൱͔ ม਺ͷछྨ ಛ௃ม਺̍ ಛ௃ม਺̎ ໨తม਺ औΓ͏Δ஋ ࣮਺஋ ࣮਺஋ 1 or -1 ಛ௃ม਺͕2ͭͳͷ͸෼ྨ͔ͩΒ Ͱ͸ͳͯͨ͘·ͨ·ͩΑʢ̍ͭͰ ΋෼ྨͰ͖Δ͚Ͳ؆୯͗͢Δʣ ໨తม਺ͷऔΓํ ͕ܾఆతʹҧ͏Α
7. ͜ΕΛͲ͏΍ͬͯ෼ྨ͢ Δ͔ ௚ઢͰ͍͑ͬ ͬͪ͜පؾ ͬͪ͜පؾ ͡Όͳ͍
8. ͦΕͬͯઢܗճؼͱಉ ͡ʁ ௚ઢΛٻΊΔͱ͍͏఺Ͱ͸΄΅ಉ͡ ͨͩɺۙࣅͷઢΛٻΊ͍ͨͷͰ͸ͳ ͘ɺࠓճ͸ڥքઢΛٻΊ͍ͨ
9. ҰൠతͳύϥϝτϦοΫϞσ ϧͷ̏ͭͷεςοϓʢ෮शʣ ࣍ͷ̏ͭͷεςοϓͰΰʔϧͱͳΔϞσϧɺ ͢ͳΘͪ਺ࣜΛܾఆ͢Δ 1.ύϥϝʔλΛؚΉϞσϧʢ਺ࣜʣΛઃఆ͢ Δ 2.ύϥϝʔλΛධՁ͢Δج४ΛఆΊΔ 3.࠷ྑͷධՁΛ༩͑ΔύϥϝʔλΛܾఆ͢Δ
10. εςοϓ1ɿύϥϝʔλΛؚ ΉϞσϧʢ਺ࣜʣΛ༻ҙ͢Δ ࠓճ͸(x,y)ฏ໘্ͷσʔλΛ෼ྨ͢Δ௚ઢ ΛٻΊΔ͜ͱ͕໨తͳͷͰɺ͜ͷ௚ઢΛ਺ ࣜͰදݱ͢Δ ͜ͷ࣌ɺ(x,y)ฏ໘Λ෼ׂ͢Δ௚ઢ͸࣍ࣜͰ ද͞ΕΔ f(x, y) = w0 + w1 x + w2 y f(x, y) = 0
11. f(x,y)Ͱ෼ׂ͞ΕΔྖҬ f(x,y)ͷූ߸Ͱ൑ผͰ͖Δ ڥքઢ͔Β཭ΕΔ΄Ͳɺf(x,y)ͷઈର஋͕େ͖͘ͳΔ f(x, y) > 0 f(x, y) < 0 f(x, y) = 0 (15,20) (2,4) ∟ f(x, y) = 49 f(x, y) = − 22
12. σʔλΛ෼ྨ͢Δϧʔϧ ܾΊ ҎԼͷϧʔϧͰt=±1ͷ2छྨͷଐੑΛ࣋ͭσʔλΛ ෼ྨ͢Δ ͜ͷ࣌ɺτϨʔχϯάηοτͱͯ͠༩͑ΒΕͨσʔ λɹɹɹɹɹɹʹ͍ͭͯɺਖ਼͘͠෼ྨ͞Ε͍ͯΔ͔ Ͳ͏͔͸ҎԼͷϧʔϧͰ൑ఆ͢Δ f(x, y) > 0 → t = + 1 f(x, y) < 0 → t = − 1 f(xn , yn ) × tn > 0 : ਖ਼ղ f(xn , yn ) × tn ≤ 0 : ෆਖ਼ղ {(xn , yn , tn )}N n=1 පؾͩΑ පؾ͡Όͳ͍Α t=±1ͲͪΒͷ৔߹Ͱ ΋ಉҰͷࣜͰ൑ఆͰ ͖Δ͜ͱ͕ϙΠϯτ
13. εςοϓ2ɿύϥϝʔλ ͷධՁج४ΛఆΊΔ ਖ਼͘͠෼ྨͰ͖ͳ͔ͬͨ఺͕͋ͬͨࡍʹɺͦΕΛޡࠩͱͯ͠ܭࢉ͢ΔʢϖφϧςΟʹۙ ͍ʣ ͜ͷ஋͸ڥքઢ͔Β཭ΕΔ΄Ͳେ͖͘ͳΔ ߹ܭͨ͠΋ͷ͕෼ྨͷޡ͕ࠩEͱͳΔ ޡͬͯ෼ྨ͞Εͨ࣌ͷf(xn,yn)×tn͸ϚΠφεͰ͋Δ͜ͱΛར༻ͯ͠ઈର஋ه߸Λ͸ͣ͢ͱ ͕ͨͬͯ͠f(x,y)ͷఆٛΛ༻͍ΔͱҎԼͷΑ͏ʹͳΔ En = | f(xn , yn )| E = ∑ n En = ∑ n |( f(xn , yn )| | f(xn , yn )| = − f(xn , yn ) × tn E = − ∑ n (w0 + w1 xn + w2 yn )tn ਖ਼͘͠෼ྨग़དྷͳ ͔ͬͨ఺ͷΈܭࢉ͠ ͍ͯΔ͜ͱʹ஫ҙ
14. ϕΫτϧදهʹ͢Δͱ όΠΞε߲͸ϕΫτϧͷ࣍ݩΛἧ͑Δͨ ΊͷςΫχοΫɻΑ͘࢖ΘΕΔ n = 0 @ 1 xn yn 1 A E = X n tnwT n w = 0 @ w0 w1 w2 1 A όΠΞε߲
15. εςοϓ3ɿ࠷ྑͷධՁΛ༩ ͑ΔύϥϝʔλΛܾఆ͢Δ ͜͜Ͱ͸֬཰తޯ഑߱Լ๏Λ༻͍Δ
16. ޯ഑ϕΫτϧΛٻΊֶͯ शଇΛ֬ೝ͢Δ ޯ഑ϕΫτϧ͸֤ύϥϝʔλຖʹภඍ෼ͨ͠΋ͷͰɺͦΕͱ൓ର ํ޲ʹύϥϝʔλΛͪΐͬͱͣͭม͍͑ͯ͘ͷ͕ޯ഑߱Լ๏ͩͬ ͨʢ෮शʣ ֬཰తޯ഑߱Լ๏Λ࢖͏ͷͰɺτϨʔχϯάηοτnݸશ෦Λ ࢖ͬͯߋ৽͢ΔͷͰ͸ͳ͘ɺϥϯμϜͰ1ݸબΜͰύϥϝʔλΛ ߋ৽͢Δ͜ͱΛ܁Γฦ͢ɻֶ͕ͨͬͯ͠शଇ͸ҎԼͷΑ͏ʹͳΔ rE(w) = 0 @ @E @w0 @E @w1 @E @w2 1 A = X n tn n w := w + tn n
17. ཁ͢Δʹͨͬͨ͜Ε͚ͩ ͋ͱ͸͍͍ײ͡ͷճ਺Ͱֶशͤ͞Δ w0 := w0 + tn ⇥ 1 w1 := w1 + tn ⇥ xn w2 := w2 + tn ⇥ yn w := w + tn n ಉ͡ҙຯ
18. ΞϧΰϦζϜͷऩଋ଎౓Λ ҙࣝͨ͠όΠΞε߲ͷ஋ όΠΞε߲͸1ͩͱֶश͕ͳ͔ͳ͔ਐ·ͳ ͍έʔε͕͋ΔͷͰɺҎԼͷΑ͏ʹ͢Δͱ ͏·͘ߦ͘ʢ৔߹΋͋Δʣ n = 0 @ c xn yn 1 A c = 1 2N N X n=1 (xn + yn) xnͱyn͸Կ͔ͷ࣮ଌ஋ͳͷͰɺͦΕͧΕ1000ͱ͔10000ͱ͔͘Β͍ͷ஋ ΛऔΔ͜ͱ΋͋ΔΘ͚͕ͩɺͦΕʹൺ΂ͯόΠΞε߲͕͍ͭ΋1ͩͱw1ͱ w2ʹൺ΂ͯw0ͷֶशεϐʔυ͕ۃ୺ʹ஗͘ͳͬͯ͠·͏ɻͦΕΛ๷͙ͨ Ίʹxnͱynͱ͍͍ͩͨಉ͘͡Β͍ͷΦʔμʔͷ஋ʹ͢Δɺͱ͍͏ҙຯɻ
19. ͦ΋ͦ΋៉ྷʹ௚ઢͰ෼ ྨग़དྷͳ͍ͱ͖͸ʁ ࠓճͷΞϧΰϦζϜͰ͸ҰԠͦΕͳΓͷ ௚ઢΛҾ͚ͯ෼ྨͰ͖Δ
20. ઢܗ෼཭Մೳ Ұൠతʹ͸ύʔηϓτϩϯ͸ʮઢܗ෼཭Մ ೳʯͳ໰୊͔͠ղ͚ͳ͍ʢͱݴΘΕΔʣ ͳͷͰ࣮ࡍʹ͸ύʔηϓτϩϯ͸ͦͷ· ·࢖ΘΕΔ͜ͱ͸ͳ͍ ͔͜͠͠ΕΛجຊܗʹ༷ͯ͠ʑͳൃల͕͋ Δ
21. Ͱ͸࣮ࡍʹ΍ͬͯΈΑ ͏……ͷલʹ ύʔηϓτϩϯͱ͍͏΋ͷͷཧղͷͨ Ίʹɺશ͘ҧ͏Ξϓϩʔνͷ࿩Λ͠Α ͏
22. χϡʔϩϯϞσϧ χϡʔϥϧωοτϫʔΫϞσϧ͸ɺ χϡʔϩϯϞσϧΛ୯Ґͱͯ͠ߏங͞Ε Δ χϡʔϩϯϞσϧ͸೴ͷਆܦࡉ๔͔Βώ ϯτΛಘͯߟҊ͞Εͨ਺ཧϞσϧ
23. ਆܦࡉ๔ͱγφϓε఻ୡ ڧ౓ γφϓε͸͍͔ͭ͘छྨ͕͋Δ ບిҐΛ্͛Δ΍ͭɺԼ͛Δ΍ͭͱ͔ ͲΕ͘Β্͍͕ͬͨΓԼ͕ͬͨΓ͢Δ͔͸γφϓε఻ୡڧ౓ʹΑΔ ੜ෺ͷֶशͱ͸ɺγφϓεͷ఻ୡڧ౓͕มԽ͢Δ͜ͱʹΑͬͯى͖͍ͯΔͱߟ͑ΒΕ͍ͯΔ ࣠ࡧ γφϓε ిؾύϧε ບిҐ͕͋Δᮢ஋Λ ௒͑Δͱύϧεग़ྗ ଞͷਆܦࡉ๔͔Βͷిؾ ύϧεʹΑΓࡉ๔಺෦ͷ ిҐʢບిҐʣ͕૿ݮ
24. ਆܦࡉ๔ͷڍಈΛ୯७Խ ͢Δͱ x y ॏΈw1 ॏΈw2 f ग़ྗ ೖྗ ೖྗ ᮢ஋θ f = { 0 (w1 x + w2 y ≤ θ) 1 (w1 x + w2 y > θ) 1Λग़ྗ͢Δͱ͖͸ᮢ஋ Λ௒͑ͯχϡʔϩϯ͕ൃ Րͨ͠ঢ়ଶΛࣔ͢
25. ͜Ε͸Α͘ݟΔͱલ൒Ͱ ࿩͍ͯͨ͜͠ͱͱಉ͡ ᮢ஋ВΛw0ͱஔ͖׵͑ͯҠ߲͢Δͱ͓ Μͳࣜ͡ʹͳΔ f = { 0 (w1 x + w2 y ≤ θ) 1 (w1 x + w2 y > θ) f = { 0 (w0 + w1 x + w2 y ≤ 0) 1 (w0 + w1 x + w2 y > 0) ಉ͡ҙຯ x y ॏΈw1 ॏΈw2 f ग़ྗ ೖྗ ೖྗ 1 ͍ͭ΋1ͷ μϛʔೖྗ ॏΈw0 ॏΈw0͸ᮢ஋Вͷ໾ׂΛՌͨͯ͠ ͍Δͱ΋ݴ͑Δ͠ɺάϥϑͷ੾ยͷ ໾ׂΛՌ͍ͨͯ͠Δͱ΋ݴ͑Δ
26. Ξϓϩʔν͸ҧ͑Ͳ௚ઢͷࣜͰ ෼ׂ͠Α͏ͱ͍ͯ͠Δͷ͸ಉ͡ ΋͏গ͠Ұൠతʹݴ͑͹ɺύʔηϓτ ϩϯ΋χϡʔϩϯϞσϧ΋ɺD࣍ݩͷೖ ྗۭؒΛD-1࣍ݩͷฏ໘ʢͷΑ͏ͳۭ ؒʣͰ2ͭʹ෼͚Δಇ͖͕͋Δ
27. 2ͭҎ্ʹ෼͚͍ͨͱ͖ ͸Ͳ͏ͨ͠Βʁ χϡʔϩϯϞσϧΛͨ͘͞Μ૊Έ߹ΘͤΕ͹͍ ͍ΜͩΑʂ ̎෼ׂ͢ΔχϡʔϩϯϞσϧΛ2ͭ૊Έ߹Θͤ Ε͹ɺ2×2Ͱ4෼ׂͰ͖ΔɺΈ͍ͨͳΠϝʔδ ͜Ε͕͢ͳΘͪχϡʔϥϧωοτϫʔΫϞσϧ Ͱ΋͜Εͷ࿩͸·͍ͨͣΕ
28. Ͱ͸ύʔηϓτϩϯΛ࣮ ࡍʹಈ͔ͯ͠ΈΑ͏ ʮ04-perceptron.ipynbʯΛϕʔεʹಈ͔ ͯ͠ΈΑ͏
29. 04-perceptron.ipynbΛϕʔεʹ͠ ͯ՝୊ʹνϟϨϯδͯ͠ΈΑ͏ όΠΞε߲Λ1ʹมߋͯ͠Έͯɺֶशͷऩଋʹ͕͔͔࣌ؒΔ͜ͱ Λ֬ೝͯ͠ΈΔ όΠΞε߲ࣗମΛͳ͘͠ʢw0΋ແͯ͘͠w1ͱw2͚ͩʹ͢Δʣɺ ௚ઢ͕ͲΜͳ௚ઢʹͳΔͷ͔Λ֬ೝͯ͠ΈΔɻ·ͨɺ͜ͷ௚ઢͰ ෼ྨͰ͖Δ΋ͷ͸ͲΜͳσʔλ͔Λߟ͑ͯΈΔ ೖྗσʔλΛ2࣍ݩͰ͸ͳ͘3࣍ݩʹͯ͠ύʔηϓτϩϯͰ෼ྨ͠ ͯΈΔ ̏࣍ݩͷೖྗσʔλΛ3Dϓϩοτͯ͠ΈΔɻ෼ྨ݁Ռͷฏ໘Λ 3Dϓϩοτͯ͠ΈΔ
30. ࢀߟจݙ தҪ ӻ࢘ʮITΤϯδχΞͷͨΊͷػցֶशཧ࿦ ೖ໳ʯٕज़ධ࿦ࣾ ҏ౻ ਅʮPythonͰಈֶ͔ͯ͠Ϳʂ͋ͨΒ͍͠ػ ցֶशͷڭՊॻʯᠳӭࣾ ࡈ౻ ߁ؽʮθϩ͔Β࡞ΔDeep Learning — PythonͰֶͿσΟʔϓϥʔχϯάͷཧ࿦ͱ࣮ ૷ʯΦϥΠϦʔɾδϟύϯ