機械学習勉強会03 最急降下法/MLStudy03

機械学習勉強会03 最急降下法

Transcript

1. ࠷ٸ߱Լ๏ ඍ෼ͷྗͰ࠷ྑͷύϥϝʔλΛٻΊΔ @hachiilcane
2. ҰൠతͳύϥϝτϦοΫϞσ ϧͷ̏ͭͷεςοϓʢ෮शʣ ࣍ͷ̏ͭͷεςοϓͰΰʔϧͱͳΔϞσϧɺ ͢ͳΘͪ਺ࣜΛܾఆ͢Δ 1.ύϥϝʔλΛؚΉϞσϧʢ਺ࣜʣΛઃఆ͢ Δ 2.ύϥϝʔλΛධՁ͢Δج४ΛఆΊΔ 3.࠷ྑͷධՁΛ༩͑ΔύϥϝʔλΛܾఆ͢Δ
3. લճ·Ͱ͸ εςοϓ̏ʹ͓͍ͯɺղͷެࣜΛ༻͍ͯ࠷ྑ ͷύϥϝʔλΛٻΊͨ ͔͍ͭ͠͠΋ղͷެ͕ࣜ࢖͑ΔΘ͚Ͱ͸ͳ͍ εςοϓ̍Ͱఆٛͨ͠Ϟσϧʢ਺ࣜʣ͕ ෳࡶͩͱɺࣜมܗ͕೉͍͠΋ͷ͕͋Δ W = ( T ) 1 T t
4. ΑΓ൚༻తͳ࠷ྑͷύϥ ϝʔλΛٻΊΔํ๏͕͋Δ ͦΕ͕࠷ٸ߱Լ๏ʢޯ഑߱Լ๏ʣ
5. ࠓճֶͿ಺༰Λ͍ͬͨΜ ·ͱΊΔͱ ػցֶशͷΞϧΰϦζϜʮ෼ྨʯʮճؼ෼ੳʯʮΫ ϥελϦϯάʯͷ͏ͪͷʮճؼ෼ੳʯΛߟ͑Δ ϞσϧΛଟ߲ࣜͱͯ͠ߟ͑ɺ࠷খೋ৐๏ʹΑͬͯ ࠷ྑͷύϥϝʔλΛٻΊΔʢ͜͜·Ͱ͸લճͱಉ ͡ʣ લճ͸ղͷެࣜΛ࢖ͬͯ࠷ྑͷύϥϝʔλΛٻΊ ͕ͨɺࠓճ͸ͦͷ୅ΘΓʹ࠷ٸ߱Լ๏Λ༻͍ͯ࠷ ྑͷύϥϝʔλΛٻΊΔํ๏ΛֶͿ
6. Ͱ͸ɺ࠷ٸ߱Լ๏Λ࢖͏લ ·ͰͷલఏΛ෮श͠·͢Α ҰൠతͳύϥϝτϦοΫϞσϧͷεςο ϓ̍ʙ̏Λҙ্ࣝͨ͠Ͱࢥ͍ग़͠· ͠ΐ͏
7. εςοϓ̍ɿύϥϝʔλΛؚ ΉϞσϧʢ਺ࣜʣΛઃఆ͢Δ ͍͵͞ΜͷഎதͷͲ͜ʢҐஔxʣΛ෡ͰͨΒɺͲΕ͘Β͍͍͵͞Μ͕تͿ͔ ʢتͼ౓tʣΛ஌Γ͍ͨ ͦΕΛҎԼͷΑ͏ͳଟ߲ࣜͷؔ਺ͱͯ͠දͤΔͷͰ͸ͳ͍͔ͱ૝ఆ͢Δ M͸ଟ߲ࣜͷ࣍਺ʢ࠷େͰԿ৐ͷ߲·Ͱ༻͍Δ͔ʣ ࣮ࡍʹܭࢉ͢Δͱ͖͸Mͷ஋ΛԿ͔ʹܾΊΔͱͯ͠ɺMʴ1ݸͷ܎਺͕ະ஌ ͷύϥϝʔλͱͳΔˠ f(x) = w0 + w1x + w2x2 + ... + wM xM = M X m=0 wmxm {wm }M m=0
8. εςοϓ̎ɿύϥϝʔλ ΛධՁ͢Δج४ΛఆΊΔ ޡࠩؔ਺Λఆٛ͠ɺೋ৐ޡࠩΛ࠷খͱ ͢Δύϥϝʔλ͕ྑ͍ύϥϝʔλͱ͢Δ Ϟσϧͷؔ਺f(x)Λޡࠩؔ਺ʹ୅ೖ͢Δ ͱ͜͏ͳΔ ED = 1 2 N X n=1 {f(xn) tn }2 ED = 1 2 N X n=1 ( M X m=0 wmxm n tn)2
9. εςοϓ̏ɿ࠷ྑͷධՁΛ༩ ͑ΔύϥϝʔλΛܾఆ͢Δ ……͜͜Ͱ࠷ٸ߱Լ๏Λ༻͍Δ
10. ·ͣ͸໰୊Λ۩ମతͳ਺ ஋Ͱߟ͑ͯΈΑ͏ ҎԼͷޡࠩؔ਺Λ࠷খʹ͢Δύϥϝʔ λɹɹɹɹΛٻΊΔͱ͸Ͳ͏͍͏͜ͱ ͔ ED = 1 2 N X n=1 ( M X m=0 wmxm n tn)2 {wm }M m=0
11. Mʹ1ʢ1࣍ؔ਺ʣͰߟ͑ ͯΈΔ ໰୊Λ؆୯ʹ͢ΔͨΊʹɺMʹ1ͱܾΊ Δɻ͢ΔͱϞσϧͷ਺ࣜͱޡࠩؔ਺͸ ҎԼͷΑ͏ʹͳΔ ύϥϝʔλw0ɺw1Λద౰ʹ̎ύλʔϯ ߟ͑ͯɺޡࠩؔ਺ͷ஋ΛٻΊΔ f(x) = w0 + w1x ED = 1 2 N X n=1 (w0 + w1xn tn)2
12. ύλʔϯ̍ w0 = 1, w1 = 3 f(x) = 1 + 3x ED = 1 2 N X n=1 (1 + 3xn tn)2
13. ύλʔϯ̎ w0 = 1, w1 = 4 f(x) = 1 + 4x ED = 1 2 N X n=1 (1 + 4xn tn)2
14. Կ͕Θ͔͔ͬͨ ٻΊͨޡࠩؔ਺ͷ஋ʢ32.7862ͱ49.3727ʣͷ஋ࣗମʹ͸ҙຯ͸ ͳ͍͕ɺύϥϝʔλw1ͷ஋Λม͑ͨΒޡࠩؔ਺ͷ஋͸มԽͨ͠ ʢԿ౓΋܁Γฦ͕͢ʣޡࠩؔ਺EDͷ஋Λ΋ͬͱ΋খ͘͢͞ ΔύϥϝʔλwmΛݟ͚ͭΔ͜ͱ͕Ͱ͖ͨΒɺͦͷύϥϝʔ λwmΛ࢖ͬͨf(x)͸΋ͬͱ΋͍͵͞Μͷتͼ౓Λਖ਼֬ʹਪଌ Ͱ͖Δؔ਺ʢϞσϧʣͰ͋Δͱ͍͏͜ͱʹͳΓɺ͜Ε͕ࠓ ٻΊ͍ͯΔ͜ͱ ͢Δͱw1ͷ஋Λ΋ͬͱখͨ͘͞͠Β΋ͬͱޡࠩؔ਺ͷ஋͸খ͞ ͘ͳΔͩΖ͏͔
15. w0Λݻఆʹͯ͠w1ͷ஋ΛมԽͤ͞ ͯΈͨͱ͖ͷޡࠩؔ਺ͷ஋Λϓϩο τͯ͠ΈΔ ͔֬ʹɺw1͕3ͱ͔4ΑΓ ͸0ͱ͔-1ͷํ͕ྑͦ͞͏
16. ͜ͷ΍ΓํͰશͯͷύϥϝʔ λwΛٻΊΒΕͦ͏͕ͩ…… ߟ͑ํͱͯ͠͸͍͍ͩͨ߹͍ͬͯΔ ͨͩɺw0ͷ஋Λม͑Δͱ͖ͬ͞ͷw1ʹ͍ͭͯ ͷάϥϑͷۃখ஋ͷҐஔ͕มΘͬͯ͘Δͷ Ͱɺෳ਺ͷύϥϝʔλΛಉ࣌ʹݟͯ൑அ͠ͳ ͍ͱ͍͚ͳ͍͔Βख࡞ۀ͡Όແཧ ͱ͍͏͔ɺ2ͭͳΒ·͍͍͚ͩͲɺ3ͭͩͱͦ ΋ͦ΋άϥϑඳ͚ͳ͍͔Βແཧ
17. w0ͱw1Λಉ࣌ʹมԽͤͨ࣌͞ͷޡ ࠩؔ਺ͷ஋Λ3DͰϓϩοτͯ͠ΈΔ ͜ͷลΓ͕Ұ൪খ͍͞ʁ surfaceදࣔ ౳ߴઢදࣔ
18. άϥϑͷ୩ఈΛػցతʹ ٻΊΔʹ͸ʁ ඍ෼ͷߟ͑ํΛ༻͍Δ
19. ࠷ٸ߱Լ๏ͱ͸ ·ͣॳظҐஔͱͯ͠ద౰ͳw0, w1ΛܾΊΔ ʢ͕͜͜ॏཁʣ ͜Ε͸EDͷ஍ܗ্ͷ͋Δ1఺ʹରԠ͢Δ ͜ͷ఺Ͱͷ܏͖Λௐ΂ͯɺED͕΋ͬͱ΋ݮ গ͢Δํ޲΁w0ͱw1Λগ͚ͩ͠ਐΊΔʢͭ ·Γw0ͱw1Λม͑Δʣ ͜ͷखଓ͖ΛԿ౓΋܁Γฦ͢ͱɺ࠷ऴతʹ ED͕΋ͬͱ΋খ͘͞ͳΔ୩ఈʹͨͲΓண͚ Δ
20. ED͕΋ͬͱ΋ݮগ͢Δํ ޲ͱ͸ ͋Δ஍఺(w0, w1)ʹ͍Δͱ ͖ɺࡔͷ্ͷํ޲͸EDΛw0 ͱw1Ͱภඍ෼ͨ͠ϕΫτϧͰ ද͞ΕΔɻ͜ΕΛޯ഑ϕΫτ ϧͱݺͿ EDΛ࠷খʹ͢Δʹ͸ɺEDͷ ޯ഑ͷ൓ରํ޲ʹਐΜͰ͍͚ ͹ྑ͍ rED(w) = @ED @w0 @ED @w1 ! ޯ഑ϕΫτϧʢࡔͷ্ͷํ޲ʣ
21. EDΛภඍ෼ͨࣜ͠ ʢภඍ෼ͷৄࡉ͸·ͨผ్ʣ ภඍ෼ͱݴͬͯ΋ɺʮ1ͭͷม਺͚ͩʹண໨ͯ͠ɺଞͷม਺͸ఆ਺ͱΈ ͳͯ͠ඍ෼͢Δʯ͚ͩ ී௨ͷඍ෼͕άϥϑͷ܏͖Λද͍ͯ͠Δͷͱಉ͡Α͏ʹɺw0ͱw1ʹؔ ͢Δภඍ෼͸ͧΕͧΕw0ํ޲ͷ܏͖ɺw1ํ޲ͷ܏͖Λද͍ͯ͠Δ 2ͭͷ܏͖Ληοτʹͯ͠ɺϕΫτϧͱͯ͠ղऍͨ͠ͷ͕ޯ഑ϕΫτ ϧɻޯ഑ϕΫτϧ͸܏͖ͷ΋ͬͱ΋େ͖͍ํ޲ͱͦͷେ͖͞Λද͢ @ED @w0 = N X n=1 (f(xn) tn) = N X n=1 (w0 + w1xn tn) @ED @w1 = N X n=1 (f(xn) tn)xn = N X n=1 (w0 + w1xn tn)xn
22. ޯ഑ϕΫτϧΛΑ͘ݟͯ ΈΔ w0ํ޲΋w1ํ޲΋ɺw0ͱw1͕ܾ·ͬͯॳΊͯ܏͖͕ܾ·Δ ͔֬ʹάϥϑΛݟΔͱɺ஍ܗ্Ͳͷ஍఺ʹཱ͔ͭʹΑͬͯ܏ ͖͸ҧͬͯ͘Δ rED(w) = @ED @w0 @ED @w1 ! ޯ഑ϕΫτϧʢࡔͷ্ͷํ޲ʣ @ED @w0 = N X n=1 (w0 + w1xn tn) @ED @w1 = N X n=1 (w0 + w1xn tn)xn
23. w0ͱw1ΛมԽͤͯ͞ɺޯ഑ϕ ΫτϧΛάϥϑͰදͯ͠ΈΔ Ͳͷ஍఺͔Βελʔτͯ͠΋ɺ໼ҹΛٯʹͨͲΔͱɺ஍ܗͷΑΓ௿͍෦෼ʹ ਐΊΔ ͭ·Γ܁Γฦͨ͠Ͳ͍͚ͬͯ͹ɺ࠷খʢͱࢥΘΕΔʣͷEDʹͨͲΓண͚Δʂ Ͳ͔͜ͷ஍఺ ͔Βελʔτ
24. ࠷ٸ߱Լ๏ͱ͸ʢ࠶ܝʣ ·ͣॳظҐஔͱͯ͠ద౰ͳw0, w1ΛܾΊΔ ʢ͕͜͜ॏཁʣ ͜Ε͸EDͷ஍ܗ্ͷ͋Δ1఺ʹରԠ͢Δ ͜ͷ఺Ͱͷ܏͖Λௐ΂ͯɺED͕΋ͬͱ΋ݮ গ͢Δํ޲΁w0ͱw1Λগ͚ͩ͠ਐΊΔʢͭ ·Γw0ͱw1Λม͑Δʣ ͜ͷखଓ͖ΛԿ౓΋܁Γฦ͢ͱɺ࠷ऴతʹ ED͕΋ͬͱ΋খ͘͞ͳΔ୩ఈʹͨͲΓண͚ Δ ͭ·Γɺޯ഑ϕΫτ ϧͱٯํ޲ʹw0ͱw1Λ ߋ৽͢Ε͹͍͍
25. ࠷ٸ߱Լ๏Λ༻͍ͨύϥϝʔ λwͷߋ৽ํ๏ʢֶशଇʣ ֶश཰ΛБͱͯ͠ύϥϝʔλΛҎԼͷΑ͏ʹߋ৽͢Δ ʮ:=ʯ͸ɺࠨลΛӈลͰߋ৽͢ΔɺΛҙຯ͢Δ΋ͷͱ͢Δ ޯ഑ϕΫτϧͷʮٯํ޲ʯ͔ͩΒɺ্هࣜ͸ϚΠφεΛ࢖͍ͬͯΔ ͜ͷֶशଇͰɺͪΐͬͱͣͭw0, w1Λߋ৽͍ͯ͘͠ w0 := w0 ⌘ @ED @w0 w1 := w1 ⌘ @ED @w1 @ED @w0 = N X n=1 (f(xn) tn) = N X n=1 (w0 + w1xn tn) @ED @w1 = N X n=1 (f(xn) tn)xn = N X n=1 (w0 + w1xn tn)xn ࠶ܝ
26. ͍ͭ·Ͱߋ৽͠ଓ͚Ε͹ྑ͍͔ ʢͲΕ͘Βֶ͍शΛଓ͚Δ͔ʣ ʢਖ਼͍͠౴͑͸ͳ͍͕ʣྫͱͯ͠ҎԼͷΑ͏ͳ৚݅Λ૊Έ߹ Θͤͯ࢖͏ ܁Γฦ͠ճ਺্ݶΛܾΊ͓͍ͯͯͦͷճ਺·Ͱ ޡࠩؔ਺EDͷ஋͕͋Δ஋ΛԼճΔ·Ͱ ޯ഑ϕΫτϧͷେ͖͕͋͞Δ஋ΛԼճΔ·Ͱʢ͍͍ͩͨฏ Βͳͱ͜ΖʹདྷΔ·Ͱʣ ߋ৽લͷwͱߋ৽ޙͷwͷϕΫτϧͱͯ͠ͷࠩ෼͕ɺ͋Δ ஋ΛԼճΔ·Ͱ
27. ʢࢀߟʣM࣍ͷଟ߲ࣜʹ ҰൠԽ͢Δͱ ্هͷϞσϧͰEDΛΑΓখ͘͢͞Δʹ͸ɺֶश཰ΛБͱͯ͠ ύϥϝʔλΛҎԼͷΑ͏ʹߋ৽͢Δ ED = 1 2 N X n=1 {f(xn) tn }2 wm := wm ⌘ @ED @wm f(x) = w0 + w1x + w2x2 + ... + wM xM = M X m=0 wmxm ۩ମతʹ͸ҎԼͷΑ͏ͳࣜʹͳΔ wm := wm ⌘ N X n=1 (f(xn) tn)xm n
28. ֶश͕ऴΘͬͨΒ׬ྃʁ ہॴղʹั·Δ͜ͱΛ͍ͭ ΋ߟྀ͓ͯ͘͠ඞཁ͕͋Δ ͭ·ΓɺಘΒΕͨղ͕࠷খ ஋Ͱ͋Δอূ͸Ͳ͜΋ͳ͍ ύϥϝʔλwͷॳظ஋Λม ͑ͳ͕ΒԿճ͔܁Γฦ͢ͳ Ͳɺ͍Ζ͍Ζͳ޻෉͕ඞཁ x y 0 ͔͜͜Βελʔ τͨ͠Βʁ ͜͜ʹͨͲΓண͍ͯ ऴΘͬͪΌ͏͔΋ ࠷খ஋
29. ࠷ٸ߱Լ๏ʢޯ഑߱Լ๏ʣ ͷઆ໌ͱͯ͠͸͜͜·Ͱ ऴΘΔલʹɺ࠷ٸ߱Լ๏ͷ೿ੜʢͱ͍ ͏͔࣮ફతͳద༻๏ʣΛ঺հ͠·͢
30. ֬཰తޯ഑߱Լ๏ ࠷ٸ߱Լ๏Λར༻ͨ͠ύϥϝʔλͷߋ৽ํ๏͸͜͏͕ͩͬͨ ֬཰తޯ഑߱Լ๏Ͱ͸͜͏ͳΔ ͭ·ΓɺτϨʔχϯάηοτNݸશ෦࢖ͬͯҰճߋ৽͢ΔͷͰ͸ ͳ͘ɺ1ݸϥϯμϜʹબΜͰͦΕΛ࢖ͬͯҰճߋ৽͢Δ Ұճߋ৽͢Δ·Ͱͷܭࢉྔ͕গͳ͘ͳΔͷͰޮ཰͕ྑ͘ͳΔ͜ͱ ͱɺہॴղʹั·Γʹ͘͘ͳΔͱ͍͏ϝϦοτ΋͋Δ wm := wm ⌘ N X n=1 (f(xn) tn)xm n wm := wm ⌘(f(xk) tk)xm k
31. ϛχόον๏ ֬཰తޯ഑߱Լ๏Ͱ͸ϥϯμϜʹ1ݸτϨʔχϯάηοτΛબ Μ͕ͩɺϛχόον๏Ͱ͸ϥϯμϜʹpݸબͿɻpݸϥϯμϜʹ બΜͩτϨʔχϯάηοτͷΠϯσοΫεͷू߹ΛKͱ͢Δͱ 100ݸͷ͏ͪ10ݸΛϥϯμϜͰબΜͰֶश͢Δɺͱ͍͏͜ͱΛ ܁Γฦ͢Έ͍ͨͳΠϝʔδɻ࠷ٸ߱Լ๏ͱ֬཰తޯ഑߱Լ๏ͷ தؒΈ͍ͨͳײ͡ ݴޠͷ࣮૷ܥʹΑͬͯ͸ܭࢉॲཧͷޮ཰͕ྑ͘ͳΔͱ͍͏ϝ Ϧοτ͕͋Δ wm := wm ⌘ X k2K (f(xk) tk)xm k
32. ͋ͱ͸ͱΓ͋͑ͣ΍ͬͯ ΈΑ͏ʂ ࣮૷࣮ͯ͠ફ͋ΔͷΈ
33. ՝୊ ͜Ε·Ͱ࢖༻͍ͯͨ͠ղͷެࣜΛ࢖ͬͨϓϩάϥϜ02-square_error.ipynb Λϕʔεʹͯ͠ʢ͠ͳͯ͘΋͍͍͚Ͳʣɺ࠷ٸ߱Լ๏Λ࣮૷ͯ͠ΈΑ͏ ͱΓ͋͑ͣБ͸0.001ͱ͔Ͱ܁Γฦ͠ճ਺͸਺ඦճ͘Β͍͔ͳʁ wͷ ॳظ஋͸ཚ਺ͰৼͬͯΈΑ͏ ֶश͍ͯ͘͠աఔͷޡࠩؔ਺EDͱύϥϝʔλwͷมԽͷ༷ࢠΛϓϩοτ ͯ͠ΈΑ͏ ֬཰తޯ഑߱Լ๏ʹมߋͯ͠ΈΑ͏ M=1ͱͨ࣌͠ͷɺύϥϝʔλw0ͱw1ΛมԽͤͨ࣌͞ͷޡࠩؔ਺EDͷ஋ Λ3DͰϓϩοτͯ͠ΈΑ͏
34. ࢀߟจݙ தҪ ӻ࢘ʮITΤϯδχΞͷͨΊͷػցֶश ཧ࿦ೖ໳ʯٕज़ධ࿦ࣾ, 2015 ҏ౻ ਅʮPythonͰಈֶ͔ͯ͠Ϳʂ͋ͨΒ͠ ͍ػցֶशͷڭՊॻʯᠳӭࣾ, 2018 ཱੴݡޗʮ΍ֶ͘͞͠Ϳ ػցֶशΛཧղ͢ ΔͨΊͷ਺ֶͷ͖΄Μ ʯϚΠφϏग़൛, 2017