basis-of-optimization.pdf

Transcript

1. . . . . . . ػցֶशͱ࠷దԽͷجૅ αϒλΠτϧ ಙӬ୓೭ tkng@preferred.jp Preferred Infrastructure December 12, 2011 1 / 48
2. . . . . . . ࣗݾ঺հɿಙӬ୓೭ twitter id:tkng (ג) Preferred Infrastructure ۈ຿ ݕࡧɾػցֶशΛத৺ʹ੡඼։ൃɾڞಉݚڀͳͲ ௐࠪҊ݅΍ͬͨΓπʔϧ࡞ͬͨΓͯ͠·͢ झຯ͸೔ຊޠೖྗʢ͔ͳ׽ࣈม׵ɾ༧ଌೖྗʣ ։ൃ͢Δͷ͕झຯ 2 / 48
3. . . . . . . એ఻ɿຊΛॻ͍͍ͯ·͢ ೔ຊޠೖྗΛࢧ͑Δٕज़ʢٕज़ධ࿦ࣾʣ μϒϧ഑ྻɺLOUDSɺΧοί΢ϋογϡɺߏ଄ Խ SVMɺCRF ͳͲΛ঺հ ػցֶश΍ࣗવݴޠॲཧʹ͍ͭͯɺࣗ෼͕ੲ஌Γ ͔ͨͬͨ͜ͱΛ٧ΊࠐΈ·ͨ͠ 2012 ೥ 2 ݄ൃച༧ఆ 3 / 48
4. . . . . . . Outline . . . 1 ༻ޠ঺հ . . . 2 ؆୯ͳྫ . . . 3 ػցֶशͱ࠷దԽ . . . 4 ֶश཰ͷ࿩ 4 / 48
5. . . . . . . ࠓ೔ͷτʔΫͷ಺༰ ࠷దԽͷجຊతͳߟ͑ํΛઆ໌͢Δ ػցֶशͱͷؔ܎Λड़΂Δ ֶश཰ͱ͍͏΋ͷʹ͍ͭͯߟ͑Δ 5 / 48
6. . . . . . . ࠓ೔ͷτʔΫͷ಺༰ ࠷దԽͷجຊతͳߟ͑ํΛઆ໌͢Δ ػցֶशͱͷؔ܎Λड़΂Δ ֶश཰ͱ͍͏΋ͷʹ͍ͭͯߟ͑Δ ࠷దԽ͸ා͘ͳ͍ʂ ʂ 6 / 48
7. . . . . . . τʔΫͷ໨త ػցֶशͷݪཧͬͯҙ֎ͱ؆୯ ࣮૷΋؆୯ͳख๏͸݁ߏଟ͍ 7 / 48
8. . . . . . . τʔΫͷ໨త ػցֶशͷݪཧͬͯҙ֎ͱ؆୯ ࣮૷΋؆୯ͳख๏͸݁ߏଟ͍ ͜ͷ 2 ఺Λڧௐ͍ͨ͠ 8 / 48
9. . . . . . . Outline . . . 1 ༻ޠ঺հ . . . 2 ؆୯ͳྫ . . . 3 ػցֶशͱ࠷దԽ . . . 4 ֶश཰ͷ࿩ 9 / 48
10. . . . . . . ࠷దԽͬͯͳʹʁ ؔ਺ͷ஋Λ࠷దͳঢ়ଶʹ͍࣋ͬͯ͘͜ͱ ͦͷͨΊʹม਺ͷ஋Λௐ੔͢Δ άϥϑͷఈͷ෦෼Λݟ͚͍ͭͨ 10 / 48
11. . . . . . . େҬత࠷దͱہॴత࠷ద ੺͕େҬత࠷దɺ੨͕ہॴ࠷ద େҬత࠷దΑΓ͍͍ղ͸ଘࡏ͠ͳ͍ ہॴ࠷ద͸पғΑΓ΋ྑ͍ղͳΒ OK 11 / 48
12. . . . . . . ತͱ͔ತͰͳ͍ͱ͔ ತͱ͸௚ײతʹ͸࠷దղ͕ 1 ͔ͭ͠ଘࡏ͠ͳ͍ ໰୊ ਺ֶతʹ͸ತྖҬͱತؔ਺ʹΑͬͯఆٛ͞ΕΔ֓೦ ತͳΒہॴ࠷దղ͸ৗʹେҬత࠷దղ ඇತͳ໰୊Ͱ͸େҬత࠷దղΛٻΊΔͷ͸΄΅ແཧ 12 / 48
13. . . . . . . Outline . . . 1 ༻ޠ঺հ . . . 2 ؆୯ͳྫ . . . 3 ػցֶशͱ࠷దԽ . . . 4 ֶश཰ͷ࿩ 13 / 48
14. . . . . . . ؆୯ͳ࠷దԽ໰୊ͷྫ min f(x) = 2x2 + 2x (1) ༁ɿf(x) ͷ஋Λ࠷খͱ͢ΔΑ͏ͳ x ͷ஋ΛٻΊΑ άϥϑΛݟΔͱΘ͔Δ௨Γತ࠷దԽ໰୊Ͱ͢ 14 / 48
15. . . . . . . Ͳ͏΍ͬͯղ͔͘ʁ ղ͖ํʹઈରͷਖ਼ղ͸ͳ͍͚ΕͲʜ ͍͔ͭ͘ x ͷ஋Λద౰ʹܾΊͯ f(x) Λܭࢉ͢Δ άϥϑΛඳ͍ͯͦΕͬΆ͍஋Λ໨ଌͰٻΊΔ ඍ෼ͯ͠ۃ஋ΛٻΊΔ ˡΦεεϝ 15 / 48
16. . . . . . . ඍ෼ͯ͠ۃ஋ΛٻΊΔ ඍ෼ͨ݁͠ՌΛ 0 ͱஔ͍ͨํఔࣜΛղ͘ ඍ෼͕ 0 ͱ͍͏͜ͱ͸܏͖͕ 0 f (x) = 4x + 2 = 0 x = −1/2 (2) 16 / 48
17. . . . . . . ඍ෼ͯ͠0ͱஔ͘ͱͲΜͳ໰୊΋ղ͚Δʁ ग़͖ͯͨํఔ͕ࣜղ͚ͳ͍৔߹ͷํ͕ଟ͍ ੍໿͕͋Δͱͦ΋ͦ΋ۃ஋ͱ࠷దղ͸Ұக͠ͳ͍ ݁࿦ɿ࣮༻తͳػցֶशͷ໰୊͸֓Ͷղ͚ͳ͍ 17 / 48
18. . . . . . . ͍͍ͩͨ͸ޯ഑๏Λ࢖ͬͯղ͘ wnew = η∇ + wold ∇ɿޯ഑ʢ ඍ෼ʣ ηɿֶश཰ɺ࣮਺ ޯ഑ʢ܏͖ʣΛܭࢉͯ͠ɺͪΐ ͬͱͣͭͦͪΒʹ ਐΉ ೋ࣍ඍ෼Λ࢖͏΋ͷͱ͔ɺ͍Ζ͍Ζछྨ͕͋Δ ࠓճ͸֬཰తޯ഑߱Լ๏ͱ͍͏ͷΛ঺հ͠·͢ 18 / 48
19. . . . . . . ػցֶशҎ֎ͷ࠷దԽͷԠ༻ྫ ਤܗॆర໰୊ ෰ͷܕࢴͷޮ཰తͳ഑ஔ మ൘ͷ੾Γग़͠ ෺ྲྀͷ࠷దԽ 19 / 48
20. . . . . . . Outline . . . 1 ༻ޠ঺հ . . . 2 ؆୯ͳྫ . . . 3 ػցֶशͱ࠷దԽ . . . 4 ֶश཰ͷ࿩ 20 / 48
21. . . . . . . ػցֶशͱ࠷దԽ ػցֶशͱ͸ਓ͕ؒ΋ͷ͝ͱΛֶश͢Δ͕͝ͱ͘ػց ʹ΋ֶशͤ͞Δ͜ͱ ྫ͑͹εύϜ൑ఆͳͲʹ࢖͏͜ͱ͕Ͱ͖Δ ؒҧ͑ͨ਺ͷ߹ܭΛ໨తؔ਺ˠ࠷దԽ໰୊ ػցֶशͱ͸࠷దԽ໰୊Ͱ͋Δͱݴ͑Δ K ࠷ۙ๣๏ͷΑ͏ʹɺ࠷దԽ͡Όͳ͍ͷ΋͋Γ·͢ Ҏ߱Ͱ͸εύϜ൑ఆΛྫͱ͠·͢ɹ 21 / 48
22. . . . . . . ઢܗࣝผثͱ͍͏ఆࣜԽ f(x) = w · x x ͱ w ͸ n ࣍ݩͷϕΫτϧͱ͢Δ x ͸ϝʔϧͷಛ௃Λද͢ϕΫτϧ w ͕࠷దԽͰ͏͔͢͝ύϥϝʔλ f(x) ͕ਖ਼ͳΒεύϜɺෛͳΒεύϜͰ͸ͳ͍ɺͱ ͢Δ x ͸ϝʔϧதͷ୯ޠͱ͔ɺૹ৴ݩͷ IP ͱ͔ ཁ͢Δʹ w ͱ x ͷ಺ੵͰεύϜ͔Ͳ͏͔ܾ·Δ ඇৗʹγϯϓϧʂ ͨͩ͠ n ͸ඇৗʹେ͖ͳ஋ʹͳΔ 22 / 48
23. . . . . . . ϝʔϧ͔Βಛ௃ΛऔΓग़͢ ΩʔϫʔυΛൈ͖ग़͢ͱ݁ߏεύϜ͔Ͳ͏͔Θ͔Δ 23 / 48
24. . . . . . . ϝʔϧ͔Βಛ௃ΛऔΓग़͢ ΩʔϫʔυΛൈ͖ग़͢ͱ݁ߏεύϜ͔Ͳ͏͔Θ͔Δ (ओਓ, ΦΦΞϦΫΠ, 1 ೥, . . .) ˠ εύϜͩʂ ʂ 24 / 48
25. . . . . . . ϝʔϧ͔Βಛ௃ΛऔΓग़͢ ΩʔϫʔυΛൈ͖ग़͢ͱ݁ߏεύϜ͔Ͳ͏͔Θ͔Δ (ओਓ, ΦΦΞϦΫΠ, 1 ೥, . . .) ˠ εύϜͩʂ ʂ (ຊ, క੾Γ, ·ͩ, . . .) ˠ εύϜ͡Όͳ͍ʂ ʂ 25 / 48
26. . . . . . . ઢܗࣝผثͱͯ͠ͷSVM SVM ͱ͸ҎԼͷ໨తؔ਺ͷ࠷খԽͰ͋Δ i max(1 − yi w · xi , 0) + c|w| (3) max(1 − yi w · xi , 0) ͸ i ൪໨ͷσʔλʹର͢Δଛࣦ ώϯδϩεͱݴ͍·͢ |w| ͸ෳࡶͳϞσϧʹର͢ΔϖφϧςΟ ਖ਼ଇԽ߲ͱݴ͍·͢ c ͸ͳΜ͔ൺྫఆ਺ ιϑτϚʔδϯͷ࠷େԽ͔Βಋग़Ͱ͖Δ͕লུ 26 / 48
27. . . . . . . ֬཰తޯ഑߱Լ๏ʢSGDʣʹΑΔ࠷దԽ σʔλҰͭҰͭʹରͯ͠ޯ഑ ∇ Λܭࢉֶͯ͠श཰ Λ͔͚ͯ଍͢ wnew = η∇ + wold (4) η ͸ֶश཰ʢ࣮਺ʣ 27 / 48
28. . . . . . . ֬཰తޯ഑߱Լ๏ʢSGDʣʹΑΔ࠷దԽ σʔλҰͭҰͭʹରͯ͠ޯ഑ ∇ Λܭࢉֶͯ͠श཰ Λ͔͚ͯ଍͢ wnew = η∇ + wold (4) η ͸ֶश཰ʢ࣮਺ʣ ޯ഑ ∇ ͕ܭࢉͰ͖Ε͹ SVM ͕࣮૷Ͱ͖Δ 28 / 48
29. . . . . . . ޯ഑ͷܭࢉํ๏ʢ1ʣ ·ͣଛࣦ߲͔Βඍ෼͠·͢ l(w, xi ) = max(1 − yi w · xi , 0) (5) ৔߹෼͚͢Δͱඍ෼Ͱ͖·͢ɻ if l(w, xi ) > 0 −yi w · xi otherwise 0 (6) 29 / 48
30. . . . . . . ޯ഑ͷܭࢉํ๏ʢ1ʣ ·ͣଛࣦ߲͔Βඍ෼͠·͢ l(w, xi ) = max(1 − yi w · xi , 0) (5) ৔߹෼͚͢Δͱඍ෼Ͱ͖·͢ɻ if l(w, xi ) > 0 −yi w · xi otherwise 0 (6) ϓϩάϥϜͳΒ৔߹෼͚΋ if จͰ؆୯ʂ ʂ 30 / 48
31. . . . . . . ޯ഑ͷܭࢉํ๏ʢ2ʣ ਖ਼ଇԽ߲ͷඍ෼Λܭࢉ͠Α͏ r(w) = |w| = |w0 | + |w1 | + . . . (7) w ͷ k ൪໨ͷཁૉͷඍ෼ if wk > 0 1 otherwise −1 (8) 31 / 48
32. . . . . . . ޯ഑ͷܭࢉํ๏ʢ2ʣ ਖ਼ଇԽ߲ͷඍ෼Λܭࢉ͠Α͏ r(w) = |w| = |w0 | + |w1 | + . . . (7) w ͷ k ൪໨ͷཁૉͷඍ෼ if wk > 0 1 otherwise −1 (8) ϓϩάϥϜͳΒ৔߹෼͚΋ if จͰ؆୯ʂ ʂ 32 / 48
33. . . . . . . ޯ഑ͷܭࢉํ๏ʢ2ʣ ਖ਼ଇԽ߲ͷܭࢉํ๏͸͍͔ͭ͘ςΫχοΫ͕͋Γ·͢ FOBOS (Duchi, 2009) Cumulative Update (Tsuruoka, 2009) ଎͔ͬͨΓਫ਼౓͕ྑ͔ͬͨΓ͢Δ, ࣮૷͸؆୯ 33 / 48
34. . . . . . . ओு͍ͨ͜͠ͱ SVMͬͯා͕ΒΕͯΔ͚ͲͦΜͳා͘ͳ͍ ୯ͳΔώϯδϩε+ਖ਼ଇԽ ΧʔωϧΛ࢖Θͳ͚Ε͹Ͷ ൚Խޡࠩͱ͔Λߟ͑ग़͢ͱ΍ͬͺΓ೉͍͚͠ͲͶ 34 / 48
35. . . . . . . Α͋͘Δٙ໰ Q. SVM ͷ໨తؔ਺ͬͯඍ෼ෆՄೳͳ఺͕͋Δ ΑͶʁ A. ద౰ʹޯ഑ 0 ͱ͔Ͱ OK Ͱ͢ʢྼޯ഑๏ʣ Q. SGDͬͯ஗͘ͳ͍ʁ A. ಛ௃͕ߴ࣍ݩ͔ͭૄͰ͋Δ৔߹͸଎͍ Q. ऩଋ͢Δͷʁ A. ֶश཰Λ͏·͘ઃఆ͢Ε͹ʜ 35 / 48
36. . . . . . . ·ͱΊ ࠷దԽͱػցֶशʹ͸ਂ͍ؔΘΓ͕͋Δ SVM ͸ʢ໊લ΄Ͳʣා͘ͳ͍ ΍΍͍ࣜ͜͠͸ if จ࢖͑͹͍͍࣮ͩͨ૷Ͱ͖Δ 36 / 48
37. . . . . . . ࢀߟจݙ ݴޠॲཧͷͨΊͷػցֶशೖ໳ (ίϩφࣾ, 2010) Optimization for Machine Learning (MIT Press, 2011) 37 / 48
38. . . . . . . Outline . . . 1 ༻ޠ঺հ . . . 2 ؆୯ͳྫ . . . 3 ػցֶशͱ࠷దԽ . . . 4 ֶश཰ͷ࿩ 38 / 48
39. . . . . . . ͔͜͜Βͪΐ ͬͱֶश཰ͷ࿩ ֶश཰͸ͪΐ ͬͱͣͭݮਰ͍ͯͬͨ͠ํ͕͍͍ ηt = η0 (1 + λη0 t)0.75 (9) ͜Μͳ η ͩͱੑೳ͕ྑ͘ͳΔΒ͍͠ 39 / 48
40. . . . . . . ඞཁͳ஋ t+n i=1 ηi − t i=1 ηi (10) ্هͷ஋͕೚ҙͷ t, n ͷ૊Έ߹Θͤʹରͯ͠ܭࢉ͠ ͍ͨ ˞ L1 ਖ਼ଇԽͷ৔߹ 40 / 48
41. . . . . . . ดͨ͡ܗͰܭࢉͰ͖Δ͔ʁ ࢴͱԖචͰܭࢉͯ͠Έͨʜ͕೉͍͠ 41 / 48
42. . . . . . . ดͨ͡ܗͰܭࢉͰ͖Δ͔ʁ ࢴͱԖචͰܭࢉͯ͠Έͨʜ͕೉͍͠ Wolfram Alpha ʹฉ͍ͯΈΑ͏ʂ ʂ 42 / 48
43. . . . . . . ดͨ͡ܗͰܭࢉͰ͖Δ͔ʁ ࢴͱԖචͰܭࢉͯ͠Έͨʜ͕೉͍͠ Wolfram Alpha ʹฉ͍ͯΈΑ͏ʂ ʂ 43 / 48
44. . . . . . . 44 / 48
45. . . . . . . ζ ζ ͸ Hurwitz zeta function ཁ͢ΔʹดܗࣜͰܭࢉͰ͖ͳ͍ 45 / 48
46. . . . . . . Ͱ΋ޮ཰తʹܭࢉͰ͖Δʂ ҎԼͷΑ͏ͳ Λt Λ͋Β͔͡Ίܭࢉ͓ͯ͘͠ Λt = t i=1 ηt t+n i=t ηi = Λt+n − Λt ͜ͷख๏͸೚ҙͷֶश཰ʹରͯ͠ద༻Մೳʂ 46 / 48
47. . . . . . . ֶश཰ͷ࿩ͷ·ͱΊ ֶश཰Λ͍͍ײ͡Ͱม͑Α͏ͱ͢ΔͱڪΖ͍ؔ͠ ਺͕ݱΕΔ Ͱ΋ͦΕ࢖Θͳͯ͘΋ޮ཰తʹ࣮૷Ͱ͖ͨΘʔ 47 / 48
48. . . . . . . ·ζ· 48 / 48