Pythonではじめる機械学習（教師あり学習）

Pythonではじめる機械学習（教師あり学習）

Transcript

1. PythonͰ͸͡ΊΔػցֶश ڭࢣ͋Γֶश 2ষ
2. ▪ 自己紹介 ΞδΣϯμ ▪ 2.1ɹΫϥε෼ྨͱճؼ ▪ 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍ ▪ 2.3ɹڭࢣ͋ΓػցֶशΞϧΰϦζϜ
3. Twi$erID: @kuniiskywalker ࣗݾ঺հ 仕事：ソフトウェア・デベロッパー 趣味：minecra5 機械学習は個人的に勉強中
4. 2.1ɹΫϥε෼ྨͱճؼ
5. 教師あり機械学習問題は⼤きく「クラス分類」と「回帰」に分類される 回帰 クラス分類 Ϋϥε෼ྨͱճؼ
6. Ϋϥε෼ྨ
7. Ϋϥε෼ྨ ໨త ͋Β͔͡ΊఆΊΒΕͨબ୒ࢶͷத͔ΒΫϥεϥϕϧΛ༧ଌ͢Δ͜ͱ 2Ϋϥε෼ྨ ଟΫϥε෼ྨ
8. 2Ϋϥε෼ྨ ෼ྨثΛ༻͍ͯద੾ͳ2छྨͷʮΫϥεʯʹ෼ྨ͢Δํ๏ ྫɿϝʔϧ͕εύϜ͔൱͔
9. ଟΫϥε෼ྨ 3ͭҎ্ͷΫϥε෼཭͢Δํ๏ ྫɿखॻ͖਺ࣈͷը૾͔Β਺ࣈΛೝࣝ
10. ճؼ
11. ճؼ ໨త ࿈ଓ஋ͷ༧ଌ גՁͷมಈ༧૝ ڝഅͷ༧૝
12. Ϋϥε෼ྨͱճؼͷ࢖͍෼͚ Ϋϥε෼ྨͱճؼΛ۠ผ͢Δʹ͸ɺग़ྗʹ࿈ଓੑ͕͋Δ͔ߟ͑Δ
13. 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍
14. ൚Խ Ϟσϧ͕ະ஌ͷσʔλʹରͯ͠༧ଌग़དྷ͍ͯΔঢ়ଶ
15. ա৒ద߹ ܇࿅ηοτʹద߹͗ͯ͢͠ɺ৽͍͠σʔλʹରͯ͠༧ଌͰ͖ͯͳ͍ Overfitting
16. ద߹ෆ଍ ୯७͗͢ΔϞσϧʢಛ௃ྔ͕গͳ͍౳ʣͰɺ ະ஌ͷσʔλʹରͯ͢͠Δ༧ଌਫ਼౓͕Ͱͳ͍ঢ়ଶ ྫɿϘʔτΛߪೖͨ͠ͱ͍͏ಛ௃ྔ͚ͩͩͱɺஉੑͱঁੑͷ৔߹΍ߪೖ࣌ظͳͲ΋ ɹɹߟྀ͠ͳ͍ͱ༧ଌʹରͯ͠ਫ਼౓͕ग़ͳ͍ Underfitting
17. ڭࢣ͋ΓػցֶशΞϧΰϦζϜ
18. ʢέΠ͖Μ΅͏΄͏ʣ K-࠷ۙ๣๏ ֶशσʔλΛϕΫτϧ্ۭؒʹϓϩοτ͓͖ͯ͠ɺະ஌ͷσʔλ͕ಘΒΕͨΒɺ ͔ͦ͜Βڑ཭͕͍ۙॱʹ೚ҙͷKݸΛऔಘ͠ɺଟ਺ܾͰσʔλ͕ଐ͢ΔΫϥεΛਪఆ͢Δɻ
19. ઢܗϞσϧ ʮ໨తม਺ʯͱʮઆ໌ม਺ʯͷؔ܎ੑΛઢܗͰ͋ΒΘͨ͠΋ͷ ໨తม਺ આ໌ม਺
20. ઢܗϞσϧʹΑΔճؼ ઢܗճؼ Ϧοδճؼ Lassoճؼ Α͘࢖ΘΕΔճؼख๏ ύϥϝʔλʔΛ܇࿅σʔλ͔Βֶश͢Δํ๏ Ϟσϧͷෳࡶ͞Λ੍ޚ͢Δํ๏
21. ઢܗϞσϧʹΑΔճؼ Ұൠతͳ༧ଌࣜ yˆ=w[0]×x[0]+w[1]×x[1]+ɾɾɾ+w[p]×x[p]+b ɾ wͱb͸ֶश͞ΕͨϞσϧͷύϥϝʔλʔ ɾ yˆ͸Ϟσϧ͔Βͷ༧ଌ஋ ɾp͸ಛ௃ྔͷ਺ ɾ w͸܏͖Λද͢ύϥϝʔλʔͰॏΈɺ΋͘͠͸܎਺ݺ͹ΕΔ ɾ b͸੾ย ʢಛ௃ྔ͕ෳ਺ͷ৔߹ʣ
22. ઢܗϞσϧʹΑΔճؼ
23. ઢܗճؼ(௨ৗ࠷খೋ৐๏) ਫ৭ͷઢͷ௕͞ͷೋ৐ͷ࿨͕࠷খʹͳΔ௚ઢΛ΋ͱΊΔ
24. 正則化を使った回帰 ਖ਼ଇԽͱ͸ʁ ա৒ద߹Λ;͙ͤͨΊʹ܎਺Λ཈͑Δ࢓૊Έ L2ਖ਼ଇԽͱL1ਖ਼ଇԽ͕͋Δ
25. L2ਖ਼ଇԽ Ϟσϧ΁ͷա৒ద߹Λ๷͙ͨΊʹɺ ܎਺ͷେ͖͞Λ࠷খݶʹͯ͠ग़ྗ΁ͷӨڹΛ཈͑Δಛ௃͕͋Δ ܎਺ͷେ͖͞Λ࠷খݮʹ͢Δ > ܎਺Λ0ʹ͚ۙͮΔ > ग़ྗ΁ͷӨڹΛ཈͑Δ > ա৒ద߹Λ๷͙
26. L1ਖ਼ଇԽ ͍͔ͭ͘ͷ܎਺Λ׬શʹ0ʹ͢Δ = ͍͔ͭ͘ͷಛ௃Λແࢹ͢Δ ݁Ռಛ௃ྔͷݟ௨͕͠Α͘ͳΓɺॏཁͳ΋ͷ͕໌Β͔ʹͳΔ
27. リッジ回帰 ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL2ਖ਼ଇԽΛࢪͨ͠΋ͷ
28. Lassoճؼ ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL1ਖ਼ଇԽΛࢪͨ͠΋ͷ