Pythonではじめる機械学習（教師あり学習）

Transcript

1. PythonͰ͸͡ΊΔػցֶश ڭࢣ͋Γֶश 2ষ

2. ▪ 自己紹介 ΞδΣϯμ ▪ 2.1ɹΫϥε෼ྨͱճؼ ▪ 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍ ▪ 2.3ɹڭࢣ͋ΓػցֶशΞϧΰϦζϜ

3. Twi$erID: @kuniiskywalker ࣗݾ঺հ 仕事：ソフトウェア・デベロッパー 趣味：minecra5 機械学習は個人的に勉強中

4. 2.1ɹΫϥε෼ྨͱճؼ

5. 教師あり機械学習問題は⼤きく「クラス分類」と「回帰」に分類される 回帰 クラス分類 Ϋϥε෼ྨͱճؼ

6. Ϋϥε෼ྨ

7. Ϋϥε෼ྨ ໨త ͋Β͔͡ΊఆΊΒΕͨબ୒ࢶͷத͔ΒΫϥεϥϕϧΛ༧ଌ͢Δ͜ͱ 2Ϋϥε෼ྨ ଟΫϥε෼ྨ

8. 2Ϋϥε෼ྨ ෼ྨثΛ༻͍ͯద੾ͳ2छྨͷʮΫϥεʯʹ෼ྨ͢Δํ๏ ྫɿϝʔϧ͕εύϜ͔൱͔

9. ଟΫϥε෼ྨ 3ͭҎ্ͷΫϥε෼཭͢Δํ๏ ྫɿखॻ͖਺ࣈͷը૾͔Β਺ࣈΛೝࣝ

10. ճؼ

11. ճؼ ໨త ࿈ଓ஋ͷ༧ଌ גՁͷมಈ༧૝ ڝഅͷ༧૝

12. Ϋϥε෼ྨͱճؼͷ࢖͍෼͚ Ϋϥε෼ྨͱճؼΛ۠ผ͢Δʹ͸ɺग़ྗʹ࿈ଓੑ͕͋Δ͔ߟ͑Δ

13. 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍

14. ൚Խ Ϟσϧ͕ະ஌ͷσʔλʹରͯ͠༧ଌग़དྷ͍ͯΔঢ়ଶ

15. ա৒ద߹ ܇࿅ηοτʹద߹͗ͯ͢͠ɺ৽͍͠σʔλʹରͯ͠༧ଌͰ͖ͯͳ͍ Overfitting

16. ద߹ෆ଍ ୯७͗͢ΔϞσϧʢಛ௃ྔ͕গͳ͍౳ʣͰɺ ະ஌ͷσʔλʹରͯ͢͠Δ༧ଌਫ਼౓͕Ͱͳ͍ঢ়ଶ ྫɿϘʔτΛߪೖͨ͠ͱ͍͏ಛ௃ྔ͚ͩͩͱɺஉੑͱঁੑͷ৔߹΍ߪೖ࣌ظͳͲ΋ ɹɹߟྀ͠ͳ͍ͱ༧ଌʹରͯ͠ਫ਼౓͕ग़ͳ͍ Underfitting

17. ڭࢣ͋ΓػցֶशΞϧΰϦζϜ

18. ʢέΠ͖Μ΅͏΄͏ʣ K-࠷ۙ๣๏ ֶशσʔλΛϕΫτϧ্ۭؒʹϓϩοτ͓͖ͯ͠ɺະ஌ͷσʔλ͕ಘΒΕͨΒɺ ͔ͦ͜Βڑ཭͕͍ۙॱʹ೚ҙͷKݸΛऔಘ͠ɺଟ਺ܾͰσʔλ͕ଐ͢ΔΫϥεΛਪఆ͢Δɻ

19. ઢܗϞσϧ ʮ໨తม਺ʯͱʮઆ໌ม਺ʯͷؔ܎ੑΛઢܗͰ͋ΒΘͨ͠΋ͷ ໨తม਺ આ໌ม਺

20. ઢܗϞσϧʹΑΔճؼ ઢܗճؼ Ϧοδճؼ Lassoճؼ Α͘࢖ΘΕΔճؼख๏ ύϥϝʔλʔΛ܇࿅σʔλ͔Βֶश͢Δํ๏ Ϟσϧͷෳࡶ͞Λ੍ޚ͢Δํ๏

21. ઢܗϞσϧʹΑΔճؼ Ұൠతͳ༧ଌࣜ yˆ=w[0]×x[0]+w[1]×x[1]+ɾɾɾ+w[p]×x[p]+b ɾ wͱb͸ֶश͞ΕͨϞσϧͷύϥϝʔλʔ ɾ yˆ͸Ϟσϧ͔Βͷ༧ଌ஋ ɾp͸ಛ௃ྔͷ਺ ɾ w͸܏͖Λද͢ύϥϝʔλʔͰॏΈɺ΋͘͠͸܎਺ݺ͹ΕΔ

    ɾ b͸੾ย ʢಛ௃ྔ͕ෳ਺ͷ৔߹ʣ

22. ઢܗϞσϧʹΑΔճؼ

23. ઢܗճؼ(௨ৗ࠷খೋ৐๏) ਫ৭ͷઢͷ௕͞ͷೋ৐ͷ࿨͕࠷খʹͳΔ௚ઢΛ΋ͱΊΔ

24. 正則化を使った回帰 ਖ਼ଇԽͱ͸ʁ ա৒ద߹Λ;͙ͤͨΊʹ܎਺Λ཈͑Δ࢓૊Έ L2ਖ਼ଇԽͱL1ਖ਼ଇԽ͕͋Δ

25. L2ਖ਼ଇԽ Ϟσϧ΁ͷա৒ద߹Λ๷͙ͨΊʹɺ ܎਺ͷେ͖͞Λ࠷খݶʹͯ͠ग़ྗ΁ͷӨڹΛ཈͑Δಛ௃͕͋Δ ܎਺ͷେ͖͞Λ࠷খݮʹ͢Δ > ܎਺Λ0ʹ͚ۙͮΔ > ग़ྗ΁ͷӨڹΛ཈͑Δ > ա৒ద߹Λ๷͙

26. L1ਖ਼ଇԽ ͍͔ͭ͘ͷ܎਺Λ׬શʹ0ʹ͢Δ = ͍͔ͭ͘ͷಛ௃Λແࢹ͢Δ ݁Ռಛ௃ྔͷݟ௨͕͠Α͘ͳΓɺॏཁͳ΋ͷ͕໌Β͔ʹͳΔ

27. リッジ回帰 ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL2ਖ਼ଇԽΛࢪͨ͠΋ͷ

28. Lassoճؼ ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL1ਖ਼ଇԽΛࢪͨ͠΋ͷ