Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Pythonではじめる機械学習(教師あり学習)

 Pythonではじめる機械学習(教師あり学習)

Pythonではじめる機械学習(教師あり学習)

9567d660ebfbc2bf811de13178994f59?s=128

kuniiskywalker

January 10, 2018
Tweet

Transcript

  1. PythonͰ͸͡ΊΔػցֶश ڭࢣ͋Γֶश 2ষ

  2. ▪ 自己紹介 ΞδΣϯμ ▪ 2.1ɹΫϥε෼ྨͱճؼ ▪ 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍ ▪ 2.3ɹڭࢣ͋ΓػցֶशΞϧΰϦζϜ

  3. Twi$erID: @kuniiskywalker ࣗݾ঺հ 仕事:ソフトウェア・デベロッパー 趣味:minecra5 機械学習は個人的に勉強中

  4. 2.1ɹΫϥε෼ྨͱճؼ

  5. 教師あり機械学習問題は⼤きく「クラス分類」と「回帰」に分類される 回帰 クラス分類 Ϋϥε෼ྨͱճؼ

  6. Ϋϥε෼ྨ

  7. Ϋϥε෼ྨ ໨త ͋Β͔͡ΊఆΊΒΕͨબ୒ࢶͷத͔ΒΫϥεϥϕϧΛ༧ଌ͢Δ͜ͱ 2Ϋϥε෼ྨ ଟΫϥε෼ྨ

  8. 2Ϋϥε෼ྨ ෼ྨثΛ༻͍ͯద੾ͳ2छྨͷʮΫϥεʯʹ෼ྨ͢Δํ๏ ྫɿϝʔϧ͕εύϜ͔൱͔

  9. ଟΫϥε෼ྨ 3ͭҎ্ͷΫϥε෼཭͢Δํ๏ ྫɿखॻ͖਺ࣈͷը૾͔Β਺ࣈΛೝࣝ

  10. ճؼ

  11. ճؼ ໨త ࿈ଓ஋ͷ༧ଌ גՁͷมಈ༧૝ ڝഅͷ༧૝

  12. Ϋϥε෼ྨͱճؼͷ࢖͍෼͚ Ϋϥε෼ྨͱճؼΛ۠ผ͢Δʹ͸ɺग़ྗʹ࿈ଓੑ͕͋Δ͔ߟ͑Δ

  13. 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍

  14. ൚Խ Ϟσϧ͕ະ஌ͷσʔλʹରͯ͠༧ଌग़དྷ͍ͯΔঢ়ଶ

  15. ա৒ద߹ ܇࿅ηοτʹద߹͗ͯ͢͠ɺ৽͍͠σʔλʹରͯ͠༧ଌͰ͖ͯͳ͍ Overfitting

  16. ద߹ෆ଍ ୯७͗͢ΔϞσϧʢಛ௃ྔ͕গͳ͍౳ʣͰɺ ະ஌ͷσʔλʹରͯ͢͠Δ༧ଌਫ਼౓͕Ͱͳ͍ঢ়ଶ ྫɿϘʔτΛߪೖͨ͠ͱ͍͏ಛ௃ྔ͚ͩͩͱɺஉੑͱঁੑͷ৔߹΍ߪೖ࣌ظͳͲ΋ ɹɹߟྀ͠ͳ͍ͱ༧ଌʹରͯ͠ਫ਼౓͕ग़ͳ͍ Underfitting

  17. ڭࢣ͋ΓػցֶशΞϧΰϦζϜ

  18. ʢέΠ͖Μ΅͏΄͏ʣ K-࠷ۙ๣๏ ֶशσʔλΛϕΫτϧ্ۭؒʹϓϩοτ͓͖ͯ͠ɺະ஌ͷσʔλ͕ಘΒΕͨΒɺ ͔ͦ͜Βڑ཭͕͍ۙॱʹ೚ҙͷKݸΛऔಘ͠ɺଟ਺ܾͰσʔλ͕ଐ͢ΔΫϥεΛਪఆ͢Δɻ

  19. ઢܗϞσϧ ʮ໨తม਺ʯͱʮઆ໌ม਺ʯͷؔ܎ੑΛઢܗͰ͋ΒΘͨ͠΋ͷ ໨తม਺ આ໌ม਺

  20. ઢܗϞσϧʹΑΔճؼ ઢܗճؼ Ϧοδճؼ Lassoճؼ Α͘࢖ΘΕΔճؼख๏ ύϥϝʔλʔΛ܇࿅σʔλ͔Βֶश͢Δํ๏ Ϟσϧͷෳࡶ͞Λ੍ޚ͢Δํ๏

  21. ઢܗϞσϧʹΑΔճؼ Ұൠతͳ༧ଌࣜ yˆ=w[0]×x[0]+w[1]×x[1]+ɾɾɾ+w[p]×x[p]+b ɾ wͱb͸ֶश͞ΕͨϞσϧͷύϥϝʔλʔ ɾ yˆ͸Ϟσϧ͔Βͷ༧ଌ஋ ɾp͸ಛ௃ྔͷ਺ ɾ w͸܏͖Λද͢ύϥϝʔλʔͰॏΈɺ΋͘͠͸܎਺ݺ͹ΕΔ

    ɾ b͸੾ย ʢಛ௃ྔ͕ෳ਺ͷ৔߹ʣ
  22. ઢܗϞσϧʹΑΔճؼ

  23. ઢܗճؼ(௨ৗ࠷খೋ৐๏) ਫ৭ͷઢͷ௕͞ͷೋ৐ͷ࿨͕࠷খʹͳΔ௚ઢΛ΋ͱΊΔ

  24. 正則化を使った回帰 ਖ਼ଇԽͱ͸ʁ ա৒ద߹Λ;͙ͤͨΊʹ܎਺Λ཈͑Δ࢓૊Έ L2ਖ਼ଇԽͱL1ਖ਼ଇԽ͕͋Δ

  25. L2ਖ਼ଇԽ Ϟσϧ΁ͷա৒ద߹Λ๷͙ͨΊʹɺ ܎਺ͷେ͖͞Λ࠷খݶʹͯ͠ग़ྗ΁ͷӨڹΛ཈͑Δಛ௃͕͋Δ ܎਺ͷେ͖͞Λ࠷খݮʹ͢Δ > ܎਺Λ0ʹ͚ۙͮΔ > ग़ྗ΁ͷӨڹΛ཈͑Δ > ա৒ద߹Λ๷͙

  26. L1ਖ਼ଇԽ ͍͔ͭ͘ͷ܎਺Λ׬શʹ0ʹ͢Δ = ͍͔ͭ͘ͷಛ௃Λແࢹ͢Δ ݁Ռಛ௃ྔͷݟ௨͕͠Α͘ͳΓɺॏཁͳ΋ͷ͕໌Β͔ʹͳΔ

  27. リッジ回帰 ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL2ਖ਼ଇԽΛࢪͨ͠΋ͷ

  28. Lassoճؼ ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL1ਖ਼ଇԽΛࢪͨ͠΋ͷ