Pythonではじめる機械学習（教師あり学習）

by kuniiskywalker

Slide 1

Slide 1 text

PythonͰ͸͡ΊΔػցֶश ڭࢣ͋Γֶश 2ষ

Slide 2

Slide 2 text

■ 自己紹介 ΞδΣϯμ ■ 2.1ɹΫϥε෼ྨͱճؼ ■ 2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍ ■ 2.3ɹڭࢣ͋ΓػցֶशΞϧΰϦζϜ

Slide 3

Slide 3 text

Twi$erID: @kuniiskywalker ࣗݾ঺հ 仕事：ソフトウェア・デベロッパー趣味：minecra5 機械学習は個人的に勉強中

Slide 4

Slide 4 text

2.1ɹΫϥε෼ྨͱճؼ

Slide 5

Slide 5 text

教師あり機械学習問題は⼤きく「クラス分類」と「回帰」に分類される回帰クラス分類 Ϋϥε෼ྨͱճؼ

Slide 6

Slide 6 text

Ϋϥε෼ྨ

Slide 7

Slide 7 text

Ϋϥε෼ྨ ໨త ͋Β͔͡ΊఆΊΒΕͨબ୒ࢶͷத͔ΒΫϥεϥϕϧΛ༧ଌ͢Δ͜ͱ 2Ϋϥε෼ྨ ଟΫϥε෼ྨ

Slide 8

Slide 8 text

2Ϋϥε෼ྨ ෼ྨثΛ༻͍ͯద੾ͳ2छྨͷʮΫϥεʯʹ෼ྨ͢Δํ๏ ྫɿϝʔϧ͕εύϜ͔൱͔

Slide 9

Slide 9 text

ଟΫϥε෼ྨ 3ͭҎ্ͷΫϥε෼཭͢Δํ๏ ྫɿखॻ͖਺ࣈͷը૾͔Β਺ࣈΛೝࣝ

Slide 10

Slide 10 text

ճؼ

Slide 11

Slide 11 text

ճؼ ໨త ࿈ଓ஋ͷ༧ଌ גՁͷมಈ༧૝ ڝഅͷ༧૝

Slide 12

Slide 12 text

Ϋϥε෼ྨͱճؼͷ࢖͍෼͚ Ϋϥε෼ྨͱճؼΛ۠ผ͢Δʹ͸ɺग़ྗʹ࿈ଓੑ͕͋Δ͔ߟ͑Δ

Slide 13

Slide 13 text

2.2ɹ൚Խɺա৒ద߹ɺద߹ෆ଍

Slide 14

Slide 14 text

൚Խ Ϟσϧ͕ະ஌ͷσʔλʹରͯ͠༧ଌग़དྷ͍ͯΔঢ়ଶ

Slide 15

Slide 15 text

ա৒ద߹ ܇࿅ηοτʹద߹͗ͯ͢͠ɺ৽͍͠σʔλʹରͯ͠༧ଌͰ͖ͯͳ͍ Overfitting

Slide 16

Slide 16 text

ద߹ෆ଍ ୯७͗͢ΔϞσϧʢಛ௃ྔ͕গͳ͍౳ʣͰɺ ະ஌ͷσʔλʹରͯ͢͠Δ༧ଌਫ਼౓͕Ͱͳ͍ঢ়ଶ ྫɿϘʔτΛߪೖͨ͠ͱ͍͏ಛ௃ྔ͚ͩͩͱɺஉੑͱঁੑͷ৔߹΍ߪೖ࣌ظͳͲ΋ ɹɹߟྀ͠ͳ͍ͱ༧ଌʹରͯ͠ਫ਼౓͕ग़ͳ͍ Underfitting

Slide 17

Slide 17 text

ڭࢣ͋ΓػցֶशΞϧΰϦζϜ

Slide 18

Slide 18 text

ʢέΠ͖Μ΅͏΄͏ʣ K-࠷ۙ๣๏ ֶशσʔλΛϕΫτϧ্ۭؒʹϓϩοτ͓͖ͯ͠ɺະ஌ͷσʔλ͕ಘΒΕͨΒɺ ͔ͦ͜Βڑ཭͕͍ۙॱʹ೚ҙͷKݸΛऔಘ͠ɺଟ਺ܾͰσʔλ͕ଐ͢ΔΫϥεΛਪఆ͢Δɻ

Slide 19

Slide 19 text

ઢܗϞσϧ ʮ໨తม਺ʯͱʮઆ໌ม਺ʯͷؔ܎ੑΛઢܗͰ͋ΒΘͨ͠΋ͷ ໨తม਺ આ໌ม਺

Slide 20

Slide 20 text

ઢܗϞσϧʹΑΔճؼ ઢܗճؼ Ϧοδճؼ Lassoճؼ Α͘࢖ΘΕΔճؼख๏ ύϥϝʔλʔΛ܇࿅σʔλ͔Βֶश͢Δํ๏ Ϟσϧͷෳࡶ͞Λ੍ޚ͢Δํ๏

Slide 21

Slide 21 text

ઢܗϞσϧʹΑΔճؼ Ұൠతͳ༧ଌࣜ yˆ=w[0]×x[0]+w[1]×x[1]+ɾɾɾ+w[p]×x[p]+b ɾ wͱb͸ֶश͞ΕͨϞσϧͷύϥϝʔλʔ ɾ yˆ͸Ϟσϧ͔Βͷ༧ଌ஋ ɾp͸ಛ௃ྔͷ਺ ɾ w͸܏͖Λද͢ύϥϝʔλʔͰॏΈɺ΋͘͠͸܎਺ݺ͹ΕΔ ɾ b͸੾ย ʢಛ௃ྔ͕ෳ਺ͷ৔߹ʣ

Slide 22

Slide 22 text

ઢܗϞσϧʹΑΔճؼ

Slide 23

Slide 23 text

ઢܗճؼ(௨ৗ࠷খೋ৐๏) ਫ৭ͷઢͷ௕͞ͷೋ৐ͷ࿨͕࠷খʹͳΔ௚ઢΛ΋ͱΊΔ

Slide 24

Slide 24 text

正則化を使った回帰 ਖ਼ଇԽͱ͸ʁ ա৒ద߹Λ;͙ͤͨΊʹ܎਺Λ཈͑Δ࢓૊Έ L2ਖ਼ଇԽͱL1ਖ਼ଇԽ͕͋Δ

Slide 25

Slide 25 text

L2ਖ਼ଇԽ Ϟσϧ΁ͷա৒ద߹Λ๷͙ͨΊʹɺ ܎਺ͷେ͖͞Λ࠷খݶʹͯ͠ग़ྗ΁ͷӨڹΛ཈͑Δಛ௃͕͋Δ ܎਺ͷେ͖͞Λ࠷খݮʹ͢Δ > ܎਺Λ0ʹ͚ۙͮΔ > ग़ྗ΁ͷӨڹΛ཈͑Δ > ա৒ద߹Λ๷͙

Slide 26

Slide 26 text

L1ਖ਼ଇԽ ͍͔ͭ͘ͷ܎਺Λ׬શʹ0ʹ͢Δ = ͍͔ͭ͘ͷಛ௃Λແࢹ͢Δ ݁Ռಛ௃ྔͷݟ௨͕͠Α͘ͳΓɺॏཁͳ΋ͷ͕໌Β͔ʹͳΔ

Slide 27

Slide 27 text

リッジ回帰 ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL2ਖ਼ଇԽΛࢪͨ͠΋ͷ

Slide 28

Slide 28 text

Lassoճؼ ༧ଌʹ࢖͏ࣜ͸ɺ௨ৗ࠷খೋ৐๏ͱಉ͡ ઢܗճؼʹL1ਖ਼ଇԽΛࢪͨ͠΋ͷ