Machine Learning Basic and Python

Slide 1

Slide 1 text

ػցֶशͷجૅ1ZUIPO G’s Academy Tokyo Pro Course Munesada Yohei

Slide 2

Slide 2 text

About me w फఆ༸ฏʢΉͶͩ͞Α͏΁͍ʣ w Blog -> http://www.yoheim.net w Twitter -> @yoheiMune w ిࢠॻ੶αʔϏεͷاը։ൃ w ϓϥϯχϯάɺϑϩϯταʔόʔ։ൃɺσΟϨΫγϣϯɺ  ෼ੳɺͳͲ

Slide 3

Slide 3 text

The Goal 㾎 ػցֶशͷجૅΛମݧ͢Δ͜ͱ 㾎 ػցֶशͷجૅΛ1ZUIPOͰ࣮૷ͯ͠ΈͯɺཧղΛਂΊΔ͜ͱ 㾎 ࠓޙɺػցֶशʹ৮ΕΔ৔߹ͷૅʹͳΔ͜ͱ

Slide 4

Slide 4 text

ࠓճύϫʔΞοϓ͍ͨ͜͠ͱ 㾎 ਺ࣜʹର͢Δ఍߅ײ͕ݮͬͨʁ 㾎 ʮϥΠϒϥϦ΍"1*Λࢼͯ͠ऴΘΓʯ͔Βͷา͕౿Έग़ͤΔঢ়ଶ 㾎 ʮϞσϧΛνϡʔχϯά͢Δʯͱ͍͏؍఺Λ࣋ͬͨ 㾎 ଞͷΞϧΰϦζϜ΁ͷཧղͷॿ͚ 㾎 ઐ໳༻ޠ΁ͷཧղ

Slide 5

Slide 5 text

୯ޠҰཡ ճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS ɺ ڭࢣ͋Γ 4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE ɺ ઢܗճؼ -JOFBS3FHSFTTJPO ɺԾઆؔ਺ )ZQPUIFTJT ɺ ίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺೋ৐ޡ ࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS ɺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ɺςετσʔλɺτϨʔχϯάσʔλɺ ֶशσʔλɺಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO ɺΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺ ΦʔόʔϑΟοτ 0WFSpU ɺߴ෼ࢄ )JHI7BSJBODF

Slide 6

Slide 6 text

૝ఆ͍ͯ͠Δडߨऀ 㾎 ػցֶशʹֶ͍ͭͯΜͰΈ͍ͨਓ 㾎 ػցֶशͷجຊతͳߟ͑ํΛ஌Γ͍ͨਓ 㾎 1ZUIPO͕ηοτΞοϓ͞Ε͍ͯΔਓ 㾎 1ZUIPO͕͋Δఔ౓ಡΈॻ͖Ͱ͖Δਓ

Slide 7

Slide 7 text

$ python3 --version Python 3.5.2 $ pip3 —-version pip 8.1.1 from /Library/Frameworks/Python.framework/ Versions/3.5/lib/python3.5/site-packages (python 3.5) Python3ܥΛΠϯετʔϧ͍ͯͩ͘͠͞ɻ ૝ఆ͍ͯ͠Δडߨऀ IUUQTXXXQZUIPOPSH Πϯετʔϧ͸ͪ͜Β͔Β →

Slide 8

Slide 8 text

Pythonجૅʹ͍ͭͯɺҎԼͷࢿྉΛ֬͝ೝ͍ͩ͘͞ɻ ૝ఆ͍ͯ͠Δडߨऀ IUUQTTQFBLFSEFDLDPNZPIFJNVOFQZUIPOMFDUVSFEBZHTBDBEFNZUPLZPQSPDPVSTF

Slide 9

Slide 9 text

ߨٛελΠϧ 㾎 ࠲ֶΛத৺ʹਐߦ͠·͢ 㾎 ཧղΛΑΓਂΊΔ͜ͱΛ໨తʹɺ1ZUIPOʹΑΔ࣮૷ԋशΛ༻ҙ͍ͯ͠·͢ 㾎 ଟ͘ͷ৔໘Ͱର࿩ܗࣜͰߦ͍ɺΑΓཧղ͕ਐΉΑ͏ʹͰ͖Ε͹ͱࢥ͍·͢

Slide 10

Slide 10 text

໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

Slide 11

Slide 11 text

໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

Slide 12

Slide 12 text

ػցֶशαϚϦʔ ػցֶशαϚϦʔ ػցֶशΛߦ͏໨తͱ͸ʁ ճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ػցֶशͷεςοϓ

Slide 13

Slide 13 text

1.1. ػցֶशΛߦ͏໨తͱ͸ʁ ʁʁʁ ػցֶश΋खஈͷҰͭɻԿʹ࢖͏͔Λ໌֬ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ

Slide 14

Slide 14 text

1.1. ػցֶशΛߦ͏໨తͱ͸ʁ ະ஌ͷ஋Λ༧ଌ͍ͨ͠ ػցֶश΋खஈͷҰͭɻԿʹ࢖͏͔Λ໌֬ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ

Slide 15

Slide 15 text

1.2. ճؼͱ෼ྨ ػցֶशͷϞσϧ͸ɺճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ʹେผ͞Ε·͢ɻ ճؼ(Regression) ෼ྨ(Classiﬁcation) ʁʁʁ ʁʁʁ

Slide 16

Slide 16 text

1.2. ճؼͱ෼ྨ ػցֶशͷϞσϧ͸ɺճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ʹେผ͞Ε·͢ɻ ճؼ(Regression) ෼ྨ(Classiﬁcation) ೖྗ͞Εͨσʔλ͔Β਺஋Λ༧ଌ͢ΔϞσϧɻ ྫɿϢʔβʔͷߪೖֹ༧ଌɺϢʔβʔͷεϚϗར༻࣌ؒ༧ଌ ೖྗ͞Εͨσʔλ͔Β෼ྨΛ༧ଌ͢ΔϞσϧɻ෼ྨث $MBTTJpFS ͱ΋ݺ͹ΕΔɻ ྫɿϢʔβʔ͕ߪೖ͢Δ͔൱͔ɺը૾ʹೣؚ͕·ΕΔ͔൱͔ɺखॻ͖਺஋ͷ஋͸Կ͔ʁ ༻ޠɿճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS

Slide 17

Slide 17 text

1.3. ڭࢣ͋Γͱڭࢣͳ͠ ػցֶशͷϞσϧ͸ɺڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ʹେผ͞Ε·͢ɻ ڭࢣ͋Γ(Supervised) ڭࢣͳ͠(Unsupervised) ʁʁʁ ʁʁʁ

Slide 18

Slide 18 text

1.3. ڭࢣ͋Γͱڭࢣͳ͠ ػցֶशͷϞσϧ͸ɺڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ʹେผ͞Ε·͢ɻ ڭࢣ͋Γ(Supervised) ڭࢣͳ͠(Unsupervised) ࣄલʹ༩͑ΒΕͨσʔλ τϨʔχϯάσʔλ Λ࢖ֶͬͯशΛߦ͍ɺͦΕΛ΋ͱʹ༧ଌ͢Δɻ ྫɿઢܗճؼɺϩδεςΟοΫճؼɺ47.ɺχϡʔϥϧωοτɺܾఆ໦ɺFUD ࣄલσʔλͳ͠ʹɺ༩͑ΒΕͨະ஌ͳσʔλ͔ΒԿΒ͔ͷຊ࣭తͳߏ଄Λಋ͖ग़͢ɻ ྫɿΫϥελϦϯάɺओ੒෼෼ੳɺFUD ༻ޠɿڭࢣ͋Γ 4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE

Slide 19

Slide 19 text

1.3. ػձֶशͷछྨʢ·ͱΊʣ ࠓ·Ͱͷͱ͜ΖΛ·ͱΊΔͱɺҎԼͷΑ͏ͳ෼ྨΛߦ͏͜ͱ͕Ͱ͖·͢ɻ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO " # ෼ྨ $MBTTJpDBUJPO $ %

Slide 20

Slide 20 text

1.4. ػձֶशͷεςοϓ ػձֶश͸ͲͷΑ͏ͳखॱͰར༻͢ΔͷͰ͠ΐ͏͔ɾɾɾʁ ͯ͞ɺԿΛ͠·͔͢ʁ

Slide 21

Slide 21 text

1.4. ػձֶशͷεςοϓ ػձֶश͸ҎԼͷεςοϓͰ࣮ߦ͠·͢ɻ ϞσϧΛબ୒͢Δ Ծઆؔ਺Λఆٛ͢Δ ίετؔ਺Λఆٛ͢Δ ϞσϧΛτϨʔχϯά͢Δ ϞσϧΛධՁ͢Δ ϞσϧΛվળ͢Δ

Slide 22

Slide 22 text

1.4. ػձֶशͷεςοϓ ػձֶश͸ҎԼͷεςοϓͰ࣮ߦ͠·͢ɻ ࠓ೔೔͔͚ͯɺ ͜ͷεςοϓΛֶͼ·͢ɻ ϞσϧΛબ୒͢Δ Ծઆؔ਺Λఆٛ͢Δ ίετؔ਺Λఆٛ͢Δ ϞσϧΛτϨʔχϯά͢Δ ϞσϧΛධՁ͢Δ ϞσϧΛվળ͢Δ

Slide 23

Slide 23 text

ͪΐ͍ͱ࣭໰λΠϜʂ

Slide 24

Slide 24 text

໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

Slide 25

Slide 25 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 26

Slide 26 text

2.1. ઢܗճؼͱ͸ʁ ʁʁʁ ༻ޠɿઢܗճؼ -JOFBS3FHSFTTJPO

Slide 27

Slide 27 text

ઢܗճؼ͸ɺ͜ͷΑ͏ͳσʔλʹରͯ͠ɺʜ 2.1. ઢܗճؼͱ͸ʁ

Slide 28

Slide 28 text

ઢܗճؼ͸ҎԼͷΑ͏ͳઢΛ༻͍ͯɺೖྗσʔλ͔Β஋Λ༧ଌ͢ΔϞσϧͰ͢ɻ 2.1. ઢܗճؼͱ͸ʁ

Slide 29

Slide 29 text

ઢܗճؼ͸ҎԼͷΑ͏ͳઢΛ༻͍ͯɺೖྗσʔλ͔Β஋Λ༧ଌ͢ΔϞσϧͰ͢ɻ ഉؾྔ͔ΒՁ֨Λ༧ଌ͢Δ 2.1. ઢܗճؼͱ͸ʁ

Slide 30

Slide 30 text

ͱ͜ΖͰɺઢܗճؼ͸ͲΕͰ͠ΐ͏͔ʁ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO " # ෼ྨ $MBTTJpDBUJPO $ % 2.1. ઢܗճؼͱ͸ʁ

Slide 31

Slide 31 text

ͱ͜ΖͰɺઢܗճؼ͸ͲΕͰ͠ΐ͏͔ʁ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO " # ෼ྨ $MBTTJpDBUJPO $ % 2.1. ઢܗճؼͱ͸ʁ

Slide 32

Slide 32 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 33

Slide 33 text

2.2. ઢܗճؼͷԾઆؔ਺ Ծઆؔ਺Λఆٛͯ͠ɺഉؾྔ͔ΒՁ֨Λਪଌ͠·͢ɻ Ծઆؔ਺ʁ ༻ޠɿԾઆؔ਺ )ZQPUIFTJT

Slide 34

Slide 34 text

2.2. ઢܗճؼͷԾઆؔ਺ ઢܗճؼͷԾઆؔ਺͸ɺԼهͷࣜͰ͢ɻ

Slide 35

Slide 35 text

2.2. ઢܗճؼͷԾઆؔ਺ ͜͜Ͱɺػցֶश෩ʹ਺ࣜͷݴ͍׵͑Λߦ͍·͢ɻ

Slide 36

Slide 36 text

2.2. ઢܗճؼͷԾઆؔ਺ ͜͜ͰВͷ஋Λ࠷దԽ͢Δ͜ͱͰɺσʔλʹԾઆؔ਺ΛϑΟοτͤ͞·͢ɻ ࠷దԽ ࠷దԽ

Slide 37

Slide 37 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 38

Slide 38 text

2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ίετͱ͸Կ͔ʁ

Slide 39

Slide 39 text

2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ༧ଌ஋ͱ࣮ࡍ஋ͷࠩ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

Slide 40

Slide 40 text

2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ίετ͕খ͍͞ྑ͍༧ଌ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

Slide 41

Slide 41 text

2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

Slide 42

Slide 42 text

2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ ೋ৐ޡࠩ TRVBSFFSSPS

Slide 43

Slide 43 text

2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ ฏۉೋ৐ޡࠩ NFBOTRVBSFFSSPS

Slide 44

Slide 44 text

(ͪΐͬͱ෮श) Ծઆؔ਺ͱίετؔ਺ Αͬͯɺઢܗճؼʹ͓͚ΔԾઆؔ਺ͱίετؔ਺͸ҎԼͰ͢ɻ Ծઆؔ਺ ίετؔ਺ ༻ޠɿίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺ ೋ৐ޡࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS

Slide 45

Slide 45 text

(ͪΐͬͱ෮श) Ծઆؔ਺ͱίετؔ਺ Αͬͯɺઢܗճؼʹ͓͚ΔԾઆؔ਺ͱίετؔ਺͸ҎԼͰ͢ɻ Ծઆؔ਺ ίετؔ਺ ίετΛ࠷খԽͯ͠ɺ࠷దͳ༧ଌΛಋ͘

Slide 46

Slide 46 text

ͪΐ͍ͱ࣭໰λΠϜʂ

Slide 47

Slide 47 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 48

Slide 48 text

ίετΛ࠷খԽ͢Δ͜ͱͰɺ࠷దͳԾઆؔ਺ΛٻΊ·͢ɻ ͲͷΑ͏ʹίετΛ࠷খԽ͢Δ͔ʁ ίετؔ਺ 2.4. ϞσϧͷτϨʔχϯά

Slide 49

Slide 49 text

2.4. ϞσϧͷτϨʔχϯά ͜͜Ͱ͸·ͣ୯७ʹ͢ΔͨΊʹɺZBYͷԾઆؔ਺Λߟ͑·͢ɻ ͲͷΑ͏ʹίετΛ࠷খԽ͢Δ͔ʁ Ծઆؔ਺ ίετؔ਺ ˞ZBYͷܗ

Slide 50

Slide 50 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ίετ࠷খԽͷͨΊʹɺ͜͜Ͱ͸ޯ഑߱Լ๏Λ༻͍·͢ɻ ίετؔ਺Λඍ෼ͯ͠ɺίετ͕খ͘͞ͳΔํ޲΁ গͣͭ͠ВΛௐ੔͢Δ ίετؔ਺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ༻ޠɿޯ഑߱Լ๏ (SBEJFOU%FTDFOU

Slide 51

Slide 51 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ίετؔ਺ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ˞୯ͳΔ࣍ؔ਺ʂʂ ˞

Slide 52

Slide 52 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

Slide 53

Slide 53 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

Slide 54

Slide 54 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏Λ࣮ࡍʹܭࢉͯ͠Έ·͢ɻ ίετؔ਺ ඍ෼ͨࣜ͠

Slide 55

Slide 55 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏Λ࣮ࡍʹܭࢉͯ͠Έ·͢ɻ for i in range(iteration): ͳͲখ͞ͳ஋

Slide 56

Slide 56 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

Slide 57

Slide 57 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ʹΑΓɺ࠷దͳВΛٻΊΔ͜ͱ͕Ͱ͖·͢ɻ ॳظ஋ ࠷దԽ

Slide 58

Slide 58 text

ͪΐ͍ͱ࣭໰λΠϜʂ

Slide 59

Slide 59 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ Ͱ͸࿩Λ໭ͯ͠ɺม਺ʹ͓͚Δίετ࠷খԽΛऔΓ૊Έ·͢ɻ Ծઆؔ਺ ίετؔ਺

Slide 60

Slide 60 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ม਺ʹ͓͚Δάϥϑ͸ҎԼͷΠϝʔδͰ͢ɻ Ҿ༻ɿIUUQTXXXDPVSTFSBPSHMFBSONBDIJOFMFBSOJOH

Slide 61

Slide 61 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ΍Δ͜ͱ͸ม਺ͷ࣌ͱҰॹͰ͕͢ɺม਺͝ͱʹඍ෼͢ΔͷͰภඍ෼Λ༻͍·͢ɻ ίετؔ਺ ޯ഑߱Լ๏ GPSKBOEK

Slide 62

Slide 62 text

͜͜Ͱͷภඍ෼ʹ͍ͭͯෆ໌ͳํ͸ɺ·͊͜Μͳ΋Μͩͱࢥ͑͹0,Ͱ͢ɻ ޯ഑߱Լ๏ GPSKBOEK 2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ɿ ɿ

Slide 63

Slide 63 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ΍Δ͜ͱ͸ม਺ͷ࣌ͱҰॹͰɺඍ෼݁ՌΛ༻͍ͯগͣͭ͠Вͷ஋Λมߋ͠·͢ɻ for i in range(iteration): ˞ಉ࣌ʹߋ৽͢Δ

Slide 64

Slide 64 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ʹΑΓɺ࠷దͳВΛٻΊΔ͜ͱ͕Ͱ͖·͢ɻ ॳظ஋ ࠷దԽ

Slide 65

Slide 65 text

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ͱ͍͏͜ͱͰɺޯ഑߱Լ๏ͷ͓͞Β͍Ͱ͢ɻ Ծઆؔ਺ ίετؔ਺ ޯ഑߱Լ๏ } ܁Γฦ࣮͠ࢪ͢Δ

Slide 66

Slide 66 text

ͪΐ͍ͱ࣭໰λΠϜʂ ˞࠷΋େมͳͱ͜Ζ͸௒͑·ͨ͠ʜ

Slide 67

Slide 67 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 68

Slide 68 text

2.5. ϞσϧͷධՁ ͯ͞ɺ࡞੒ͨ͠Ϟσϧ͸ͲͷΑ͏ʹධՁ͢Ε͹Α͍Ͱ͠ΐ͏͔ʁ

Slide 69

Slide 69 text

2.5. ϞσϧͷධՁ σʔλΛτϨʔχϯά༻ͱݕূ༻ʹ෼͚ͯ࢖͍·͢ɻ શσʔλ

Slide 70

Slide 70 text

2.5. ϞσϧͷධՁ σʔλΛτϨʔχϯά༻ͱݕূ༻ʹ෼͚ͯ࢖͍·͢ɻ ςετσʔλʹར༻͢Δ τϨʔχϯάσʔλʹར༻͢Δ ༻ޠɿςετσʔλɺτϨʔχϯάσʔλɺֶशσʔλ

Slide 71

Slide 71 text

2.5. ϞσϧͷධՁ τϨʔχϯάσʔλͰϞσϧΛ࡞ΓɺςετσʔλͰݕূ͠·͢ɻ ςετσʔλʹར༻͢Δ ˞ίετܭࢉͱಉ͡ܭࢉࣜͰ͢

Slide 72

Slide 72 text

2.5. ϞσϧͷධՁʢࢀߟɿϏδϡΞϧԽʣ ޡࠩΛάϥϑͰݟ͑ΔԽͯ͠ྑ͠ѱ͠Λ൑அ͠·͢ɻ m (training set size) Good m (training set size) Great m (training set size) Bad

Slide 73

Slide 73 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 74

Slide 74 text

2.6. Ϟσϧͷվળ ͜͜Ͱ͸ϞσϧΛվળͯ͠ɺΑΓྑ͍༧ଌΛߦ͏Α͏ʹͯ͠Έ͍ͨͱࢥ͍·͢ɻ Ͳ͏΍ͬͯվળ͠·͔͢ʁ

Slide 75

Slide 75 text

2.6. Ϟσϧͷվળ Ϟσϧվળʹ͸༷ʑͳख๏͕ଘࡏ͠·͢ɻ 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃Λ૿΍͢ 㾎 ಛ௃ΛݮΒ͢ 㾎 ଟ߲߲ࣜ໨Λ૿΍͢ 㾎 ৽͘͠ಛ௃Λ࡞੒͢Δ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛ૿΍͢ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛݮΒ͢ 㾎 σʔλͷਖ਼نԽ ༻ޠɿಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO

Slide 76

Slide 76 text

2.6. Ϟσϧͷվળ Ϟσϧվળʹ͸༷ʑͳख๏͕ଘࡏ͠·͢ɻ 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃Λ૿΍͢ 㾎 ಛ௃ΛݮΒ͢ 㾎 ଟ߲߲ࣜ໨Λ૿΍͢ʢࠓճ͸͜Εʣ 㾎 ৽͘͠ಛ௃Λ࡞੒͢Δ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛ૿΍͢ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛݮΒ͢ 㾎 σʔλͷਖ਼نԽ

Slide 77

Slide 77 text

2.6. Ϟσϧͷվળ Ծઆؔ਺ʹ߲໨Λ૿΍͠ɺΑΓσʔλʹϑΟοτ͢ΔΑ͏ʹมߋ͠·͢ɻ Ծઆؔ਺ʢࠓ·Ͱʣ Ծઆؔ਺ʢมߋޙʣ ௥Ճͨ͠

Slide 78

Slide 78 text

2.6. Ϟσϧͷվળ มߋޙͷԾઆؔ਺ର͢Δίετؔ਺Λఆٛ͠ɺ࠷దԽΛߦ͍·͢ɻ ίετؔ਺ ޯ഑߱Լ๏ ˞͜ͷล͸มߋલͷԾઆؔ਺ͱҰॹͰ͢ʢВ͕૿͑ͨͷΈʣ

Slide 79

Slide 79 text

Ծઆؔ਺Λվળͨ݁͠ՌɺҎԼͷΑ͏ʹͳΓ·ͨ͠ɻ มߋલ 2.6. Ϟσϧͷվળ มߋޙ

Slide 80

Slide 80 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 81

Slide 81 text

Ϟσϧͷσʔλʹର͢ΔϑΟοςΟϯά౓߹͍ʹΑΓݺͼํ͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Underfit Overfit (ߴ෼ࢄ) ༻ޠɿΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺΦʔόʔϑΟοτ 0WFSpU ɺ ߴ෼ࢄ )JHI7BSJBODF

Slide 82

Slide 82 text

ΦʔόʔϑΟοςΟϯάΛ๷͙ʹ͸ز͔ͭͷํ๏͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Overfit (ߴ෼ࢄ) 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃ΛݮΒ͢ 㾎 ଟ߲߲ࣜ໨ΛݮΒ͢ 㾎 ਖ਼ଇԽ߲Λಋೖ͢Δ

Slide 83

Slide 83 text

ΦʔόʔϑΟοςΟϯάΛ๷͙ʹ͸ز͔ͭͷํ๏͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Overfit (ߴ෼ࢄ) 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃ΛݮΒ͢ 㾎 ଟ߲߲ࣜ໨ΛݮΒ͢ 㾎 ਖ਼ଇԽ߲Λಋೖ͢Δ ༻ޠɿਖ਼ଇԽ 3FHVMBSJ[BUJPO

Slide 84

Slide 84 text

ίετؔ਺ʹਖ਼ଇԽ߲Λಋೖ͢Δ͜ͱͰɺΦʔόʔϑΟοςΟϯάΛ๷͗·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ ίετؔ਺ ਖ਼ଇԽ߲ 3FHVMBSJ[BUJPO ޯ഑߱Լ๏ (j=1,2,3,…,n)

Slide 85

Slide 85 text

ਖ਼ଇԽΛಋೖ͢Δ͜ͱͰɺΦʔόʔϑΟοςΟϯάΛ؇࿨Ͱ͖·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ ରࡦલ ਖ਼ଇԽಋೖޙ

Slide 86

Slide 86 text

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲ ԋश

Slide 87

Slide 87 text

2.8. ԋश ϨϙδτϦ IUUQTHJUIVCDPNZPIFJ.VOF1ZUIPO-FDUVSF/PUFUSFFNBTUFSEBZ ԋशɿઢܗճؼʢZBYܗࣜʣͷ࣮૷ 㾎 Ծઆؔ਺ͷఆٛ໨తؔ਺ͷఆٛޯ഑߱Լ๏ͷ࣮૷ 㾎 ର৅ϑΝΠϧɿFYQZ ԋशɿઢܗճؼʢZBYCܗࣜʣͷ࣮૷ 㾎 Ծઆؔ਺ͷఆٛ໨తؔ਺ͷఆٛޯ഑߱Լ๏ͷ࣮૷ 㾎 ର৅ϑΝΠϧɿFYQZ

Slide 88

Slide 88 text

༨ஊɿϏδωε໰୊͔Βػցֶश໰୊΁ ౰ॳ͸ɺ ഉؾྔ͔ΒՁ֨Λ༧ଌ͢Δ Ϗδωε໰୊ ػցֶश໰୊΁ Ծઆؔ਺ ίετؔ਺ ͲͷΑ͏ʹఆٛ͢Δ͔͕ϙΠϯτ

Slide 89

Slide 89 text

໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

Slide 90

Slide 90 text

࠷ޙʹ ػցֶशͷ֓ཁΛֶͼ·ͨ͠ɻ ઢܗճؼΛ௨ͯ͠ɺػցֶशͷεςοϓΛֶͼ·ͨ͠ɻ 㾎 ػցֶशͷ໨తճؼͱ෼ྨڭࢣ͋Γͱڭࢣͳ͠ 㾎 Ϟσϧͷબ୒ 㾎 Ծઆؔ਺ͷఆٛ 㾎 ίετؔ਺ͷఆٛ 㾎 ޯ഑߱Լ๏ 㾎 ϞσϧͷධՁ 㾎 Ϟσϧͷվળ 㾎 ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

Slide 91

Slide 91 text

ճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS ɺ ڭࢣ͋Γ 4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE ɺ ઢܗճؼ -JOFBS3FHSFTTJPO ɺԾઆؔ਺ )ZQPUIFTJT ɺ ίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺೋ৐ޡ ࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS ɺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ɺςετσʔλɺτϨʔχϯάσʔλɺ ֶशσʔλɺಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO ɺΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺ ΦʔόʔϑΟοτ 0WFSpU ɺߴ෼ࢄ )JHI7BSJBODF ୯ޠҰཡ

Slide 92

Slide 92 text

ࠓճֶ͹ͳ͔ͬͨ͜ͱ = ࣍ʹֶΜͰ΄͍͜͠ͱ ෼ྨ໰୊ͳͲଞͷΞϧΰϦζϜ ઢܗ୅਺Λ༻͍࣮ͨ૷ํ๏ 㾎 ϩδεςΟοΫճؼ47.χϡʔϥϧωοτϫʔΫϨίϝϯυFUD def compute_cost(x, y, Theta, lambda_=0): m = x.shape[0] hypo = np.dot(x, Theta) cost = np.sum((hypo - y) ** 2) + lambda_ * np.sum(Theta**2) return cost / 2 / m

Slide 93

Slide 93 text

ࠓճύϫʔΞοϓͨ͜͠ͱ 㾎 ਺ࣜʹର͢Δ఍߅ײ͕ݮͬͨʁ 㾎 ʮϥΠϒϥϦ΍"1*Λࢼͯ͠ऴΘΓʯ͔Βͷา͕౿Έग़ͤΔঢ়ଶ 㾎 ʮϞσϧΛνϡʔχϯά͢Δʯͱ͍͏؍఺Λ࣋ͬͨ 㾎 ଞͷΞϧΰϦζϜ΁ͷཧղͷॿ͚ 㾎 ઐ໳༻ޠ΁ͷཧղ

Slide 94

Slide 94 text

͓ർΕ༷Ͱͨ͠ʂ