Machine Learning Basic and Python

ػցֶशͷجૅ1ZUIPO G’s Academy Tokyo Pro Course Munesada Yohei

About me w फఆ༸ฏʢΉͶͩ͞Α͏΁͍ʣ w Blog -> http://www.yoheim.net w
Twitter -> @yoheiMune w ిࢠॻ੶αʔϏεͷاը։ൃ w ϓϥϯχϯάɺϑϩϯταʔόʔ։ൃɺσΟϨΫγϣϯɺ  ෼ੳɺͳͲ

The Goal 㾎 ػցֶशͷجૅΛମݧ͢Δ͜ͱ 㾎 ػցֶशͷجૅΛ1ZUIPOͰ࣮૷ͯ͠ΈͯɺཧղΛਂΊΔ͜ͱ 㾎 ࠓޙɺػցֶशʹ৮ΕΔ৔߹ͷૅʹͳΔ͜ͱ

ࠓճύϫʔΞοϓ͍ͨ͜͠ͱ 㾎 ਺ࣜʹର͢Δ఍߅ײ͕ݮͬͨʁ 㾎 ʮϥΠϒϥϦ΍"1*Λࢼͯ͠ऴΘΓʯ͔Βͷ า͕౿Έग़ͤΔঢ়ଶ 㾎 ʮϞσϧΛνϡʔχϯά͢Δʯͱ͍͏؍఺Λ࣋ͬͨ 㾎
ଞͷΞϧΰϦζϜ΁ͷཧղͷॿ͚ 㾎 ઐ໳༻ޠ΁ͷཧղ

୯ޠҰཡ ճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS ɺ ڭࢣ͋Γ
4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE ɺ ઢܗճؼ -JOFBS3FHSFTTJPO ɺԾઆؔ਺ )ZQPUIFTJT ɺ ίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺೋ৐ޡ ࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS ɺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ɺςετσʔλɺτϨʔχϯάσʔλɺ ֶशσʔλɺಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO ɺΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺ ΦʔόʔϑΟοτ 0WFSpU ɺߴ෼ࢄ )JHI7BSJBODF

૝ఆ͍ͯ͠Δडߨऀ 㾎 ػցֶशʹֶ͍ͭͯΜͰΈ͍ͨਓ 㾎 ػցֶशͷجຊతͳߟ͑ํΛ஌Γ͍ͨਓ 㾎 1ZUIPO͕ηοτΞοϓ͞Ε͍ͯΔਓ 㾎 1ZUIPO͕͋Δఔ౓ಡΈॻ͖Ͱ͖Δਓ

$ python3 --version Python 3.5.2 $ pip3 —-version pip
8.1.1 from /Library/Frameworks/Python.framework/ Versions/3.5/lib/python3.5/site-packages (python 3.5) Python3ܥΛΠϯετʔϧ͍ͯͩ͘͠͞ɻ ૝ఆ͍ͯ͠Δडߨऀ IUUQTXXXQZUIPOPSH Πϯετʔϧ͸ͪ͜Β͔Β →

Pythonجૅʹ͍ͭͯɺҎԼͷࢿྉΛ֬͝ೝ͍ͩ͘͞ɻ ૝ఆ͍ͯ͠Δडߨऀ IUUQTTQFBLFSEFDLDPNZPIFJNVOFQZUIPOMFDUVSFEBZHTBDBEFNZUPLZPQSPDPVSTF

ߨٛελΠϧ 㾎 ࠲ֶΛத৺ʹਐߦ͠·͢ 㾎 ཧղΛΑΓਂΊΔ͜ͱΛ໨తʹɺ1ZUIPOʹΑΔ࣮૷ԋशΛ༻ҙ͍ͯ͠·͢ 㾎 ଟ͘ͷ৔໘Ͱର࿩ܗࣜͰߦ͍ɺΑΓཧղ͕ਐΉΑ͏ʹͰ͖Ε͹ͱࢥ͍·͢

໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

ػցֶशαϚϦʔ ػցֶशαϚϦʔ ػցֶशΛߦ͏໨తͱ͸ʁ ճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ڭࢣ͋Γ
4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ػցֶशͷεςοϓ

1.1. ػցֶशΛߦ͏໨తͱ͸ʁ ʁʁʁ ػցֶश΋खஈͷҰͭɻԿʹ࢖͏͔Λ໌֬ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ

1.1. ػցֶशΛߦ͏໨తͱ͸ʁ ະ஌ͷ஋Λ༧ଌ͍ͨ͠ ػցֶश΋खஈͷҰͭɻԿʹ࢖͏͔Λ໌֬ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ

1.2. ճؼͱ෼ྨ ػցֶशͷϞσϧ͸ɺճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ʹେผ͞Ε·͢ɻ ճؼ(Regression) ෼ྨ(Classiﬁcation)
ʁʁʁ ʁʁʁ

1.2. ճؼͱ෼ྨ ػցֶशͷϞσϧ͸ɺճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ʹେผ͞Ε·͢ɻ ճؼ(Regression) ෼ྨ(Classiﬁcation)
ೖྗ͞Εͨσʔλ͔Β਺஋Λ༧ଌ͢ΔϞσϧɻ ྫɿϢʔβʔͷߪೖֹ༧ଌɺϢʔβʔͷεϚϗར༻࣌ؒ༧ଌ ೖྗ͞Εͨσʔλ͔Β෼ྨΛ༧ଌ͢ΔϞσϧɻ෼ྨث $MBTTJpFS ͱ΋ݺ͹ΕΔɻ ྫɿϢʔβʔ͕ߪೖ͢Δ͔൱͔ɺը૾ʹೣؚ͕·ΕΔ͔൱͔ɺखॻ͖਺஋ͷ஋͸Կ͔ʁ ༻ޠɿճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS

1.3. ڭࢣ͋Γͱڭࢣͳ͠ ػցֶशͷϞσϧ͸ɺڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ʹେผ͞Ε·͢ɻ ڭࢣ͋Γ(Supervised) ڭࢣͳ͠(Unsupervised)
ʁʁʁ ʁʁʁ

1.3. ڭࢣ͋Γͱڭࢣͳ͠ ػցֶशͷϞσϧ͸ɺڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ʹେผ͞Ε·͢ɻ ڭࢣ͋Γ(Supervised) ڭࢣͳ͠(Unsupervised)
ࣄલʹ༩͑ΒΕͨσʔλ τϨʔχϯάσʔλ Λ࢖ֶͬͯशΛߦ͍ɺͦΕΛ΋ͱʹ༧ଌ͢Δɻ ྫɿઢܗճؼɺϩδεςΟοΫճؼɺ47.ɺχϡʔϥϧωοτɺܾఆ໦ɺFUD ࣄલσʔλͳ͠ʹɺ༩͑ΒΕͨະ஌ͳσʔλ͔ΒԿΒ͔ͷຊ࣭తͳߏ଄Λಋ͖ग़͢ɻ ྫɿΫϥελϦϯάɺओ੒෼෼ੳɺFUD ༻ޠɿڭࢣ͋Γ 4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE

1.3. ػձֶशͷछྨʢ·ͱΊʣ ࠓ·Ͱͷͱ͜ΖΛ·ͱΊΔͱɺҎԼͷΑ͏ͳ෼ྨΛߦ͏͜ͱ͕Ͱ͖·͢ɻ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO
" # ෼ྨ $MBTTJpDBUJPO $ %

1.4. ػձֶशͷεςοϓ ػձֶश͸ͲͷΑ͏ͳखॱͰར༻͢ΔͷͰ͠ΐ͏͔ɾɾɾʁ ͯ͞ɺԿΛ͠·͔͢ʁ

1.4. ػձֶशͷεςοϓ ػձֶश͸ҎԼͷεςοϓͰ࣮ߦ͠·͢ɻ ϞσϧΛબ୒͢Δ Ծઆؔ਺Λఆٛ͢Δ ίετؔ਺Λఆٛ͢Δ
ϞσϧΛτϨʔχϯά͢Δ ϞσϧΛධՁ͢Δ ϞσϧΛվળ͢Δ

1.4. ػձֶशͷεςοϓ ػձֶश͸ҎԼͷεςοϓͰ࣮ߦ͠·͢ɻ ࠓ೔೔͔͚ͯɺ ͜ͷεςοϓΛֶͼ·͢ɻ ϞσϧΛબ୒͢Δ Ծઆؔ਺Λఆٛ͢Δ
ίετؔ਺Λఆٛ͢Δ ϞσϧΛτϨʔχϯά͢Δ ϞσϧΛධՁ͢Δ ϞσϧΛվળ͢Δ

ͪΐ͍ͱ࣭໰λΠϜʂ

໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲
ԋश

2.1. ઢܗճؼͱ͸ʁ ʁʁʁ ༻ޠɿઢܗճؼ -JOFBS3FHSFTTJPO

ઢܗճؼ͸ɺ͜ͷΑ͏ͳσʔλʹରͯ͠ɺʜ 2.1. ઢܗճؼͱ͸ʁ

ઢܗճؼ͸ҎԼͷΑ͏ͳઢΛ༻͍ͯɺೖྗσʔλ͔Β஋Λ༧ଌ͢ΔϞσϧͰ͢ɻ 2.1. ઢܗճؼͱ͸ʁ

ઢܗճؼ͸ҎԼͷΑ͏ͳઢΛ༻͍ͯɺೖྗσʔλ͔Β஋Λ༧ଌ͢ΔϞσϧͰ͢ɻ ഉؾྔ͔ΒՁ֨Λ༧ଌ͢Δ 2.1. ઢܗճؼͱ͸ʁ

ͱ͜ΖͰɺઢܗճؼ͸ͲΕͰ͠ΐ͏͔ʁ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO " #
෼ྨ $MBTTJpDBUJPO $ % 2.1. ઢܗճؼͱ͸ʁ

ԋश

2.2. ઢܗճؼͷԾઆؔ਺ Ծઆؔ਺Λఆٛͯ͠ɺഉؾྔ͔ΒՁ֨Λਪଌ͠·͢ɻ Ծઆؔ਺ʁ ༻ޠɿԾઆؔ਺ )ZQPUIFTJT

2.2. ઢܗճؼͷԾઆؔ਺ ઢܗճؼͷԾઆؔ਺͸ɺԼهͷࣜͰ͢ɻ

2.2. ઢܗճؼͷԾઆؔ਺ ͜͜Ͱɺػցֶश෩ʹ਺ࣜͷݴ͍׵͑Λߦ͍·͢ɻ

2.2. ઢܗճؼͷԾઆؔ਺ ͜͜ͰВͷ஋Λ࠷దԽ͢Δ͜ͱͰɺσʔλʹԾઆؔ਺ΛϑΟοτͤ͞·͢ɻ ࠷దԽ ࠷దԽ

ԋश

2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ίετͱ͸Կ͔ʁ

2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ༧ଌ஋ͱ࣮ࡍ஋ͷࠩ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ίετ͕খ͍͞ྑ͍༧ଌ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ ೋ৐ޡࠩ TRVBSFFSSPS

2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ ฏۉೋ৐ޡࠩ NFBOTRVBSFFSSPS

(ͪΐͬͱ෮श) Ծઆؔ਺ͱίετؔ਺ Αͬͯɺઢܗճؼʹ͓͚ΔԾઆؔ਺ͱίετؔ਺͸ҎԼͰ͢ɻ Ծઆؔ਺ ίετؔ਺ ༻ޠɿίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO
ɺ ೋ৐ޡࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS

(ͪΐͬͱ෮श) Ծઆؔ਺ͱίετؔ਺ Αͬͯɺઢܗճؼʹ͓͚ΔԾઆؔ਺ͱίετؔ਺͸ҎԼͰ͢ɻ Ծઆؔ਺ ίετؔ਺ ίετΛ࠷খԽͯ͠ɺ࠷దͳ༧ଌΛಋ͘

ԋश

ίετΛ࠷খԽ͢Δ͜ͱͰɺ࠷దͳԾઆؔ਺ΛٻΊ·͢ɻ ͲͷΑ͏ʹίετΛ࠷খԽ͢Δ͔ʁ ίετؔ਺ 2.4. ϞσϧͷτϨʔχϯά

2.4. ϞσϧͷτϨʔχϯά ͜͜Ͱ͸·ͣ୯७ʹ͢ΔͨΊʹɺZBYͷԾઆؔ਺Λߟ͑·͢ɻ ͲͷΑ͏ʹίετΛ࠷খԽ͢Δ͔ʁ Ծઆؔ਺ ίετؔ਺ ˞ZBYͷܗ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ίετ࠷খԽͷͨΊʹɺ͜͜Ͱ͸ޯ഑߱Լ๏Λ༻͍·͢ɻ ίετؔ਺Λඍ෼ͯ͠ɺίετ͕খ͘͞ͳΔํ޲΁ গͣͭ͠ВΛௐ੔͢Δ ίετؔ਺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ༻ޠɿޯ഑߱Լ๏
(SBEJFOU%FTDFOU

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ίετؔ਺ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ˞୯ͳΔ࣍ؔ਺ʂʂ ˞

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏Λ࣮ࡍʹܭࢉͯ͠Έ·͢ɻ ίετؔ਺ ඍ෼ͨࣜ͠

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏Λ࣮ࡍʹܭࢉͯ͠Έ·͢ɻ for i in range(iteration): ͳͲখ͞ͳ஋

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ʹΑΓɺ࠷దͳВΛٻΊΔ͜ͱ͕Ͱ͖·͢ɻ ॳظ஋ ࠷దԽ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ Ͱ͸࿩Λ໭ͯ͠ɺม਺ʹ͓͚Δίετ࠷খԽΛऔΓ૊Έ·͢ɻ Ծઆؔ਺ ίετؔ਺

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ม਺ʹ͓͚Δάϥϑ͸ҎԼͷΠϝʔδͰ͢ɻ Ҿ༻ɿIUUQTXXXDPVSTFSBPSHMFBSONBDIJOFMFBSOJOH

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ΍Δ͜ͱ͸ม਺ͷ࣌ͱҰॹͰ͕͢ɺม਺͝ͱʹඍ෼͢ΔͷͰภඍ෼Λ༻͍·͢ɻ ίετؔ਺ ޯ഑߱Լ๏ GPSKBOEK

͜͜Ͱͷภඍ෼ʹ͍ͭͯෆ໌ͳํ͸ɺ·͊͜Μͳ΋Μͩͱࢥ͑͹0,Ͱ͢ɻ ޯ഑߱Լ๏ GPSKBOEK 2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ɿ ɿ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ΍Δ͜ͱ͸ม਺ͷ࣌ͱҰॹͰɺඍ෼݁ՌΛ༻͍ͯগͣͭ͠Вͷ஋Λมߋ͠·͢ɻ for i in range(iteration): ˞ಉ࣌ʹߋ৽͢Δ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ʹΑΓɺ࠷దͳВΛٻΊΔ͜ͱ͕Ͱ͖·͢ɻ ॳظ஋ ࠷దԽ

2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ͱ͍͏͜ͱͰɺޯ഑߱Լ๏ͷ͓͞Β͍Ͱ͢ɻ Ծઆؔ਺ ίετؔ਺ ޯ഑߱Լ๏ } ܁Γฦ࣮͠ࢪ͢Δ

ͪΐ͍ͱ࣭໰λΠϜʂ ˞࠷΋େมͳͱ͜Ζ͸௒͑·ͨ͠ʜ

ԋश

2.5. ϞσϧͷධՁ ͯ͞ɺ࡞੒ͨ͠Ϟσϧ͸ͲͷΑ͏ʹධՁ͢Ε͹Α͍Ͱ͠ΐ͏͔ʁ

2.5. ϞσϧͷධՁ σʔλΛτϨʔχϯά༻ͱݕূ༻ʹ෼͚ͯ࢖͍·͢ɻ શσʔλ

2.5. ϞσϧͷධՁ σʔλΛτϨʔχϯά༻ͱݕূ༻ʹ෼͚ͯ࢖͍·͢ɻ ςετσʔλʹར༻͢Δ τϨʔχϯάσʔλʹར༻͢Δ ༻ޠɿςετσʔλɺτϨʔχϯάσʔλɺֶशσʔλ

2.5. ϞσϧͷධՁ τϨʔχϯάσʔλͰϞσϧΛ࡞ΓɺςετσʔλͰݕূ͠·͢ɻ ςετσʔλʹར༻͢Δ ˞ίετܭࢉͱಉ͡ܭࢉࣜͰ͢

2.5. ϞσϧͷධՁʢࢀߟɿϏδϡΞϧԽʣ ޡࠩΛάϥϑͰݟ͑ΔԽͯ͠ྑ͠ѱ͠Λ൑அ͠·͢ɻ m (training set size) Good m
(training set size) Great m (training set size) Bad

ԋश

2.6. Ϟσϧͷվળ ͜͜Ͱ͸ϞσϧΛվળͯ͠ɺΑΓྑ͍༧ଌΛߦ͏Α͏ʹͯ͠Έ͍ͨͱࢥ͍·͢ɻ Ͳ͏΍ͬͯվળ͠·͔͢ʁ

2.6. Ϟσϧͷվળ Ϟσϧվળʹ͸༷ʑͳख๏͕ଘࡏ͠·͢ɻ 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃Λ૿΍͢ 㾎 ಛ௃ΛݮΒ͢
㾎 ଟ߲߲ࣜ໨Λ૿΍͢ 㾎 ৽͘͠ಛ௃Λ࡞੒͢Δ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛ૿΍͢ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛݮΒ͢ 㾎 σʔλͷਖ਼نԽ ༻ޠɿಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO

2.6. Ϟσϧͷվળ Ϟσϧվળʹ͸༷ʑͳख๏͕ଘࡏ͠·͢ɻ 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃Λ૿΍͢ 㾎 ಛ௃ΛݮΒ͢
㾎 ଟ߲߲ࣜ໨Λ૿΍͢ʢࠓճ͸͜Εʣ 㾎 ৽͘͠ಛ௃Λ࡞੒͢Δ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛ૿΍͢ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛݮΒ͢ 㾎 σʔλͷਖ਼نԽ

2.6. Ϟσϧͷվળ Ծઆؔ਺ʹ߲໨Λ૿΍͠ɺΑΓσʔλʹϑΟοτ͢ΔΑ͏ʹมߋ͠·͢ɻ Ծઆؔ਺ʢࠓ·Ͱʣ Ծઆؔ਺ʢมߋޙʣ ௥Ճͨ͠

2.6. Ϟσϧͷվળ มߋޙͷԾઆؔ਺ର͢Δίετؔ਺Λఆٛ͠ɺ࠷దԽΛߦ͍·͢ɻ ίετؔ਺ ޯ഑߱Լ๏ ˞͜ͷล͸มߋલͷԾઆؔ਺ͱҰॹͰ͢ʢВ͕૿͑ͨͷΈʣ

Ծઆؔ਺Λվળͨ݁͠ՌɺҎԼͷΑ͏ʹͳΓ·ͨ͠ɻ มߋલ 2.6. Ϟσϧͷվળ มߋޙ

ԋश

Ϟσϧͷσʔλʹର͢ΔϑΟοςΟϯά౓߹͍ʹΑΓݺͼํ͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Underfit Overfit (ߴ෼ࢄ) ༻ޠɿΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺΦʔόʔϑΟοτ
0WFSpU ɺ ߴ෼ࢄ )JHI7BSJBODF

ΦʔόʔϑΟοςΟϯάΛ๷͙ʹ͸ز͔ͭͷํ๏͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Overfit (ߴ෼ࢄ) 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃ΛݮΒ͢
㾎 ଟ߲߲ࣜ໨ΛݮΒ͢ 㾎 ਖ਼ଇԽ߲Λಋೖ͢Δ

ΦʔόʔϑΟοςΟϯάΛ๷͙ʹ͸ز͔ͭͷํ๏͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Overfit (ߴ෼ࢄ) 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃ΛݮΒ͢
㾎 ଟ߲߲ࣜ໨ΛݮΒ͢ 㾎 ਖ਼ଇԽ߲Λಋೖ͢Δ ༻ޠɿਖ਼ଇԽ 3FHVMBSJ[BUJPO

ίετؔ਺ʹਖ਼ଇԽ߲Λಋೖ͢Δ͜ͱͰɺΦʔόʔϑΟοςΟϯάΛ๷͗·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ ίετؔ਺ ਖ਼ଇԽ߲ 3FHVMBSJ[BUJPO ޯ഑߱Լ๏ (j=1,2,3,…,n)

ਖ਼ଇԽΛಋೖ͢Δ͜ͱͰɺΦʔόʔϑΟοςΟϯάΛ؇࿨Ͱ͖·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ ରࡦલ ਖ਼ଇԽಋೖޙ

ԋश

2.8. ԋश ϨϙδτϦ IUUQTHJUIVCDPNZPIFJ.VOF1ZUIPO-FDUVSF/PUFUSFFNBTUFSEBZ ԋशɿઢܗճؼʢZBYܗࣜʣͷ࣮૷ 㾎 Ծઆؔ਺ͷఆٛ໨తؔ਺ͷఆٛޯ഑߱Լ๏ͷ࣮૷ 㾎 ର৅ϑΝΠϧɿFYQZ
ԋशɿઢܗճؼʢZBY Cܗࣜʣͷ࣮૷ 㾎 Ծઆؔ਺ͷఆٛ໨తؔ਺ͷఆٛޯ഑߱Լ๏ͷ࣮૷ 㾎 ର৅ϑΝΠϧɿFYQZ

༨ஊɿϏδωε໰୊͔Βػցֶश໰୊΁ ౰ॳ͸ɺ ഉؾྔ͔ΒՁ֨Λ༧ଌ͢Δ Ϗδωε໰୊ ػցֶश໰୊΁ Ծઆؔ਺ ίετؔ਺ ͲͷΑ͏ʹఆٛ͢Δ͔͕ϙΠϯτ

࠷ޙʹ ػցֶशͷ֓ཁΛֶͼ·ͨ͠ɻ ઢܗճؼΛ௨ͯ͠ɺػցֶशͷεςοϓΛֶͼ·ͨ͠ɻ 㾎 ػցֶशͷ໨తճؼͱ෼ྨڭࢣ͋Γͱڭࢣͳ͠ 㾎 Ϟσϧͷબ୒ 㾎 Ծઆؔ਺ͷఆٛ
㾎 ίετؔ਺ͷఆٛ 㾎 ޯ഑߱Լ๏ 㾎 ϞσϧͷධՁ 㾎 Ϟσϧͷվળ 㾎 ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

ճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS ɺ ڭࢣ͋Γ 4VQFSWJTFE
ɺڭࢣͳ͠ 6OTVQFSWJTFE ɺ ઢܗճؼ -JOFBS3FHSFTTJPO ɺԾઆؔ਺ )ZQPUIFTJT ɺ ίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺೋ৐ޡ ࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS ɺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ɺςετσʔλɺτϨʔχϯάσʔλɺ ֶशσʔλɺಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO ɺΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺ ΦʔόʔϑΟοτ 0WFSpU ɺߴ෼ࢄ )JHI7BSJBODF ୯ޠҰཡ

ࠓճֶ͹ͳ͔ͬͨ͜ͱ = ࣍ʹֶΜͰ΄͍͜͠ͱ ෼ྨ໰୊ͳͲଞͷΞϧΰϦζϜ ઢܗ୅਺Λ༻͍࣮ͨ૷ํ๏ 㾎 ϩδεςΟοΫճؼ47.χϡʔϥϧωοτϫʔΫϨίϝϯυFUD def compute_cost(x,
y, Theta, lambda_=0): m = x.shape[0] hypo = np.dot(x, Theta) cost = np.sum((hypo - y) ** 2) + lambda_ * np.sum(Theta**2) return cost / 2 / m

ࠓճύϫʔΞοϓͨ͜͠ͱ 㾎 ਺ࣜʹର͢Δ఍߅ײ͕ݮͬͨʁ 㾎 ʮϥΠϒϥϦ΍"1*Λࢼͯ͠ऴΘΓʯ͔Βͷ า͕౿Έग़ͤΔঢ়ଶ 㾎 ʮϞσϧΛνϡʔχϯά͢Δʯͱ͍͏؍఺Λ࣋ͬͨ 㾎
ଞͷΞϧΰϦζϜ΁ͷཧղͷॿ͚ 㾎 ઐ໳༻ޠ΁ͷཧղ

͓ർΕ༷Ͱͨ͠ʂ

Machine Learning Basic and Python

Machine Learning Basic and Python

More Decks by Yohei Munesada

Other Decks in Technology

Featured

Transcript