Machine Learning Basic and Python

2dfd5e0acd70adff0e2efc745d992396?s=47 Yohei Munesada
September 12, 2017

Machine Learning Basic and Python

This slide describes Linear Regression Algorithm and how to implement it by Python.
Presented by http://www.yoheim.net

2dfd5e0acd70adff0e2efc745d992396?s=128

Yohei Munesada

September 12, 2017
Tweet

Transcript

  1. ػցֶशͷجૅ1ZUIPO G’s Academy Tokyo Pro Course Munesada Yohei

  2.  About me w फఆ༸ฏʢΉͶͩ͞Α͏΁͍ʣ w Blog -> http://www.yoheim.net w

    Twitter -> @yoheiMune w ిࢠॻ੶αʔϏεͷاը։ൃ w ϓϥϯχϯάɺϑϩϯταʔόʔ։ൃɺσΟϨΫγϣϯɺ
 ෼ੳɺͳͲ
  3.  The Goal 㾎 ػցֶशͷجૅΛମݧ͢Δ͜ͱ 㾎 ػցֶशͷجૅΛ1ZUIPOͰ࣮૷ͯ͠ΈͯɺཧղΛਂΊΔ͜ͱ 㾎 ࠓޙɺػցֶशʹ৮ΕΔ৔߹ͷૅʹͳΔ͜ͱ

  4.  ࠓճύϫʔΞοϓ͍ͨ͜͠ͱ 㾎 ਺ࣜʹର͢Δ఍߅ײ͕ݮͬͨʁ 㾎 ʮϥΠϒϥϦ΍"1*Λࢼͯ͠ऴΘΓʯ͔Βͷ า͕౿Έग़ͤΔঢ়ଶ 㾎 ʮϞσϧΛνϡʔχϯά͢Δʯͱ͍͏؍఺Λ࣋ͬͨ 㾎

    ଞͷΞϧΰϦζϜ΁ͷཧղͷॿ͚ 㾎 ઐ໳༻ޠ΁ͷཧղ
  5.  ୯ޠҰཡ ճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS ɺ ڭࢣ͋Γ

    4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE ɺ ઢܗճؼ -JOFBS3FHSFTTJPO ɺԾઆؔ਺ )ZQPUIFTJT ɺ ίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺೋ৐ޡ ࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS ɺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ɺςετσʔλɺτϨʔχϯάσʔλɺ ֶशσʔλɺಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO ɺΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺ ΦʔόʔϑΟοτ 0WFSpU ɺߴ෼ࢄ )JHI7BSJBODF
  6.  ૝ఆ͍ͯ͠Δडߨऀ 㾎 ػցֶशʹֶ͍ͭͯΜͰΈ͍ͨਓ 㾎 ػցֶशͷجຊతͳߟ͑ํΛ஌Γ͍ͨਓ 㾎 1ZUIPO͕ηοτΞοϓ͞Ε͍ͯΔਓ 㾎 1ZUIPO͕͋Δఔ౓ಡΈॻ͖Ͱ͖Δਓ

  7.  $ python3 --version Python 3.5.2 $ pip3 —-version pip

    8.1.1 from /Library/Frameworks/Python.framework/ Versions/3.5/lib/python3.5/site-packages (python 3.5) Python3ܥΛΠϯετʔϧ͍ͯͩ͘͠͞ɻ ૝ఆ͍ͯ͠Δडߨऀ IUUQTXXXQZUIPOPSH Πϯετʔϧ͸ͪ͜Β͔Β →
  8.  Pythonجૅʹ͍ͭͯɺҎԼͷࢿྉΛ֬͝ೝ͍ͩ͘͞ɻ ૝ఆ͍ͯ͠Δडߨऀ IUUQTTQFBLFSEFDLDPNZPIFJNVOFQZUIPOMFDUVSFEBZHTBDBEFNZUPLZPQSPDPVSTF

  9.  ߨٛελΠϧ 㾎 ࠲ֶΛத৺ʹਐߦ͠·͢ 㾎 ཧղΛΑΓਂΊΔ͜ͱΛ໨తʹɺ1ZUIPOʹΑΔ࣮૷ԋशΛ༻ҙ͍ͯ͠·͢ 㾎 ଟ͘ͷ৔໘Ͱର࿩ܗࣜͰߦ͍ɺΑΓཧղ͕ਐΉΑ͏ʹͰ͖Ε͹ͱࢥ͍·͢

  10.  ໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

  11.  ໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

  12.  ػցֶशαϚϦʔ ػցֶशαϚϦʔ ػցֶशΛߦ͏໨తͱ͸ʁ ճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO  ڭࢣ͋Γ

    4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE  ػցֶशͷεςοϓ
  13.  1.1. ػցֶशΛߦ͏໨తͱ͸ʁ ʁʁʁ ػցֶश΋खஈͷҰͭɻԿʹ࢖͏͔Λ໌֬ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ

  14.  1.1. ػցֶशΛߦ͏໨తͱ͸ʁ ະ஌ͷ஋Λ༧ଌ͍ͨ͠ ػցֶश΋खஈͷҰͭɻԿʹ࢖͏͔Λ໌֬ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ

  15.  1.2. ճؼͱ෼ྨ ػցֶशͷϞσϧ͸ɺճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ʹେผ͞Ε·͢ɻ ճؼ(Regression) ෼ྨ(Classification)

    ʁʁʁ ʁʁʁ
  16.  1.2. ճؼͱ෼ྨ ػցֶशͷϞσϧ͸ɺճؼ 3FHSFTTJPO ͱ෼ྨ $MBTTJpDBUJPO ʹେผ͞Ε·͢ɻ ճؼ(Regression) ෼ྨ(Classification)

    ೖྗ͞Εͨσʔλ͔Β਺஋Λ༧ଌ͢ΔϞσϧɻ ྫɿϢʔβʔͷߪೖֹ༧ଌɺϢʔβʔͷεϚϗར༻࣌ؒ༧ଌ ೖྗ͞Εͨσʔλ͔Β෼ྨΛ༧ଌ͢ΔϞσϧɻ෼ྨث $MBTTJpFS ͱ΋ݺ͹ΕΔɻ ྫɿϢʔβʔ͕ߪೖ͢Δ͔൱͔ɺը૾ʹೣؚ͕·ΕΔ͔൱͔ɺखॻ͖਺஋ͷ஋͸Կ͔ʁ ༻ޠɿճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS
  17.  1.3. ڭࢣ͋Γͱڭࢣͳ͠ ػցֶशͷϞσϧ͸ɺڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ʹେผ͞Ε·͢ɻ ڭࢣ͋Γ(Supervised) ڭࢣͳ͠(Unsupervised)

    ʁʁʁ ʁʁʁ
  18.  1.3. ڭࢣ͋Γͱڭࢣͳ͠ ػցֶशͷϞσϧ͸ɺڭࢣ͋Γ 4VQFSWJTFE ͱڭࢣͳ͠ 6OTVQFSWJTFE ʹେผ͞Ε·͢ɻ ڭࢣ͋Γ(Supervised) ڭࢣͳ͠(Unsupervised)

    ࣄલʹ༩͑ΒΕͨσʔλ τϨʔχϯάσʔλ Λ࢖ֶͬͯशΛߦ͍ɺͦΕΛ΋ͱʹ༧ଌ͢Δɻ ྫɿઢܗճؼɺϩδεςΟοΫճؼɺ47.ɺχϡʔϥϧωοτɺܾఆ໦ɺFUD ࣄલσʔλͳ͠ʹɺ༩͑ΒΕͨະ஌ͳσʔλ͔ΒԿΒ͔ͷຊ࣭తͳߏ଄Λಋ͖ग़͢ɻ ྫɿΫϥελϦϯάɺओ੒෼෼ੳɺFUD ༻ޠɿڭࢣ͋Γ 4VQFSWJTFE ɺڭࢣͳ͠ 6OTVQFSWJTFE
  19.  1.3. ػձֶशͷछྨʢ·ͱΊʣ ࠓ·Ͱͷͱ͜ΖΛ·ͱΊΔͱɺҎԼͷΑ͏ͳ෼ྨΛߦ͏͜ͱ͕Ͱ͖·͢ɻ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO

    " # ෼ྨ $MBTTJpDBUJPO $ %
  20.  1.4. ػձֶशͷεςοϓ ػձֶश͸ͲͷΑ͏ͳखॱͰར༻͢ΔͷͰ͠ΐ͏͔ɾɾɾʁ ͯ͞ɺԿΛ͠·͔͢ʁ

  21.  1.4. ػձֶशͷεςοϓ ػձֶश͸ҎԼͷεςοϓͰ࣮ߦ͠·͢ɻ  ϞσϧΛબ୒͢Δ  Ծઆؔ਺Λఆٛ͢Δ  ίετؔ਺Λఆٛ͢Δ

     ϞσϧΛτϨʔχϯά͢Δ  ϞσϧΛධՁ͢Δ  ϞσϧΛվળ͢Δ
  22.  1.4. ػձֶशͷεςοϓ ػձֶश͸ҎԼͷεςοϓͰ࣮ߦ͠·͢ɻ ࠓ೔೔͔͚ͯɺ ͜ͷεςοϓΛֶͼ·͢ɻ  ϞσϧΛબ୒͢Δ  Ծઆؔ਺Λఆٛ͢Δ

     ίετؔ਺Λఆٛ͢Δ  ϞσϧΛτϨʔχϯά͢Δ  ϞσϧΛධՁ͢Δ  ϞσϧΛվળ͢Δ
  23.  ͪΐ͍ͱ࣭໰λΠϜʂ

  24.  ໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

  25.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  26.  2.1. ઢܗճؼͱ͸ʁ ʁʁʁ ༻ޠɿઢܗճؼ -JOFBS3FHSFTTJPO

  27.  ઢܗճؼ͸ɺ͜ͷΑ͏ͳσʔλʹରͯ͠ɺʜ 2.1. ઢܗճؼͱ͸ʁ

  28.  ઢܗճؼ͸ҎԼͷΑ͏ͳઢΛ༻͍ͯɺೖྗσʔλ͔Β஋Λ༧ଌ͢ΔϞσϧͰ͢ɻ 2.1. ઢܗճؼͱ͸ʁ

  29.  ઢܗճؼ͸ҎԼͷΑ͏ͳઢΛ༻͍ͯɺೖྗσʔλ͔Β஋Λ༧ଌ͢ΔϞσϧͰ͢ɻ ഉؾྔ͔ΒՁ֨Λ༧ଌ͢Δ 2.1. ઢܗճؼͱ͸ʁ

  30.  ͱ͜ΖͰɺઢܗճؼ͸ͲΕͰ͠ΐ͏͔ʁ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO " #

    ෼ྨ $MBTTJpDBUJPO $ % 2.1. ઢܗճؼͱ͸ʁ
  31.  ͱ͜ΖͰɺઢܗճؼ͸ͲΕͰ͠ΐ͏͔ʁ ڭࢣ͋Γ 4VQFSWJTFE ڭࢣͳ͠ 6OTVQFSWJTFE ճؼ 3FHSFTTJPO " #

    ෼ྨ $MBTTJpDBUJPO $ % 2.1. ઢܗճؼͱ͸ʁ
  32.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  33.  2.2. ઢܗճؼͷԾઆؔ਺ Ծઆؔ਺Λఆٛͯ͠ɺഉؾྔ͔ΒՁ֨Λਪଌ͠·͢ɻ Ծઆؔ਺ʁ ༻ޠɿԾઆؔ਺ )ZQPUIFTJT

  34.  2.2. ઢܗճؼͷԾઆؔ਺ ઢܗճؼͷԾઆؔ਺͸ɺԼهͷࣜͰ͢ɻ

  35.  2.2. ઢܗճؼͷԾઆؔ਺ ͜͜Ͱɺػցֶश෩ʹ਺ࣜͷݴ͍׵͑Λߦ͍·͢ɻ

  36.  2.2. ઢܗճؼͷԾઆؔ਺ ͜͜ͰВͷ஋Λ࠷దԽ͢Δ͜ͱͰɺσʔλʹԾઆؔ਺ΛϑΟοτͤ͞·͢ɻ ࠷దԽ ࠷దԽ

  37.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  38.  2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ίετͱ͸Կ͔ʁ

  39.  2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ༧ଌ஋ͱ࣮ࡍ஋ͷࠩ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

  40.  2.3. ઢܗճؼͷίετؔ਺ ίετͱ͍͏֓೦Λಋೖ͠·͢ɻ ίετ͕খ͍͞ྑ͍༧ଌ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

  41.  2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ

  42.  2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ ೋ৐ޡࠩ TRVBSFFSSPS

  43.  2.3. ઢܗճؼͷίετؔ਺ ઢܗճؼͰ͸ɺίετؔ਺ΛҎԼͷΑ͏ʹఆٛ͠·͢ɻ ίετԾઆͱ࣮ࡍͷ஋ͷࠩ ฏۉೋ৐ޡࠩ NFBOTRVBSFFSSPS

  44.  (ͪΐͬͱ෮श) Ծઆؔ਺ͱίετؔ਺ Αͬͯɺઢܗճؼʹ͓͚ΔԾઆؔ਺ͱίετؔ਺͸ҎԼͰ͢ɻ Ծઆؔ਺ ίετؔ਺ ༻ޠɿίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO

    ɺ ೋ৐ޡࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS
  45.  (ͪΐͬͱ෮श) Ծઆؔ਺ͱίετؔ਺ Αͬͯɺઢܗճؼʹ͓͚ΔԾઆؔ਺ͱίετؔ਺͸ҎԼͰ͢ɻ Ծઆؔ਺ ίετؔ਺ ίετΛ࠷খԽͯ͠ɺ࠷దͳ༧ଌΛಋ͘

  46.  ͪΐ͍ͱ࣭໰λΠϜʂ

  47.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  48.  ίετΛ࠷খԽ͢Δ͜ͱͰɺ࠷దͳԾઆؔ਺ΛٻΊ·͢ɻ ͲͷΑ͏ʹίετΛ࠷খԽ͢Δ͔ʁ ίετؔ਺ 2.4. ϞσϧͷτϨʔχϯά

  49.  2.4. ϞσϧͷτϨʔχϯά ͜͜Ͱ͸·ͣ୯७ʹ͢ΔͨΊʹɺZBYͷԾઆؔ਺Λߟ͑·͢ɻ ͲͷΑ͏ʹίετΛ࠷খԽ͢Δ͔ʁ Ծઆؔ਺ ίετؔ਺ ˞ZBYͷܗ

  50.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ίετ࠷খԽͷͨΊʹɺ͜͜Ͱ͸ޯ഑߱Լ๏Λ༻͍·͢ɻ ίετؔ਺Λඍ෼ͯ͠ɺίετ͕খ͘͞ͳΔํ޲΁ গͣͭ͠ВΛௐ੔͢Δ ίετؔ਺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ༻ޠɿޯ഑߱Լ๏

    (SBEJFOU%FTDFOU
  51.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ίετؔ਺ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ˞୯ͳΔ࣍ؔ਺ʂʂ ˞ 

  52.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

  53.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

  54.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏Λ࣮ࡍʹܭࢉͯ͠Έ·͢ɻ ίετؔ਺ ඍ෼ͨࣜ͠

  55.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏Λ࣮ࡍʹܭࢉͯ͠Έ·͢ɻ for i in range(iteration): ͳͲখ͞ͳ஋

  56.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ͷΠϝʔδΛ༙͔ͤͯΈΑ͏ʂ ίετ࠷খ ίετؔ਺Λඍ෼ͯ͠ɺ ίετ͕খ͘͞ͳΔํ޲΁গͣͭ͠ВΛௐ੔͢Δ

  57.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ʹΑΓɺ࠷దͳВΛٻΊΔ͜ͱ͕Ͱ͖·͢ɻ ॳظ஋ ࠷దԽ

  58.  ͪΐ͍ͱ࣭໰λΠϜʂ

  59.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ Ͱ͸࿩Λ໭ͯ͠ɺม਺ʹ͓͚Δίετ࠷খԽΛऔΓ૊Έ·͢ɻ Ծઆؔ਺ ίετؔ਺

  60.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ม਺ʹ͓͚Δάϥϑ͸ҎԼͷΠϝʔδͰ͢ɻ Ҿ༻ɿIUUQTXXXDPVSTFSBPSHMFBSONBDIJOFMFBSOJOH

  61.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ΍Δ͜ͱ͸ม਺ͷ࣌ͱҰॹͰ͕͢ɺม਺͝ͱʹඍ෼͢ΔͷͰภඍ෼Λ༻͍·͢ɻ ίετؔ਺ ޯ഑߱Լ๏ GPSKBOEK

  62.  ͜͜Ͱͷภඍ෼ʹ͍ͭͯෆ໌ͳํ͸ɺ·͊͜Μͳ΋Μͩͱࢥ͑͹0,Ͱ͢ɻ ޯ഑߱Լ๏ GPSKBOEK 2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ɿ ɿ

  63.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ΍Δ͜ͱ͸ม਺ͷ࣌ͱҰॹͰɺඍ෼݁ՌΛ༻͍ͯগͣͭ͠Вͷ஋Λมߋ͠·͢ɻ for i in range(iteration): ˞ಉ࣌ʹߋ৽͢Δ

  64.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ޯ഑߱Լ๏ʹΑΓɺ࠷దͳВΛٻΊΔ͜ͱ͕Ͱ͖·͢ɻ ॳظ஋ ࠷దԽ

  65.  2.4. ޯ഑߱Լ๏ʢϞσϧͷτϨʔχϯάʣ ͱ͍͏͜ͱͰɺޯ഑߱Լ๏ͷ͓͞Β͍Ͱ͢ɻ Ծઆؔ਺ ίετؔ਺ ޯ഑߱Լ๏ } ܁Γฦ࣮͠ࢪ͢Δ

  66.  ͪΐ͍ͱ࣭໰λΠϜʂ ˞࠷΋େมͳͱ͜Ζ͸௒͑·ͨ͠ʜ

  67.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  68.  2.5. ϞσϧͷධՁ ͯ͞ɺ࡞੒ͨ͠Ϟσϧ͸ͲͷΑ͏ʹධՁ͢Ε͹Α͍Ͱ͠ΐ͏͔ʁ

  69.  2.5. ϞσϧͷධՁ σʔλΛτϨʔχϯά༻ͱݕূ༻ʹ෼͚ͯ࢖͍·͢ɻ શσʔλ

  70.  2.5. ϞσϧͷධՁ σʔλΛτϨʔχϯά༻ͱݕূ༻ʹ෼͚ͯ࢖͍·͢ɻ ςετσʔλʹར༻͢Δ τϨʔχϯάσʔλʹར༻͢Δ   ༻ޠɿςετσʔλɺτϨʔχϯάσʔλɺֶशσʔλ

  71.  2.5. ϞσϧͷධՁ τϨʔχϯάσʔλͰϞσϧΛ࡞ΓɺςετσʔλͰݕূ͠·͢ɻ ςετσʔλʹར༻͢Δ  ˞ίετܭࢉͱಉ͡ܭࢉࣜͰ͢

  72.  2.5. ϞσϧͷධՁʢࢀߟɿϏδϡΞϧԽʣ ޡࠩΛάϥϑͰݟ͑ΔԽͯ͠ྑ͠ѱ͠Λ൑அ͠·͢ɻ m (training set size) Good m

    (training set size) Great m (training set size) Bad
  73.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  74.  2.6. Ϟσϧͷվળ ͜͜Ͱ͸ϞσϧΛվળͯ͠ɺΑΓྑ͍༧ଌΛߦ͏Α͏ʹͯ͠Έ͍ͨͱࢥ͍·͢ɻ Ͳ͏΍ͬͯվળ͠·͔͢ʁ

  75.  2.6. Ϟσϧͷվળ Ϟσϧվળʹ͸༷ʑͳख๏͕ଘࡏ͠·͢ɻ 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃Λ૿΍͢ 㾎 ಛ௃ΛݮΒ͢

    㾎 ଟ߲߲ࣜ໨Λ૿΍͢ 㾎 ৽͘͠ಛ௃Λ࡞੒͢Δ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛ૿΍͢ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛݮΒ͢ 㾎 σʔλͷਖ਼نԽ ༻ޠɿಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO
  76.  2.6. Ϟσϧͷվળ Ϟσϧվળʹ͸༷ʑͳख๏͕ଘࡏ͠·͢ɻ 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃Λ૿΍͢ 㾎 ಛ௃ΛݮΒ͢

    㾎 ଟ߲߲ࣜ໨Λ૿΍͢ʢࠓճ͸͜Εʣ 㾎 ৽͘͠ಛ௃Λ࡞੒͢Δ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛ૿΍͢ 㾎 ਖ਼ଇԽ߲ͷӨڹ౓ʢЕʣΛݮΒ͢ 㾎 σʔλͷਖ਼نԽ
  77.  2.6. Ϟσϧͷվળ Ծઆؔ਺ʹ߲໨Λ૿΍͠ɺΑΓσʔλʹϑΟοτ͢ΔΑ͏ʹมߋ͠·͢ɻ Ծઆؔ਺ʢࠓ·Ͱʣ Ծઆؔ਺ʢมߋޙʣ ௥Ճͨ͠

  78.  2.6. Ϟσϧͷվળ มߋޙͷԾઆؔ਺ର͢Δίετؔ਺Λఆٛ͠ɺ࠷దԽΛߦ͍·͢ɻ ίετؔ਺ ޯ഑߱Լ๏ ˞͜ͷล͸มߋલͷԾઆؔ਺ͱҰॹͰ͢ʢВ͕૿͑ͨͷΈʣ

  79.  Ծઆؔ਺Λվળͨ݁͠ՌɺҎԼͷΑ͏ʹͳΓ·ͨ͠ɻ มߋલ 2.6. Ϟσϧͷվળ มߋޙ

  80.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  81.  Ϟσϧͷσʔλʹର͢ΔϑΟοςΟϯά౓߹͍ʹΑΓݺͼํ͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Underfit Overfit (ߴ෼ࢄ) ༻ޠɿΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺΦʔόʔϑΟοτ

    0WFSpU ɺ ߴ෼ࢄ )JHI7BSJBODF
  82.  ΦʔόʔϑΟοςΟϯάΛ๷͙ʹ͸ز͔ͭͷํ๏͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Overfit (ߴ෼ࢄ) 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃ΛݮΒ͢

    㾎 ଟ߲߲ࣜ໨ΛݮΒ͢ 㾎 ਖ਼ଇԽ߲Λಋೖ͢Δ
  83.  ΦʔόʔϑΟοςΟϯάΛ๷͙ʹ͸ز͔ͭͷํ๏͕͋Γ·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ Overfit (ߴ෼ࢄ) 㾎 τϨʔχϯάσʔλΛ૿΍͢ 㾎 ಛ௃ΛݮΒ͢

    㾎 ଟ߲߲ࣜ໨ΛݮΒ͢ 㾎 ਖ਼ଇԽ߲Λಋೖ͢Δ ༻ޠɿਖ਼ଇԽ 3FHVMBSJ[BUJPO
  84.  ίετؔ਺ʹਖ਼ଇԽ߲Λಋೖ͢Δ͜ͱͰɺΦʔόʔϑΟοςΟϯάΛ๷͗·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ ίετؔ਺ ਖ਼ଇԽ߲ 3FHVMBSJ[BUJPO ޯ഑߱Լ๏ (j=1,2,3,…,n)

  85.  ਖ਼ଇԽΛಋೖ͢Δ͜ͱͰɺΦʔόʔϑΟοςΟϯάΛ؇࿨Ͱ͖·͢ɻ 2.7. ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ ରࡦલ ਖ਼ଇԽಋೖޙ

  86.  ໨࣍ ઢܗճؼ ઢܗճؼͱ͸ Ծઆؔ਺ ίετؔ਺ ϞσϧͷτϨʔχϯά ϞσϧͷධՁ Ϟσϧͷվળ ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲

    ԋश
  87.  2.8. ԋश ϨϙδτϦ IUUQTHJUIVCDPNZPIFJ.VOF1ZUIPO-FDUVSF/PUFUSFFNBTUFSEBZ ԋशɿઢܗճؼʢZBYܗࣜʣͷ࣮૷ 㾎 Ծઆؔ਺ͷఆٛ໨తؔ਺ͷఆٛޯ഑߱Լ๏ͷ࣮૷ 㾎 ର৅ϑΝΠϧɿFYQZ

    ԋशɿઢܗճؼʢZBY Cܗࣜʣͷ࣮૷ 㾎 Ծઆؔ਺ͷఆٛ໨తؔ਺ͷఆٛޯ഑߱Լ๏ͷ࣮૷ 㾎 ର৅ϑΝΠϧɿFYQZ
  88.  ༨ஊɿϏδωε໰୊͔Βػցֶश໰୊΁ ౰ॳ͸ɺ ഉؾྔ͔ΒՁ֨Λ༧ଌ͢Δ Ϗδωε໰୊ ػցֶश໰୊΁ Ծઆؔ਺ ίετؔ਺ ͲͷΑ͏ʹఆٛ͢Δ͔͕ϙΠϯτ

  89.  ໨࣍ ػցֶशαϚϦʔ ઢܗճؼ ࠷ޙʹ

  90.  ࠷ޙʹ ػցֶशͷ֓ཁΛֶͼ·ͨ͠ɻ ઢܗճؼΛ௨ͯ͠ɺػցֶशͷεςοϓΛֶͼ·ͨ͠ɻ 㾎 ػցֶशͷ໨తճؼͱ෼ྨڭࢣ͋Γͱڭࢣͳ͠ 㾎 Ϟσϧͷબ୒ 㾎 Ծઆؔ਺ͷఆٛ

    㾎 ίετؔ਺ͷఆٛ 㾎 ޯ഑߱Լ๏ 㾎 ϞσϧͷධՁ 㾎 Ϟσϧͷվળ 㾎 ΦʔόʔϑΟοςΟϯάͱਖ਼ଇԽ߲
  91.  ճؼ 3FHSFTTJPO ɺ෼ྨ $MBTTJpDBUJPO ɺ෼ྨث $MBTTJpFS ɺ ڭࢣ͋Γ 4VQFSWJTFE

    ɺڭࢣͳ͠ 6OTVQFSWJTFE ɺ ઢܗճؼ -JOFBS3FHSFTTJPO ɺԾઆؔ਺ )ZQPUIFTJT ɺ ίετؔ਺ $PTU'VODUJPO ɺ໨తؔ਺ 0CKFDUJWF'VODUJPO ɺೋ৐ޡ ࠩ 4RVBSF&SSPS ɺฏۉೋ৐ޡࠩ .FBO4RVBSF&SSPS ɺ ޯ഑߱Լ๏ (SBEJFOU%FTDFOU ɺςετσʔλɺτϨʔχϯάσʔλɺ ֶशσʔλɺಛ௃ 'FBUVSF ɺଟ߲ࣜ 1PMZOPNJBM ɺਖ਼نԽ /PSNBMJ[BUJPO ɺΞϯμʔϑΟοτ 6OEFSpU ɺ)JHI#JBTɺ ΦʔόʔϑΟοτ 0WFSpU ɺߴ෼ࢄ )JHI7BSJBODF ୯ޠҰཡ
  92.  ࠓճֶ͹ͳ͔ͬͨ͜ͱ = ࣍ʹֶΜͰ΄͍͜͠ͱ ෼ྨ໰୊ͳͲଞͷΞϧΰϦζϜ ઢܗ୅਺Λ༻͍࣮ͨ૷ํ๏ 㾎 ϩδεςΟοΫճؼ47.χϡʔϥϧωοτϫʔΫϨίϝϯυFUD def compute_cost(x,

    y, Theta, lambda_=0): m = x.shape[0] hypo = np.dot(x, Theta) cost = np.sum((hypo - y) ** 2) + lambda_ * np.sum(Theta**2) return cost / 2 / m
  93.  ࠓճύϫʔΞοϓͨ͜͠ͱ 㾎 ਺ࣜʹର͢Δ఍߅ײ͕ݮͬͨʁ 㾎 ʮϥΠϒϥϦ΍"1*Λࢼͯ͠ऴΘΓʯ͔Βͷ า͕౿Έग़ͤΔঢ়ଶ 㾎 ʮϞσϧΛνϡʔχϯά͢Δʯͱ͍͏؍఺Λ࣋ͬͨ 㾎

    ଞͷΞϧΰϦζϜ΁ͷཧղͷॿ͚ 㾎 ઐ໳༻ޠ΁ͷཧղ
  94.  ͓ർΕ༷Ͱͨ͠ʂ