Upgrade to Pro — share decks privately, control downloads, hide ads and more …

The Hundred Machine Learning 7.4-7.7

9b929c02f59c1a5628f2004b850bb879?s=47 Ganariya
September 12, 2020

The Hundred Machine Learning 7.4-7.7

9b929c02f59c1a5628f2004b850bb879?s=128

Ganariya

September 12, 2020
Tweet

Transcript

  1. ྠߨ 5IF.- <r > HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog

    ganariya ganariya
  2. 2 / N όΠΞεͱ෼ࢄ • όΠΞε • ෼ࢄ 予測値

  3. .VMUJ-BCFM$MBTTJGJDBUJPO

  4. 4 / N .VMUJ$MBTTWT.VMUJ-BCFM 多クラス モデル (決定⽊ softmax) ねこ うさぎ

    いぬ 多ラベル モデル (決定⽊ binary cross entropy) ミシン ⾞ 警察官 タキシード 複数出⼒
  5. 5 / N ଟϥϕϧ෼ྨ ֶशΞϧΰϦζϜ • σʔληοτΛʮը૾ϥϕϧʯ͕ҰରҰʹͳΔΑ͏ʹ ૢ࡞ͯ͠ɺ৽͍͠σʔληοτʹ͢Δ • ৽͍͠σʔληοτΛ࢖ͬͯʮଟΫϥεϞσϧʯΛֶ

    श͢Δ ミシン ⾞ 警察官 タキシード
  6. 6 / N ଟϥϕϧ෼ྨ Ϟσϧͱ༧ଌ • ࢖༻Ͱ͖ΔϞσϧ͸ʮଟΫϥε෼ྨʯ • ܾఆ໦ •

    ϩδεςΟοΫճؼ • /FVSBM/FUXPSL • ग़ྗ஋͸Ϋϥε਺࣍ݩͷϕΫτϧͰ < >ͷ֬཰Ͱ͋Δ NN ミシン ⾞ 警察官 タキシード ⽝ sigmoid
  7. 7 / N ଟϥϕϧ෼ྨ // • //ʹ͓͚Δଟϥϕϧ෼ྨ໰୊ • ֤VOJUͷίετؔ਺CJOBSZDSPTTFOUSPQZ •

    ∈ 1, … , , ∈ 1, … , ͸ϥϕϧ Ϋϥε ͷ਺ • !,# ͸൪໨ͷσʔληοτͷ࣍ݩ໨ͷϥϕϧͷ֬཰ • ֬཰తޯ഑߱Լ๏ͱ૬ੑ͕ྑ͍ • ࠷খԽج४͸ BWH FBDIVOJU
  8. 8 / N ଟϥϕϧ෼ྨ 'BLF$MBTT • ϥϕϧ਺͕গͳ͍৔߹ ֤ଐੑ͕औΓ͏Δ஋ͷ ૯૊߹ͤͰِΫϥεΛ ࡞ͬͯଟ෼ྨͰ͖Δ

    • ϝϦοτͱͯ͠ʮϥϕϧؒͷ૬ؔʯΛߟ͑ͯ෼ྨ͢Δ ͜ͱ͕Ͱ͖Δ • ʮTQBNͦ͏ ༏ઌ౓͕ߴͦ͏ʯͷϝʔϧ͸Ͱ͖Δ͚ͩ ൃੜ͠ͳ͍Α͏ʹ͍ͨ͠
  9. &OTFNCMF-FBSOJOH

  10. 10 / N Ξϯαϯϒϧֶश UMES • ,BHHMFͷίϯϖͰΑ্͘ҐʹೖΔΞϧΰϦζϜ • ऑֶशثΛෳ਺࢖ͬͯ૊Έ߹ΘͤΔ •

    ൚ԽೳྗΛ্͛Δ アンサンブル Bagging Boosting Random Forest
  11. 11 / N Ξϯαϯϒϧͷख๏ • ϒʔεςΟϯά • ΦϦδφϧͷσʔλΛ༻͍ͯऑֶशثΛ࡞Δ • ͦͷޙɺ܁Γฦ͠ʮલϞσϧͷޡࠩΛमਖ਼͢ΔʯΑ͏ʹ

    ৽͍͠ϞσϧΛߏங͢Δ • όΪϯά • ݩͷσʔλ͔ΒʮίϐʔʯΛϥϯμϜʹ࡞੒͠ খ͞ͳऑֶशثΛେྔʹ࡞ͬͯҙݟΛ૊Έ߹ΘͤΔ • ༗໊ͳ΋ͷ͕ϥϯμϜϑΥϨετ
  12. 12 / N WBOJMMBCBHHJOH • ݩͷֶशσʔλ͔ΒϒʔτετϥοϓͰऔΓग़͠ ݸͷܾఆ໦Λߏங͢Δ ೖྗxʹରͯ͠ݸͷग़ྗͷฏۉΛऔΔ 学習全データ !

    " # ブートストラップ 重複許してランダムに データを取り出す
  13. 13 / N ϥϯμϜϑΥϨετ • ઌఔͷWBOJMMBCBHHJOHʹҰ෦मਖ਼ΛՃ͑ͨϞσϧ • ֤ܾఆ໦Ͱ෼ׂج४ͷಛ௃ྔΛϥϯμϜʹݸʹߜΔ ! "

    # 元特徴量
  14. 14 / N ͳͥಛ௃ྔΛߜΔͷʁ • ͳͥͰ͠ΐ͏͔

  15. 15 / N ͳͥಛ௃ྔΛߜΔͷʁ • ܾఆ໦ಉ͕࢜૬ؔ෇͍ͯ͠·͏ • ऑֶशثΛෳ਺࡞Δҙຯ͕ͳ͍ • ͋Δಛ௃ྔʹґଘͯ͠͠·͏Մೳੑ͕͋Δ

    • ਓؒͷίϛϡχςΟʹ౳͍͠ • ͋Δࢥ૝ʹภͬͨਓ͕ؒू·Δͱ໰୊͕ൃੜ͢Δ • ձࣾ΋ՄೳͳݶΓʮ͍Ζ͍ΖͳλΠϓʯ͕ू·ͬͨ΄͏͕ ੒ޭ͢ΔͱݴΘΕ͍ͯΔ
  16. 16 / N 3'ͷϝϦοτ • ϥϯμϜϑΥϨετ͸ΞϯαϯϒϧֶशͰ ࠷΋޿͘༻͍ΒΕΔ • ࠷ऴϞσϧͷ෼ࢄ͕খ͘͞ͳΔ •

    ෼ࢄ͕খ͍͞ͱ͍͏͜ͱ͸ʮաֶशʯ͍ͯ͠ͳ͍ • ग़ྗ஋͕͹Β͔ͭͳ͍
  17. 17 / N (SBEJFOU#PPTUJOH • (SBEJFOU#PPTUJOH ޯ഑ϒʔεςΟϯά • ऑֶशثΛ܁Γฦ͠࡞੒ͯ͠ લϞσϧͷޡࠩΛগͣͭ͠ݮΒ͍ͯ͘͠

    • ·ͣ͸ճؼ໰୊ʢ࣮਺༧ଌʣʹ͍ͭͯߟ͑Δ
  18. 18 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ

  19. 19 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ 新しいラベル%

    % を作る residual(残余誤差)と呼ばれる
  20. 20 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    この時点で新全体モデル が構築できる
  21. 21 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    新たに誤差を作成する $ のみのときより誤差が 減っている
  22. 22 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    "
  23. 23 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    " 誤差を直接修正していく
  24. 24 / N ޯ഑ϒʔεςΟϯάʁ • ͳͥʮޯ഑ϒʔεςΟϯάʯ͸ʮޯ഑ϒʔεςΟϯ άʯͳͷ͔ʁ • ͜Ε·ͰͷճؼϞσϧͰ͸ඍ෼ʹΑΓʮޯ഑ʯΛٻΊ ͯҠಈ͍ͯͨ͠

    • ޯ഑ϒʔεςΟϯάͰ͸௚઀ʮ࢒ࠩޡࠩʯͰҠಈ͢Δ • ম͖ͳ·͠ͱ͔ 140ͬΆ͍
  25. 25 / N (#GPS$MBTTJGJDBUJPO • ෼ྨ໰୊Ͱͷޯ഑ϒʔεςΟϯά CJOBSZ • ݸͷܾఆ໦ •

    ΞϯαϯϒϧֶशʹΑΔ༧ଌ • ֤ܾఆ໦ͷ༧ଌΛ߹ܭͯ͠γάϞΠυͰ< >ͷ֬཰ͱ͢Δ • ໬౓$ Λ࠷େԽ͢Δ MPH
  26. 26 / N ֶशΞϧΰϦζϜ • = & = ' ()'

    , = ( * ∑+ + ͱॳظԽ͢Δ • ֤ΠςϨʔγϣϯ ݸ໨ͷܾఆ໦ߏங • ݸ໨ͷσʔλͷޯ഑Λܭࢉ͢Δ • ! Λ༻͍ͯσʔληοτΛߋ৽͢Δ • ৽͍ܾ͠ఆ໦% Λߏங͢Δ • ߋ৽εςοϓ% Λܭࢉ͢Δ • ݸ໨ͷܾఆ໦ͱશମϞσϧΛߏங͢Δ
  27. 27 / N ϝϦοτ σϝϦοτ • ޯ഑ϒʔεςΟϯά͸ਫ਼౓ͷ໘ͰϥϯμϜϑΥϨετ ʹൺ΂ͯलͰ͍ͯΔ • ͨͩ͠ɺஞ࣍ॲཧͳͨΊ܇࿅ॲཧ͕஗͍

  28. 3//ͷ3FWJFX

  29. 29 / N 3// • ʮ಺෦هԱʯΛ࣋ͭ͜ͱͰ࿈ଓσʔλΛॲཧͰ͖Δ • ࠨଆͱӈଆ͸ʮಉ͡ʯ ӈଆ͸ʮ࣌ܥྻͰ෼͔Γ΍͘͢ͳΔΑ͏ʹʯల։͚ͨͩ͠ •

    -45.΍HBUFE3//Ͱԕ͍هԱ΋ࢀরͰ͖ΔΑ͏ʹ ͳͬͨ
  30. 30 / N ಈ࡞ྫ • 5IJTJTB\\^^ σʔληοτͷ̍σʔλ TJ[F

  31. 31 / N ಈ࡞ྫ • 5IJTJTB\\^^

  32. 32 / N ಈ࡞ྫ • 5IJTJTB\\^^

  33. 33 / N ಈ࡞ྫ • 5IJTJTB\\^^

  34. 34 / N #BH0G8PSET • ࣮ࡍ໰୊͜ͷʮ5IJTʯͬͯͲ͏ೖ͍ͬͯΔͷʁ • ͦͷ··ೖΒͳ͘ͳ͍ʁ • ਺஋ϕΫτϧʹม׵͢Δ

    • ྫ͑͹༗໊ͳ୯ޠ਺࣍ݩʹݻఆ͢Δ • ࠷ۙ͸෼ࢄදݱ 8PSE7FD
  35. 35 / N ಈ࡞ྫ #P8 • 5IJTJTB\\^^

  36.  -FBSOJOHUP-BCMF 4FRVFODFT

  37. 37 / N 4FRVFODF • 4FRVFODF γʔέϯε ͸ඇৗʹॏཁͳσʔλ • ࿩͠ݴ༿

    • Իָ • ϏσΦ • 4FRVFODFMBCFMJOH • γʔέϯεͷʮ֤ཁૉ͝ͱʹ֤ϥϕϧʯΛׂΓ౰ͯΔ໰୊ • ಛ௃ϕΫτϧू߹ ϥϕϧϕΫτϧू߹ • ! = [x& ' , … , x! ()!*+!)>͸ݸ໨ͷσʔλϕΫτϧ • ! ΋ಉ༷ʹݸ໨ͷσʔλ
  38. 38 / N $POEJUPOBM 3BOEPN'JFME • γʔέϯεϥϕϦϯά͸3//͚ͩͰͳ͘ ৚݅෇͖֬཰৔ $3' ͱ͍͏Ϟσϧ΋͋Δ

    ಛ௃ϕΫτϧ͕ଟ͘ͷ৘ใྔΛ͍࣋ͬͯΔͱ͖ʹྑ͍ • ϕΫτϧͷಛ௃ྔΛઐ໳Ո͕ઃఆ͢Δ ೉͍͠ • ʮϩδεςΟοΫճؼʯͷΞϧΰϦζϜΛγʔέϯε ʹҰൠԽͨ͠΋ͷ • ૒ํ޲HBUFE 3//ΑΓ΋ྑ͍ਫ਼౓Λग़͢͜ͱ͕͋Δ • ͨͩ͠ɺ$3'ͷֶश͸ඇৗʹ஗͍
  39.  4FR4FR-FBSOJOH https://qiita.com/halhorn/items/646d323ac45 7715866d4

  40. 40 / N TFRTFR • TFRTFR͸TFRVFODFMBCFMJOHQSPCMFNͷҰൠԽ +, + ͷ௕͕͞ՄมʹͰ͖Δ •

    ຋༁ͳͲଟ͘ͷࣗવݴޠॲཧͰ༻͍ΒΕΔ • ʮೖྗ͞ΕΔϕΫτϧΛղऍ͢ΔʯΤϯίʔμʔ ʮղऍ͞ΕͨϕΫτϧ͔Βग़ྗϕΫτϧΛੜ੒͢Δʯ σίʔμʔ ͷ͔̎ͭΒͳΔ
  41. 41 / N TFRTFRΞʔΩςΫνϟ • Τϯίʔμʔ • 3//΍$//ͷΑ͏ͳΞʔΩςΫνϟ • ೖྗ͞ΕͨϕΫτϧΛʮղऍʯ͢ΔϕΫτϧ

    ʮUIPVHIUWFDUPSʯΛੜ੒ͯ͠σίʔμʔʹ • σίʔμʔ • Τϯίʔμʔ͔ΒUIPVHIUWFDUPSΛड͚औͬͯ ࣮ࡍʹγʔέϯεΛੜ੒͢Δ
  42. 42 / N TFRTFRΤϯίʔμʔ

  43. 43 / N TFRTFRΤϯίʔμʔ

  44. 44 / N TFRTFRΤϯίʔμʔ

  45. 45 / N TFRTFRΤϯίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

  46. 46 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

  47. 47 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

  48. 48 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

  49. 49 / N TFRTFRֶश • ΤϯίʔμʔͱσίʔμʔΛಉ࣌ʹ ܇࿅σʔλΛ༻ֶ͍ͯश͢Δ ޡࠩ͸σίʔμʔଆ͔ΒΤϯίʔμʔଆ΁ٯ఻ ೻͞ΕΔ

  50. 50 / N "UUFOUJPO • "UUFOUJPO͸ TFRTFR΍$//ͳͲͰซ༻ͯ͠ ༻͍ΒΕΔΞʔΩςΫνϟ • ʮΤϯίʔμʔଆͷͲͷ෦෼ʹண໨͢Δ͔ʁʯΛ

    "UUFOUJPO͸σίʔμʔଆʹڭ͑Δ
  51. 51 / N TFRTFRͷܽ఺ • TFRTFRͰ͸ʮΤϯίʔμʔʯͰͷ࠷ޙͷग़ྗʹ͓͚ ΔʮӅΕϕΫτϧͷΈʯΛσίʔμʔʹ౉͢ • ͲͷೖྗϕΫτϧʹ஫໨͢΂͖͔෼͔Βͳ͍ •

    ৘ใྔ͕ൈ͚མͪͯ͠·͏
  52. 52 / N Ξςϯγϣϯྫ • σίʔμʔ͸ ग़ྗγʔέϯεੜ੒࣌ʹ "UUFOUJPOػߏ͔ΒϕΫτϧΛऔΓग़ͯ͠ ʮͲͷೖྗʹண໨͢Δ͔ʁʯΛܾΊΔ

  53. 53 / N Ξςϯγϣϯྫ ը૾ྫ