The Hundred Machine Learning 7.4-7.7

Transcript

1. ྠߨ 5IF
   
   .- <
   r > HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog

   ganariya ganariya

2. 2 / N όΠΞεͱ෼ࢄ • όΠΞε • ෼ࢄ 予測値

3. 
   .VMUJ-BCFM
   $MBTTJGJDBUJPO

4. 4 / N .VMUJ
   $MBTT
   WT
   .VMUJ
   -BCFM 多クラス モデル (決定⽊ softmax) ねこ うさぎ

   いぬ 多ラベル モデル (決定⽊ binary cross entropy) ミシン ⾞ 警察官 タキシード 複数出⼒

5. 5 / N ଟϥϕϧ෼ྨ ֶशΞϧΰϦζϜ • σʔληοτΛʮը૾ϥϕϧʯ͕ҰରҰʹͳΔΑ͏ʹ ૢ࡞ͯ͠ɺ৽͍͠σʔληοτʹ͢Δ • ৽͍͠σʔληοτΛ࢖ͬͯʮଟΫϥεϞσϧʯΛֶ

   श͢Δ ミシン ⾞ 警察官 タキシード

6. 6 / N ଟϥϕϧ෼ྨ Ϟσϧͱ༧ଌ • ࢖༻Ͱ͖ΔϞσϧ͸ʮଟΫϥε෼ྨʯ • ܾఆ໦ •

   ϩδεςΟοΫճؼ • /FVSBM
   /FUXPSL • ग़ྗ஋͸Ϋϥε਺࣍ݩͷϕΫτϧͰ <
   >ͷ֬཰Ͱ͋Δ NN ミシン ⾞ 警察官 タキシード ⽝ sigmoid

7. 7 / N ଟϥϕϧ෼ྨ // • //ʹ͓͚Δଟϥϕϧ෼ྨ໰୊ • ֤VOJUͷίετؔ਺
   CJOBSZ
   DSPTT
   FOUSPQZ •

   ∈ 1, … , , ∈ 1, … , ͸ϥϕϧ Ϋϥε ͷ਺ • !,# ͸൪໨ͷσʔληοτͷ࣍ݩ໨ͷϥϕϧͷ֬཰ • ֬཰తޯ഑߱Լ๏ͱ૬ੑ͕ྑ͍ • ࠷খԽج४͸ BWH FBDI
   VOJU

8. 8 / N ଟϥϕϧ෼ྨ 'BLF$MBTT • ϥϕϧ਺͕গͳ͍৔߹ ֤ଐੑ͕औΓ͏Δ஋ͷ ૯૊߹ͤͰِΫϥεΛ ࡞ͬͯଟ෼ྨͰ͖Δ

   • ϝϦοτͱͯ͠ʮϥϕϧؒͷ૬ؔʯΛߟ͑ͯ෼ྨ͢Δ ͜ͱ͕Ͱ͖Δ • ʮTQBNͦ͏
   ༏ઌ౓͕ߴͦ͏ʯͷϝʔϧ͸Ͱ͖Δ͚ͩ ൃੜ͠ͳ͍Α͏ʹ͍ͨ͠

9. 
   &OTFNCMF
   -FBSOJOH

10. 10 / N Ξϯαϯϒϧֶश UMES • ,BHHMFͷίϯϖͰΑ্͘ҐʹೖΔΞϧΰϦζϜ • ऑֶशثΛෳ਺࢖ͬͯ૊Έ߹ΘͤΔ •

    ൚ԽೳྗΛ্͛Δ アンサンブル Bagging Boosting Random Forest

11. 11 / N Ξϯαϯϒϧͷख๏ • ϒʔεςΟϯά • ΦϦδφϧͷσʔλΛ༻͍ͯऑֶशثΛ࡞Δ • ͦͷޙɺ܁Γฦ͠ʮલϞσϧͷޡࠩΛमਖ਼͢ΔʯΑ͏ʹ

    ৽͍͠ϞσϧΛߏங͢Δ • όΪϯά • ݩͷσʔλ͔ΒʮίϐʔʯΛϥϯμϜʹ࡞੒͠ খ͞ͳऑֶशثΛେྔʹ࡞ͬͯҙݟΛ૊Έ߹ΘͤΔ • ༗໊ͳ΋ͷ͕ϥϯμϜϑΥϨετ

12. 12 / N WBOJMMB
    CBHHJOH • ݩͷֶशσʔλ͔ΒϒʔτετϥοϓͰऔΓग़͠ ݸͷܾఆ໦Λߏங͢Δ ೖྗxʹରͯ͠ݸͷग़ྗͷฏۉΛऔΔ 学習全データ !

    " # ブートストラップ 重複許してランダムに データを取り出す

13. 13 / N ϥϯμϜϑΥϨετ • ઌఔͷWBOJMMB
    CBHHJOHʹҰ෦मਖ਼ΛՃ͑ͨϞσϧ • ֤ܾఆ໦Ͱ෼ׂج४ͷಛ௃ྔΛϥϯμϜʹݸʹߜΔ ! "

    # 元特徴量

14. 14 / N ͳͥಛ௃ྔΛߜΔͷʁ • ͳͥͰ͠ΐ͏͔

15. 15 / N ͳͥಛ௃ྔΛߜΔͷʁ • ܾఆ໦ಉ͕࢜૬ؔ෇͍ͯ͠·͏ • ऑֶशثΛෳ਺࡞Δҙຯ͕ͳ͍ • ͋Δಛ௃ྔʹґଘͯ͠͠·͏Մೳੑ͕͋Δ

    • ਓؒͷίϛϡχςΟʹ౳͍͠ • ͋Δࢥ૝ʹภͬͨਓ͕ؒू·Δͱ໰୊͕ൃੜ͢Δ • ձࣾ΋ՄೳͳݶΓʮ͍Ζ͍ΖͳλΠϓʯ͕ू·ͬͨ΄͏͕ ੒ޭ͢ΔͱݴΘΕ͍ͯΔ

16. 16 / N 3'ͷϝϦοτ • ϥϯμϜϑΥϨετ͸ΞϯαϯϒϧֶशͰ ࠷΋޿͘༻͍ΒΕΔ • ࠷ऴϞσϧͷ෼ࢄ͕খ͘͞ͳΔ •

    ෼ࢄ͕খ͍͞ͱ͍͏͜ͱ͸ʮաֶशʯ͍ͯ͠ͳ͍ • ग़ྗ஋͕͹Β͔ͭͳ͍

17. 17 / N (SBEJFOU
    #PPTUJOH • (SBEJFOU
    #PPTUJOH ޯ഑ϒʔεςΟϯά • ऑֶशثΛ܁Γฦ͠࡞੒ͯ͠ લϞσϧͷޡࠩΛগͣͭ͠ݮΒ͍ͯ͘͠

    • ·ͣ͸ճؼ໰୊ʢ࣮਺༧ଌʣʹ͍ͭͯߟ͑Δ

18. 18 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ

19. 19 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ 新しいラベル%

    % を作る residual(残余誤差)と呼ばれる

20. 20 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    この時点で新全体モデル が構築できる

21. 21 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    新たに誤差を作成する $ のみのときより誤差が 減っている

22. 22 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    "

23. 23 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ !

    " 誤差を直接修正していく

24. 24 / N ޯ഑ϒʔεςΟϯάʁ • ͳͥʮޯ഑ϒʔεςΟϯάʯ͸ʮޯ഑ϒʔεςΟϯ άʯͳͷ͔ʁ • ͜Ε·ͰͷճؼϞσϧͰ͸ඍ෼ʹΑΓʮޯ഑ʯΛٻΊ ͯҠಈ͍ͯͨ͠

    • ޯ഑ϒʔεςΟϯάͰ͸௚઀ʮ࢒ࠩޡࠩʯͰҠಈ͢Δ • ম͖ͳ·͠ͱ͔ 140ͬΆ͍

25. 25 / N (#
    GPS
    $MBTTJGJDBUJPO • ෼ྨ໰୊Ͱͷޯ഑ϒʔεςΟϯά CJOBSZ • ݸͷܾఆ໦ •

    ΞϯαϯϒϧֶशʹΑΔ༧ଌ • ֤ܾఆ໦ͷ༧ଌΛ߹ܭͯ͠γάϞΠυͰ< >ͷ֬཰ͱ͢Δ • ໬౓$ Λ࠷େԽ͢Δ MPH

26. 26 / N ֶशΞϧΰϦζϜ • = & = ' ()'

    , = ( * ∑+ + ͱॳظԽ͢Δ • ֤ΠςϨʔγϣϯ ݸ໨ͷܾఆ໦ߏங • ݸ໨ͷσʔλͷޯ഑Λܭࢉ͢Δ • ! Λ༻͍ͯσʔληοτΛߋ৽͢Δ • ৽͍ܾ͠ఆ໦% Λߏங͢Δ • ߋ৽εςοϓ% Λܭࢉ͢Δ • ݸ໨ͷܾఆ໦ͱશମϞσϧΛߏங͢Δ

27. 27 / N ϝϦοτ σϝϦοτ • ޯ഑ϒʔεςΟϯά͸ਫ਼౓ͷ໘ͰϥϯμϜϑΥϨετ ʹൺ΂ͯलͰ͍ͯΔ • ͨͩ͠ɺஞ࣍ॲཧͳͨΊ܇࿅ॲཧ͕஗͍

28. 3//ͷ3FWJFX

29. 29 / N 3// • ʮ಺෦هԱʯΛ࣋ͭ͜ͱͰ࿈ଓσʔλΛॲཧͰ͖Δ • ࠨଆͱӈଆ͸ʮಉ͡ʯ ӈଆ͸ʮ࣌ܥྻͰ෼͔Γ΍͘͢ͳΔΑ͏ʹʯల։͚ͨͩ͠ •

    -45.΍HBUFE
    3//Ͱԕ͍هԱ΋ࢀরͰ͖ΔΑ͏ʹ ͳͬͨ

30. 30 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^ σʔληοτͷ̍σʔλ TJ[F

31. 31 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^

32. 32 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^

33. 33 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^

34. 34 / N #BH
    0G
    8PSET • ࣮ࡍ໰୊͜ͷʮ5IJTʯͬͯͲ͏ೖ͍ͬͯΔͷʁ • ͦͷ··ೖΒͳ͘ͳ͍ʁ • ਺஋ϕΫτϧʹม׵͢Δ

    • ྫ͑͹༗໊ͳ୯ޠ਺࣍ݩʹݻఆ͢Δ • ࠷ۙ͸෼ࢄදݱ 8PSE7FD

35. 35 / N ಈ࡞ྫ #P8 • 5IJT
    JT
    B
    \\^^

36. 
    -FBSOJOH
    UP
    -BCMF 4FRVFODFT

37. 37 / N 4FRVFODF • 4FRVFODF
    γʔέϯε ͸ඇৗʹॏཁͳσʔλ • ࿩͠ݴ༿

    • Իָ • ϏσΦ • 4FRVFODF
    MBCFMJOH • γʔέϯεͷʮ֤ཁૉ͝ͱʹ֤ϥϕϧʯΛׂΓ౰ͯΔ໰୊ • ಛ௃ϕΫτϧू߹ ϥϕϧϕΫτϧू߹ • ! = [x& ' , … , x! ()!*+!)>͸ݸ໨ͷσʔλϕΫτϧ • ! ΋ಉ༷ʹݸ໨ͷσʔλ

38. 38 / N $POEJUPOBM 3BOEPN
    'JFME • γʔέϯεϥϕϦϯά͸3//͚ͩͰͳ͘ ৚݅෇͖֬཰৔ $3' ͱ͍͏Ϟσϧ΋͋Δ

    ಛ௃ϕΫτϧ͕ଟ͘ͷ৘ใྔΛ͍࣋ͬͯΔͱ͖ʹྑ͍ • ϕΫτϧͷಛ௃ྔΛઐ໳Ո͕ઃఆ͢Δ ೉͍͠ • ʮϩδεςΟοΫճؼʯͷΞϧΰϦζϜΛγʔέϯε ʹҰൠԽͨ͠΋ͷ • ૒ํ޲HBUFE 3//ΑΓ΋ྑ͍ਫ਼౓Λग़͢͜ͱ͕͋Δ • ͨͩ͠ɺ$3'ͷֶश͸ඇৗʹ஗͍

39.  4FR4FR
    -FBSOJOH https://qiita.com/halhorn/items/646d323ac45 7715866d4

40. 40 / N TFRTFR • TFRTFR͸TFRVFODF
    MBCFMJOH
    QSPCMFNͷҰൠԽ +, + ͷ௕͕͞ՄมʹͰ͖Δ •

    ຋༁ͳͲଟ͘ͷࣗવݴޠॲཧͰ༻͍ΒΕΔ • ʮೖྗ͞ΕΔϕΫτϧΛղऍ͢ΔʯΤϯίʔμʔ ʮղऍ͞ΕͨϕΫτϧ͔Βग़ྗϕΫτϧΛੜ੒͢Δʯ σίʔμʔ ͷ͔̎ͭΒͳΔ

41. 41 / N TFRTFR
    ΞʔΩςΫνϟ • Τϯίʔμʔ • 3//΍$//ͷΑ͏ͳΞʔΩςΫνϟ • ೖྗ͞ΕͨϕΫτϧΛʮղऍʯ͢ΔϕΫτϧ

    ʮUIPVHIU
    WFDUPSʯΛੜ੒ͯ͠σίʔμʔʹ • σίʔμʔ • Τϯίʔμʔ͔ΒUIPVHIU
    WFDUPSΛड͚औͬͯ ࣮ࡍʹγʔέϯεΛੜ੒͢Δ

42. 42 / N TFRTFR
    Τϯίʔμʔ

43. 43 / N TFRTFR
    Τϯίʔμʔ

44. 44 / N TFRTFR
    Τϯίʔμʔ

45. 45 / N TFRTFR
    Τϯίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

46. 46 / N TFRTFR
    σίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

47. 47 / N TFRTFR
    σίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

48. 48 / N TFRTFR
    σίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

49. 49 / N TFRTFR
    ֶश • ΤϯίʔμʔͱσίʔμʔΛಉ࣌ʹ ܇࿅σʔλΛ༻ֶ͍ͯश͢Δ ޡࠩ͸σίʔμʔଆ͔ΒΤϯίʔμʔଆ΁ٯ఻ ೻͞ΕΔ

50. 50 / N "UUFOUJPO • "UUFOUJPO͸ TFRTFR΍$//ͳͲͰซ༻ͯ͠ ༻͍ΒΕΔΞʔΩςΫνϟ • ʮΤϯίʔμʔଆͷͲͷ෦෼ʹண໨͢Δ͔ʁʯΛ

    "UUFOUJPO͸σίʔμʔଆʹڭ͑Δ

51. 51 / N TFRTFRͷܽ఺ • TFRTFRͰ͸ʮΤϯίʔμʔʯͰͷ࠷ޙͷग़ྗʹ͓͚ ΔʮӅΕϕΫτϧͷΈʯΛσίʔμʔʹ౉͢ • ͲͷೖྗϕΫτϧʹ஫໨͢΂͖͔෼͔Βͳ͍ •

    ৘ใྔ͕ൈ͚མͪͯ͠·͏

52. 52 / N Ξςϯγϣϯྫ • σίʔμʔ͸ ग़ྗγʔέϯεੜ੒࣌ʹ "UUFOUJPOػߏ͔ΒϕΫτϧΛऔΓग़ͯ͠ ʮͲͷೖྗʹண໨͢Δ͔ʁʯΛܾΊΔ

53. 53 / N Ξςϯγϣϯྫ ը૾ྫ