The Hundred Machine Learning 7.4-7.7

Transcript

1. ྠߨ 5IF
   
   .- <
   r > HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog ganariya ganariya
2. 2 / N όΠΞεͱ෼ࢄ • όΠΞε • ෼ࢄ 予測値
3. 
   .VMUJ-BCFM
   $MBTTJGJDBUJPO
4. 4 / N .VMUJ
   $MBTT
   WT
   .VMUJ
   -BCFM 多クラス モデル (決定⽊ softmax) ねこ うさぎ いぬ 多ラベル モデル (決定⽊ binary cross entropy) ミシン ⾞ 警察官 タキシード 複数出⼒
5. 5 / N ଟϥϕϧ෼ྨ ֶशΞϧΰϦζϜ • σʔληοτΛʮը૾ϥϕϧʯ͕ҰରҰʹͳΔΑ͏ʹ ૢ࡞ͯ͠ɺ৽͍͠σʔληοτʹ͢Δ • ৽͍͠σʔληοτΛ࢖ͬͯʮଟΫϥεϞσϧʯΛֶ श͢Δ ミシン ⾞ 警察官 タキシード
6. 6 / N ଟϥϕϧ෼ྨ Ϟσϧͱ༧ଌ • ࢖༻Ͱ͖ΔϞσϧ͸ʮଟΫϥε෼ྨʯ • ܾఆ໦ • ϩδεςΟοΫճؼ • /FVSBM
   /FUXPSL • ग़ྗ஋͸Ϋϥε਺࣍ݩͷϕΫτϧͰ <
   >ͷ֬཰Ͱ͋Δ NN ミシン ⾞ 警察官 タキシード ⽝ sigmoid
7. 7 / N ଟϥϕϧ෼ྨ // • //ʹ͓͚Δଟϥϕϧ෼ྨ໰୊ • ֤VOJUͷίετؔ਺
   CJOBSZ
   DSPTT
   FOUSPQZ • ∈ 1, … , , ∈ 1, … , ͸ϥϕϧ Ϋϥε ͷ਺ • !,# ͸൪໨ͷσʔληοτͷ࣍ݩ໨ͷϥϕϧͷ֬཰ • ֬཰తޯ഑߱Լ๏ͱ૬ੑ͕ྑ͍ • ࠷খԽج४͸ BWH FBDI
   VOJU
8. 8 / N ଟϥϕϧ෼ྨ 'BLF$MBTT • ϥϕϧ਺͕গͳ͍৔߹ ֤ଐੑ͕औΓ͏Δ஋ͷ ૯૊߹ͤͰِΫϥεΛ ࡞ͬͯଟ෼ྨͰ͖Δ • ϝϦοτͱͯ͠ʮϥϕϧؒͷ૬ؔʯΛߟ͑ͯ෼ྨ͢Δ ͜ͱ͕Ͱ͖Δ • ʮTQBNͦ͏
   ༏ઌ౓͕ߴͦ͏ʯͷϝʔϧ͸Ͱ͖Δ͚ͩ ൃੜ͠ͳ͍Α͏ʹ͍ͨ͠
9. 
   &OTFNCMF
   -FBSOJOH
10. 10 / N Ξϯαϯϒϧֶश UMES • ,BHHMFͷίϯϖͰΑ্͘ҐʹೖΔΞϧΰϦζϜ • ऑֶशثΛෳ਺࢖ͬͯ૊Έ߹ΘͤΔ • ൚ԽೳྗΛ্͛Δ アンサンブル Bagging Boosting Random Forest
11. 11 / N Ξϯαϯϒϧͷख๏ • ϒʔεςΟϯά • ΦϦδφϧͷσʔλΛ༻͍ͯऑֶशثΛ࡞Δ • ͦͷޙɺ܁Γฦ͠ʮલϞσϧͷޡࠩΛमਖ਼͢ΔʯΑ͏ʹ ৽͍͠ϞσϧΛߏங͢Δ • όΪϯά • ݩͷσʔλ͔ΒʮίϐʔʯΛϥϯμϜʹ࡞੒͠ খ͞ͳऑֶशثΛେྔʹ࡞ͬͯҙݟΛ૊Έ߹ΘͤΔ • ༗໊ͳ΋ͷ͕ϥϯμϜϑΥϨετ
12. 12 / N WBOJMMB
    CBHHJOH • ݩͷֶशσʔλ͔ΒϒʔτετϥοϓͰऔΓग़͠ ݸͷܾఆ໦Λߏங͢Δ ೖྗxʹରͯ͠ݸͷग़ྗͷฏۉΛऔΔ 学習全データ ! " # ブートストラップ 重複許してランダムに データを取り出す
13. 13 / N ϥϯμϜϑΥϨετ • ઌఔͷWBOJMMB
    CBHHJOHʹҰ෦मਖ਼ΛՃ͑ͨϞσϧ • ֤ܾఆ໦Ͱ෼ׂج४ͷಛ௃ྔΛϥϯμϜʹݸʹߜΔ ! " # 元特徴量
14. 14 / N ͳͥಛ௃ྔΛߜΔͷʁ • ͳͥͰ͠ΐ͏͔
15. 15 / N ͳͥಛ௃ྔΛߜΔͷʁ • ܾఆ໦ಉ͕࢜૬ؔ෇͍ͯ͠·͏ • ऑֶशثΛෳ਺࡞Δҙຯ͕ͳ͍ • ͋Δಛ௃ྔʹґଘͯ͠͠·͏Մೳੑ͕͋Δ • ਓؒͷίϛϡχςΟʹ౳͍͠ • ͋Δࢥ૝ʹภͬͨਓ͕ؒू·Δͱ໰୊͕ൃੜ͢Δ • ձࣾ΋ՄೳͳݶΓʮ͍Ζ͍ΖͳλΠϓʯ͕ू·ͬͨ΄͏͕ ੒ޭ͢ΔͱݴΘΕ͍ͯΔ
16. 16 / N 3'ͷϝϦοτ • ϥϯμϜϑΥϨετ͸ΞϯαϯϒϧֶशͰ ࠷΋޿͘༻͍ΒΕΔ • ࠷ऴϞσϧͷ෼ࢄ͕খ͘͞ͳΔ • ෼ࢄ͕খ͍͞ͱ͍͏͜ͱ͸ʮաֶशʯ͍ͯ͠ͳ͍ • ग़ྗ஋͕͹Β͔ͭͳ͍
17. 17 / N (SBEJFOU
    #PPTUJOH • (SBEJFOU
    #PPTUJOH ޯ഑ϒʔεςΟϯά • ऑֶशثΛ܁Γฦ͠࡞੒ͯ͠ લϞσϧͷޡࠩΛগͣͭ͠ݮΒ͍ͯ͘͠ • ·ͣ͸ճؼ໰୊ʢ࣮਺༧ଌʣʹ͍ͭͯߟ͑Δ
18. 18 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ
19. 19 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ 新しいラベル% % を作る residual(残余誤差)と呼ばれる
20. 20 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! この時点で新全体モデル が構築できる
21. 21 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! 新たに誤差を作成する $ のみのときより誤差が 減っている
22. 22 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! "
23. 23 / N (SBEJFOU
    #PPTUJOH
    ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! " 誤差を直接修正していく
24. 24 / N ޯ഑ϒʔεςΟϯάʁ • ͳͥʮޯ഑ϒʔεςΟϯάʯ͸ʮޯ഑ϒʔεςΟϯ άʯͳͷ͔ʁ • ͜Ε·ͰͷճؼϞσϧͰ͸ඍ෼ʹΑΓʮޯ഑ʯΛٻΊ ͯҠಈ͍ͯͨ͠ • ޯ഑ϒʔεςΟϯάͰ͸௚઀ʮ࢒ࠩޡࠩʯͰҠಈ͢Δ • ম͖ͳ·͠ͱ͔ 140ͬΆ͍
25. 25 / N (#
    GPS
    $MBTTJGJDBUJPO • ෼ྨ໰୊Ͱͷޯ഑ϒʔεςΟϯά CJOBSZ • ݸͷܾఆ໦ • ΞϯαϯϒϧֶशʹΑΔ༧ଌ • ֤ܾఆ໦ͷ༧ଌΛ߹ܭͯ͠γάϞΠυͰ< >ͷ֬཰ͱ͢Δ • ໬౓$ Λ࠷େԽ͢Δ MPH
26. 26 / N ֶशΞϧΰϦζϜ • = & = ' ()' , = ( * ∑+ + ͱॳظԽ͢Δ • ֤ΠςϨʔγϣϯ ݸ໨ͷܾఆ໦ߏங • ݸ໨ͷσʔλͷޯ഑Λܭࢉ͢Δ • ! Λ༻͍ͯσʔληοτΛߋ৽͢Δ • ৽͍ܾ͠ఆ໦% Λߏங͢Δ • ߋ৽εςοϓ% Λܭࢉ͢Δ • ݸ໨ͷܾఆ໦ͱશମϞσϧΛߏங͢Δ
27. 27 / N ϝϦοτ σϝϦοτ • ޯ഑ϒʔεςΟϯά͸ਫ਼౓ͷ໘ͰϥϯμϜϑΥϨετ ʹൺ΂ͯलͰ͍ͯΔ • ͨͩ͠ɺஞ࣍ॲཧͳͨΊ܇࿅ॲཧ͕஗͍
28. 3//ͷ3FWJFX
29. 29 / N 3// • ʮ಺෦هԱʯΛ࣋ͭ͜ͱͰ࿈ଓσʔλΛॲཧͰ͖Δ • ࠨଆͱӈଆ͸ʮಉ͡ʯ ӈଆ͸ʮ࣌ܥྻͰ෼͔Γ΍͘͢ͳΔΑ͏ʹʯల։͚ͨͩ͠ • -45.΍HBUFE
    3//Ͱԕ͍هԱ΋ࢀরͰ͖ΔΑ͏ʹ ͳͬͨ
30. 30 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^ σʔληοτͷ̍σʔλ TJ[F
31. 31 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^
32. 32 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^
33. 33 / N ಈ࡞ྫ • 5IJT
    JT
    B
    \\^^
34. 34 / N #BH
    0G
    8PSET • ࣮ࡍ໰୊͜ͷʮ5IJTʯͬͯͲ͏ೖ͍ͬͯΔͷʁ • ͦͷ··ೖΒͳ͘ͳ͍ʁ • ਺஋ϕΫτϧʹม׵͢Δ • ྫ͑͹༗໊ͳ୯ޠ਺࣍ݩʹݻఆ͢Δ • ࠷ۙ͸෼ࢄදݱ 8PSE7FD
35. 35 / N ಈ࡞ྫ #P8 • 5IJT
    JT
    B
    \\^^
36. 
    -FBSOJOH
    UP
    -BCMF 4FRVFODFT
37. 37 / N 4FRVFODF • 4FRVFODF
    γʔέϯε ͸ඇৗʹॏཁͳσʔλ • ࿩͠ݴ༿ • Իָ • ϏσΦ • 4FRVFODF
    MBCFMJOH • γʔέϯεͷʮ֤ཁૉ͝ͱʹ֤ϥϕϧʯΛׂΓ౰ͯΔ໰୊ • ಛ௃ϕΫτϧू߹ ϥϕϧϕΫτϧू߹ • ! = [x& ' , … , x! ()!*+!)>͸ݸ໨ͷσʔλϕΫτϧ • ! ΋ಉ༷ʹݸ໨ͷσʔλ
38. 38 / N $POEJUPOBM 3BOEPN
    'JFME • γʔέϯεϥϕϦϯά͸3//͚ͩͰͳ͘ ৚݅෇͖֬཰৔ $3' ͱ͍͏Ϟσϧ΋͋Δ ಛ௃ϕΫτϧ͕ଟ͘ͷ৘ใྔΛ͍࣋ͬͯΔͱ͖ʹྑ͍ • ϕΫτϧͷಛ௃ྔΛઐ໳Ո͕ઃఆ͢Δ ೉͍͠ • ʮϩδεςΟοΫճؼʯͷΞϧΰϦζϜΛγʔέϯε ʹҰൠԽͨ͠΋ͷ • ૒ํ޲HBUFE 3//ΑΓ΋ྑ͍ਫ਼౓Λग़͢͜ͱ͕͋Δ • ͨͩ͠ɺ$3'ͷֶश͸ඇৗʹ஗͍
39.  4FR4FR
    -FBSOJOH https://qiita.com/halhorn/items/646d323ac45 7715866d4
40. 40 / N TFRTFR • TFRTFR͸TFRVFODF
    MBCFMJOH
    QSPCMFNͷҰൠԽ +, + ͷ௕͕͞ՄมʹͰ͖Δ • ຋༁ͳͲଟ͘ͷࣗવݴޠॲཧͰ༻͍ΒΕΔ • ʮೖྗ͞ΕΔϕΫτϧΛղऍ͢ΔʯΤϯίʔμʔ ʮղऍ͞ΕͨϕΫτϧ͔Βग़ྗϕΫτϧΛੜ੒͢Δʯ σίʔμʔ ͷ͔̎ͭΒͳΔ
41. 41 / N TFRTFR
    ΞʔΩςΫνϟ • Τϯίʔμʔ • 3//΍$//ͷΑ͏ͳΞʔΩςΫνϟ • ೖྗ͞ΕͨϕΫτϧΛʮղऍʯ͢ΔϕΫτϧ ʮUIPVHIU
    WFDUPSʯΛੜ੒ͯ͠σίʔμʔʹ • σίʔμʔ • Τϯίʔμʔ͔ΒUIPVHIU
    WFDUPSΛड͚औͬͯ ࣮ࡍʹγʔέϯεΛੜ੒͢Δ
42. 42 / N TFRTFR
    Τϯίʔμʔ
43. 43 / N TFRTFR
    Τϯίʔμʔ
44. 44 / N TFRTFR
    Τϯίʔμʔ
45. 45 / N TFRTFR
    Τϯίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
46. 46 / N TFRTFR
    σίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
47. 47 / N TFRTFR
    σίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
48. 48 / N TFRTFR
    σίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
49. 49 / N TFRTFR
    ֶश • ΤϯίʔμʔͱσίʔμʔΛಉ࣌ʹ ܇࿅σʔλΛ༻ֶ͍ͯश͢Δ ޡࠩ͸σίʔμʔଆ͔ΒΤϯίʔμʔଆ΁ٯ఻ ೻͞ΕΔ
50. 50 / N "UUFOUJPO • "UUFOUJPO͸ TFRTFR΍$//ͳͲͰซ༻ͯ͠ ༻͍ΒΕΔΞʔΩςΫνϟ • ʮΤϯίʔμʔଆͷͲͷ෦෼ʹண໨͢Δ͔ʁʯΛ "UUFOUJPO͸σίʔμʔଆʹڭ͑Δ
51. 51 / N TFRTFRͷܽ఺ • TFRTFRͰ͸ʮΤϯίʔμʔʯͰͷ࠷ޙͷग़ྗʹ͓͚ ΔʮӅΕϕΫτϧͷΈʯΛσίʔμʔʹ౉͢ • ͲͷೖྗϕΫτϧʹ஫໨͢΂͖͔෼͔Βͳ͍ • ৘ใྔ͕ൈ͚མͪͯ͠·͏
52. 52 / N Ξςϯγϣϯྫ • σίʔμʔ͸ ग़ྗγʔέϯεੜ੒࣌ʹ "UUFOUJPOػߏ͔ΒϕΫτϧΛऔΓग़ͯ͠ ʮͲͷೖྗʹண໨͢Δ͔ʁʯΛܾΊΔ
53. 53 / N Ξςϯγϣϯྫ ը૾ྫ