アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits

分析基盤トーク #1
https://daft.connpass.com/event/93036/

Transcript

1. ΞοτϗʔϜͳ
 ෼ੳج൫ͷ࡞Γํ BZFNPT
2. ࣗݾ঺հ  છ୩
   ༔Ұ࿠
   <:VJDIJSP
   4PNFZB>
    ౦ژ޻ۀେֶେֶӃ
   ܭࢉ޻ֶम࢜
    ΫοΫύουגࣜձࣾ
   ݚڀ։ൃ෦
 ϦαʔνΤϯδχΞ
   ೥݄d
    ػցֶशج൫
   Ϩγϐσʔλͷ෼ੳ౳ UXJUUFSDPN!BZFNPT@Z
   HJUIVCDPNBZFNPT
   IUUQTXXXBZFNPTNF
3. ΫοΫύουݚڀ։ൃ෦  ೥݄ʹൃ଍
    ౰࣌͸໊ͷϝϯόʔ
    ೥݄ݱࡏ͸ࠃ಺ʹ໊
   
   ւ֎ʹ໊
4. ΫοΫύουͱػցֶश  .ZϑΥϧμ ͓ؾʹೖΓػೳ ಺ͷϨγϐΛࣗಈΧςΰϦ෼ྨ
    ʮྉཧ͖Ζ͘ʯεϚʔτϑΥϯ಺ͷྉཧࣸਅΛΧϨϯμʔܗࣜ ͰৼΓฦΓ
    ࡐྉ໊ͷਖ਼نԽ
    ౳ʑ
    ৄ͘͠͸
   
   IUUQTUFDIMJGFDPPLQBEDPN
5. BHFOEB  ΫοΫύουͷ෼ੳج൫ͷ঺հ
    ෼ੳج൫ͷ͜Ε͔Β
6. ج൫঺հͦͷ
   ;PPFZ
8. ෼ੳͱ࣮ݧΛ֤͕ࣗࣗ༝ʹߦ͏ͨΊͷ࠷௿ݶͷج൫
9. ج൫঺հͦͷ̍
   ;PPFZ  ܭࢉػ؀ڥߏங༻$IBU
   #PU
    ܭࢉػ؀ڥͷ࡞੒ʗ্ཱͪ͛ʗఀࢭʗ࡟আ
    ΞΠυϧঢ়ଶͷܭࢉػΛࣗಈఀࢭ
11.  $6%"
    DV%//
     $6%"
    DV%//
     %FFQ
    -FBSOJOH
    ".*
    +BO
 FUD 0VUHPJOH
    8FCIPPLT TMBDL@VJE
    6
    DPNNBOE
    DSFBUF
    XPSLCFODI
     MBNCEB*OWPLF  71$
    4VCOFU
    /BNFλά౳
 ؀ڥಛ༗ͷઃఆ΋͜͜Ͱ΍Δ
     ΠϯελϯεʹATMBDL@VJEAΛ
 λά෇͚ͯ͠ॴ༗ऀΛ؅ཧ͢Δ DSFBUF
    XPSLCFODI
     ;PPFZ
12. ATTI
    BZFNPTXPSLCFODIEOTDPNA ;PPFZ *ODPNJOH
    8FCIPPLT TTI
13. ;PPFZ 4UPQ  ΞΠυϧͳΠϯελϯεΛࣗಈఀࢭ
14. ج൫঺հͦͷ̍
    ;PPFZ  ಺੡ͷԾ૝*NBHF
    
    %FFQ
    -FBSOJOH
    ".*
    
    Λར༻Մೳ
     Πϯελϯε࡞੒ͷೖΓޱΛҰຊԽ
     ωοτϫʔΫɺηΩϡϦςΟपΓͷࡉ͔͍ઃఆΛٵऩ
 ར༻ଆ͸*NBHFΛ൪߸ͰબͿ͚ͩ
     ࣾ಺ΠϯϑϥͷมԽʹରͯ͠͸πʔϧͷΞοϓσʔτͰରԠ
     ւ֎ͷϝϯόʔ΋ར༻ 
    IUUQTBXTBNB[PODPNKQNBDIJOFMFBSOJOHBNJT
15. ج൫঺հͦͷ̍
    ;PPFZ  ֤͕ࣗSPPUΛऔΕΔΠϯελϯεΛ෷͍ग़͢
     গʑલ࣌୅తʁ
     ॊೈੑ͸ߴ͘ɺ࣮ݧஈ֊ͷ؀ڥͱͯ͠͸࢖͍৺஍͕Α͍
     ࣗಈఀࢭ΋͋ΔͷͰ֤ࣗ҆৺ͯ͠ඞཁͳ্ཱ͚ͩͪ͛ΒΕΔ
     ʮ࣮ݧʯΛؚΊαϙʔτ͢Δڞ௨ج൫Λ࣋ͨͳ͍ͷͰ
 ʮ࣮ݧʯ
    
    ʮຊ൪ʯͷ1PSUBCJMJUZ͸ผ్ิڧ͢Δඞཁ͕͋Δ
16. ج൫঺հͦͷ
    σʔλج൫
18. ͍ΘΏΔ%8)
    
    42-ϕʔεͷ&5-ج൫
19. σʔλج൫  ͜Ε͸ओʹผνʔϜ σʔλج൫άϧʔϓ ʹΑΔ؅ཧ
     "NB[PO
    3FETIJGUʹΑΔ%8)ߏங
     .Z42-
    
    3FETIJGU΁ͷΠϯϙʔτδϣϒΛίʔυ؅ཧ
     ৄ͘͠͸
    
    IUUQTUFDIMJGFDPPLQBEDPNFOUSZ 
20. σʔλج൫ͷར༻ঢ়گ  %8)͕ਆ
     &5-
     ࣮ݧͷ౓ʹ֤͕ࣗ౎౓ߦ͍ɺεΫϦϓτԽ͢Δࣄ͕ଟ͍
     ڞ௨&5-ج൫ͷར༻ɺதؒσʔλͷڞ༗ͳͲʹର͢Δχʔζ ͸ͦ͜·Ͱେ͖͘ͳ͍ ݱঢ়
21. ج൫঺հͦͷ
    ίʔυ؅ཧ
22. ج൫঺հͦͷ
    ίʔυ؅ཧ  ج൫ʁ
     DPPLJFDVUUFSEBUBTDJFODF
    
    ࣾ಺GPSL Λར༻
     ϓϩδΣΫτߏ੒ͷςϯϓϨʔτ
     ATSDEBUBA
    ATSDNPEFMA
    σʔλੜ੒ɺֶशεΫϦϓτ
     AEBUBA
    ANPEFMTA
    σʔλɺϞσϧ
     HJUʹ͸DIFDLJOͤͣɺ4ͱTZOD͢Δ
    ANBLF
    TZOD@EBUB@UP@TA
23. ج൫঺հͦͷ
    ίʔυ؅ཧ  IUUQTHJUIVCDPNEPDLFSTDJFODFDPPLJFDVUUFSEPDLFS TDJFODF
     DPPLJFDVUUFSEBUBTDJFODFΛࢀߟʹͨ͠ςϯϓϨʔτ
     EPDLFSΛར༻͠ɺϓϩδΣΫτͷ࣮ݱੑΛ͞ΒʹߴΊΔ
     OPUFCPPLͷ্ཱͪ͛
    
    1PSU
    GPSXBSE౳ߦ͏UBSHFU΋
24. ج൫·ͱΊ  ݱঢ়͸౷ҰԽ͞ΕͨػցֶशϓϥοτϑΥʔϜΛར༻͍ͯ͠ͳ͍
     ࣗ੡πʔϧͷ૊Έ߹Θͤ %8)Ͱ͓͓ΉͶճ͍ͬͯΔ
     ج൫ͦͷ΋ͷͷ؅ཧίετͳͲߟྀͭͭ͠ਐΊͨ݁Ռ
 ݱঢ়͸ ൺֱతΧδϡΞϧͳӡ༻ͱͳ͍ͬͯΔ
25. ෼ੳج൫ͷࠓޙ
    ʙ
    ΞοτϗʔϜͳ෼ੳج൫͔Βେ౷Ұج൫΁ͷಓͷΓ
    ʙ
    ͔͜͜Βߟ࡯
26. ෼ੳج൫ͷࠜຊత՝୊  (FOFSJD
    BOE
    &YUFOTJCMF
27. ෼ੳج൫ͷࠜຊత՝୊ 5'9
    "
    5FOTPS'MPX#BTFE
    1SPEVDUJPO4DBMF
    .BDIJOF
    -FBSOJOH
    1MBUGPSN
    
    ΑΓ l5IF
    NBDIJOF
    MFBSOJOH
    QMBUGPSN
    NVTU
    CF
    HFOFSJD
    FOPVHI
    UP
    IBOEMF
    UIF
    NPTU
    DPNNPO
    TFU
    PG
    MFBSOJOH
    UBTLT
    BT
    XFMM
    BT
    CF
    FYUFOTJCMF
    UP
    TVQQPSU
    POFP⒎
    BUZQJDBM
    VTFDBTFTz ҙ༁
    ػցֶशج൫͸แׅత͔֦ͭுՄೳͰ͋Δ΂͖
28. (FOFSJD
    BOE
    &YUFOTJWF  ʰ࣮ݧ͔Βຊ൪ӡ༻·Ͱɺ౷߹తͳ؀ڥͰػցֶशʱ
 ͠Α͏ͱ͍ͯ͠Δ
     (FOFSJD
    ͳΔ΂͘ଟ͘ͷϢʔεέʔεʹ ಁաతʹ ରԠ͍ͨ͠
     ྑ͍ந৅Խ
    ͱ
    "1*֦ॆͷؤுΓ
    
    ͖ͬͱେม
     &YUFOTJWF
    ྫ֎తͳέʔεʹରͯ͠΋ গͳ͍࿑ྗͰ ରԠ͍ͨ͠
     ೚ҙͷίʔυΛࠩ͠ࠐΊΔ৔ॴΛ༻ҙ͢Δɺͱ͔ʜ
29. (FOFSJD
    BOE
    &YUFOTJWF  αϙʔτ͢Δ໰୊ͷόϦΤʔγϣϯͱͷઓ͍͸ଓ͘
     ෼ྨʗճؼ
    ͘Β͍ͷந৅Խ͔Β࿙Εͯ͠·͏෦෼͕ແࢹͰ͖ͳ͍ ྔʹͳ͍ͬͯΔ ཁग़య
     ج൫ͱ͍͏ܕʹ͸ΊΔ͜ͱͰࣦΘΕΔॊೈੑͷ૯ྔΛ༧ଌ͢Δ͜ ͱ͸ग़དྷͳ͍ ཁग़య
30. ߟ࡯  ج൫͸େมͳ͸ͣͳͷͰ ࡞Δਓͱ࢖͏ਓ͕૿͑ͯίϛϡχςΟ͕੒௕ ͢Δඞཁ͕͋Δ
     ҰํɺνʔϜͷεέʔϧʹ࠷దԽ͞ΕͨπʔϧΛར༻ʗࣗ੡ͯ͠ࡁ·ͤ Δͱ͍͏બ୒ࢶ΋͋Δ
     ͦͷΑ͏ͳݱ৔͔Β͸౷Ұ͞Εͨ෼ੳج൫ʹΑͬͯ΋ͨΒ͞ΕΔϝϦο τ͕Πϝʔδ͠ʹ͍͘
31. ߟ࡯  ͷͰɺ લड़ͨ͠Α͏ͳ՝୊Λ্๊͑ͨͰ ෼ੳج൫͕ଧͪग़͢ϝϦοτ͸Կ͔ɺΛߟ͑Δ ͷ͕େࣄͩͱࢥ͏
     ػցֶशΛج൫ͳ͠Ͱεέʔϧͤ͞Δͷ͕ ෆՄೳʹۙ͘ ೉͍͔͠Βɺ
 ಋೖʹ൐͏ίετ΍՝୊Λड͚ೖΕͯͰ΋ج൫ʹैͬͯ։ൃ͢Δͱ͍͏બ୒Λ͢΂͖ɺ ͳͷ͔
     εέʔϧ͕೉͍͠ͱ͍͏࣮ײΛ ۀքશମ͕ ࠓͷ࣌఺Ͱ ಘ͍ͯΔͷ͔
     ڞ௨ج൫Խ͢Δ͜ͱʹΑͬͯಘΒΕΔߴڃͳػೳ "#ςετɺ؂ࢹͳͲ 
 ͷັྗΛԡ͠ग़͢ͷ͔
     ౳ʑ
32. ߟ࡯  ʮσʔλͷྲྀΕ͕͋ΓɺγεςϜ͕σʔλͱڞʹ੒௕͢ΔΑ͏ͳγε ςϜʯ·Ͱࢹ໺Λ޿͛Δͱʜ
     ػցֶशΛ༻͍ͳ͍ ݕࡧΤϯδϯ΋ٞ࿦ͷର৅
 ͱͳΔͷ͕ඞવ
     ݕࡧΤϯδϯࣗମ͸ಠࣗਐԽͯ͠ΔͷͰ৽ͨͳ
 ιϦϡʔγϣϯΛଧͪग़͢༨஍͸ͳ͍͔΋͠Εͳ͍͕ʜ
     ͱ͸͍͑χϡʔϥϧݕࡧ౳૊Έ߹ΘͤͨγεςϜʹର͢Δ
 χʔζ͸ࠓޙ૿͍͑ͯ͘͸ͣ
     ͜͜·Ͱ&YUFOTJCMFʹͳΕΔ͔ ͳΔ΂͖͔ IUUQTXXXBNB[PODPKQ#VJMEJOH*OUFMMJHFOU4ZTUFNT-FBSOJOH&OHJOFFSJOHFCPPLEQ##82)3
33. ·ͱΊ  ΫοΫύουݚڀ։ൃ෦͕ར༻͍ͯ͠Δ෼ੳج൫Λ঺հ
     ෦಺ʹج൫୲౰͕͍ͯɺϢʔεέʔεʹরΒ͠߹Θͤͳ͕Βۀ຿վળ
     ݱঢ়͸ࣗ੡πʔϧͷ૊Έ߹Θͤ %8)Ͱ͓͓ΉͶຬ଍
     ෼ੳج൫ͷ͜Ε͔Β
     ݱ৔ͱͯ͠͸ͨ͘͞ΜͷϢʔεέʔεΛൃ৴͍ͯ͘͠
     ػցֶशͷ๊͑Δ՝୊Λ۩ମԽ͠ɺϝοηʔδͱͯ͠఻͍͑ͯ͘ͷ͕
 ॏཁͰେมͦ͏