機械学習基盤の本番運用とその取り組み / ML platform in production

Transcript

1. ػցֶशج൫ͷຊ൪ӡ༻ͱ
   ͦͷऔΓ૊Έ 1SFTFOUFE
   CZ
   ,PIFJ
   0UB
   !JOEVDUPS
   +VMZ
   5FDI
   'FTUB
   
2. ࣗݾ঺հ w ଠా
   ߤฏ
   !@JOEVDUPS@
   !JOEVDUPS
   w %PDLFS
   .FFUVQ
   5PLZP
   0SHBOJ[FS
   
   w *OGSBTUSVDUVSF
   &OHJOFFS
   .-0QT
   5FBN
   !
   ;0;0
   5FDIOPMPHJFT
   *OD
3. ;0;0508/
   ͷը૾ݕࡧػೳʹΈΔ ,VCFSOFUFT
   Λ࢖ͬͨػցֶशج൫ӡ༻ͷཪଆ $MPVE/BUJWF
   %BZT
   ,BOTBJ
     $PQZSJHIU
   ˜
   ;0;0
   5FDIOPMPHJFT
   *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ .-0QTνʔϜ ଠా ߤฏ
4. ;0;0508/
   ͷը૾ݕࡧػೳʹΈΔ ,VCFSOFUFT
   Λ࢖ͬͨػցֶशج൫ӡ༻ͷཪଆ $MPVE/BUJWF
   %BZT
   ,BOTBJ
     $PQZSJHIU
   ˜
   ;0;0
   5FDIOPMPHJFT
   *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ .-0QTνʔϜ ଠా ߤฏ ৄ͘͠͸4QFBLFSEFDLͷεϥΠυͰʂ
5. ࠓ೔ͷλʔήοτ w Πϯϑϥ%FW0QT43&తͳ͜ͱΛ΍͍ͬͯΔਓ
   w ػցֶशʹ͍ͭͯ͋·Γྑ͘෼͔͍ͬͯͳ͍ਓ ׬શʹཧղ͍ͯ͠Δਓ
   w ಥવৼΒΕΔṖͷλεΫʹରԠͰ͖Δ͔Θ͔Βͳ͍ਓ
6. ͋Δ೔͜Μͳ͜ͱΛݴΘΕΔͱ ߟ͑ͯΈ͍ͯͩ͘͞
7. ܦӦऀʮ͜Ε͔Β͸"*ͩʂʂʯ
8. "*ʁػցֶशʁͲ͏ҧ͏ͷʁ
9. ػցֶशͬͯͳʹʁʁ
10. ػցֶशʁʁ w 
    σʔλΛೖྗɺ͋Δ΂͖݁ՌΛग़ྗͱͯ͠
    w 
    ෳ਺ͷσʔλ͔Βڞ௨ͷϧʔϧ΍ಛ௃ɺ൑அج४Λநग़
    w 
    ໌ࣔతʹϓϩάϥϜϩδοΫΛॻ͔ͣʹ݁ՌΛग़ͨ͢Ίͷ࢓૊Έ
11. ػցֶशʁʁ w 
    σʔλΛೖྗɺ͋Δ΂͖݁ՌΛग़ྗͱͯ͠
    w 
    ෳ਺ͷσʔλ͔Βڞ௨ͷϧʔϧ΍ಛ௃ɺ൑அج४Λநग़
    w 
    ໌ࣔతʹϓϩάϥϜϩδοΫΛॻ͔ͣʹ݁ՌΛग़ͨ͢Ίͷ࢓૊Έ ϩδοΫͷந৅Խ
12. ͳͥػցֶश͕ٻΊΒΕΔͷ͔ w ϞόΠϧ΍Πϯλʔωοτ͕ීٴ͖ͬͨ͠ࠓɺ෺ࣄͷঢ়گ͸ٸܹʹมΘΔ
    w ͦͷมԽΛϓϩάϥϜͰද͢ͷ͸େม
    w *G΍GPSͰઃఆͨ͠ύϥϝʔλʔΛॻ͖׵͑Δ͚ͩͷվमΛՃ͑Δͷ͸
 ೉͍͠͠ɺޮՌଌఆ΋େมʢ͍ΘΏΔzਓ޻ແೳzͱ͍͏ݺ͹ΕΔ΍ͭʣ
    w ͜Ε·Ͱͷ܏޲͔Β࣍ͷ݁ՌΛ༧ଌ͢Δࣄ͕Ͱ͖Δശ͕͋Ε͹
 ຊ࣭తʹ͸αʔϏεͷϩδοΫ͸໰୊Ͱ͸ͳ͍͸ͣ
13. ͳͥػցֶश͕ٻΊΒΕΔͷ͔ w ϞόΠϧ΍Πϯλʔωοτ͕ීٴ͖ͬͨ͠ࠓɺ෺ࣄͷঢ়گ͸ٸܹʹมΘΔ
    w ͦͷมԽΛϓϩάϥϜͰද͢ͷ͸େม
    w *G΍GPSͰઃఆͨ͠ύϥϝʔλʔΛॻ͖׵͑Δ͚ͩͷվमΛՃ͑Δͷ͸
 ೉͍͠͠ɺޮՌଌఆ΋େมʢ͍ΘΏΔzਓ޻ແೳzͱ͍͏ݺ͹ΕΔ΍ͭʣ
    w ͜Ε·Ͱͷ܏޲͔Β࣍ͷ݁ՌΛ༧ଌ͢Δࣄ͕Ͱ͖Δശ͕͋Ε͹
 ຊ࣭తʹ͸αʔϏεͷϩδοΫ͸໰୊Ͱ͸ͳ͍͸ͣ ػցֶशʹΑͬͯಘΒΕͨϞσϧ ϒϥοΫϘοΫε Λ ೖΕସ͑Δ͚ͩͰΞϓϦέʔγϣϯ͕ੈͷதͷ
 χʔζʹରԠͰ͖ΔͷͰ͸ͳ͍͔ʂͱ͍͏ൃ૝
14. ػցֶशͷԠ༻ྫ w ݕࡧΤϯδϯͷϦίϝϯσʔγϣϯ
    w ؞΍޻৔ʹ͓͚Δෆྑ඼ͳͲͷҟৗݕ஌
    w Ի੠ೝࣝɺը૾ೝࣝ
    w גՁ༧ଌ
15. ػցֶशͷԠ༻ྫ w ݕࡧΤϯδϯͷϦίϝϯσʔγϣϯ
    w ؞΍޻৔ʹ͓͚Δෆྑ඼ͳͲͷҟৗݕ஌
    w Ի੠ೝࣝɺը૾ೝࣝ
    w גՁ༧ଌ ϦΞϧλΠϜͰมԽ͢Δ΋ͷ΍
 ਓؒͷखΛհ͢Δͱେมͳ΋ͷʹରͯ͠ಛʹ༗ޮ
16. ػցֶशͷར༻Πϝʔδ
17. ػցֶशͷར༻Πϝʔδ Ϟσϧ
18. ػցֶशͷར༻Πϝʔδ ֶश ਪ࿦ ਪ࿦Ϟσϧ
19. ֶशͱਪ࿦ w ֶश
    w σʔλΛҰఆͷنଇ ΞϧΰϦζϜ ʹैͬͯϞσϧʹม׵
    w σʔλιʔε͕ॏཁͳͷͰɺ೔ʑೖΕସΘΔ΋ͷ͸ఆৗతʹֶश͢Δ
    w ਪ࿦
    w ϞσϧΛ࢖ͬͯɺ͋Δσʔλ͕Ͳͷύλʔϯʹ࠷΋͍͔ۙΛ൑அ͢Δ
    w ਪ࿦ʹ࢖͏Ϟσϧͷσʔλ઱౓͕ॏཁ
20. ֶशͱਪ࿦ w ֶश
    w σʔλΛҰఆͷنଇ ΞϧΰϦζϜ ʹैͬͯϞσϧʹม׵
    w σʔλιʔε͕ॏཁͳͷͰɺ೔ʑೖΕସΘΔ΋ͷ͸ఆৗతʹֶश͢Δ
    w ਪ࿦
    w ϞσϧΛ࢖ͬͯɺ͋Δσʔλ͕Ͳͷύλʔϯʹ࠷΋͍͔ۙΛ൑அ͢Δ
    w ਪ࿦ʹ࢖͏Ϟσϧͷσʔλ઱౓͕ॏཁ 8FCʹ͸ͳ͍ػցֶशج൫ͷϙΠϯτ
 
 
    Ϟσϧ͕ػցֶशʹ͓͚Δ಄೴ ϒϥοΫϘοΫε
    
    ϞσϧͷೖΕସ͑ͱɺֶशස౓ͳͲͷఆ͕ٛॏཁ
21. Πϯϑϥج൫ͷ࿩
22. ྫ͑͹͜ΜͳΞϓϦ͕͋ͬͨͱͯ͠ 8FC "QQ %#
23. ΞϓϦʹػցֶशΛ࢖ͬͨ
 ػೳΛ૿΍͢͜ͱΛߟ͑ͯΈΔ
24. Πϝʔδ͸͜͏ 8FC "QQ %# ਪ࿦Ϟσϧ ਪ࿦"1*ͷ
 αʔϏϯά
25. Πϝʔδ͸͜͏ 8FC "QQ %# ਪ࿦Ϟσϧ ਪ࿦"1*ͷ
 αʔϏϯά ͜ΕͰ΋ಈ͘ʹ͸ಈ͚͘Ͳɾɾɾ
26. Πϝʔδ͸͜͏ 8FC "QQ %# ਪ࿦Ϟσϧ ਪ࿦"1*ͷ
 αʔϏϯά Ϟσϧͷߋ৽Ͳ͏͢Δͷʁ
 ΞϓϦͷߋ৽ͱύΠϓϥΠϯ෼͚Δͷʁ
    Πϯϑϥઃܭ͸୭͕͢Δͷʁ
27. ػցֶशʹؔΘΔਓͨͪ ౰ࣾൺ w Ϧαʔνϟʔ
    ˠ
    ΞϧΰϦζϜͱϞσϧධՁΛ୲౰
    w .-ΤϯδχΞ
28. ػցֶशʹؔΘΔਓͨͪ ౰ࣾൺ w Ϧαʔνϟʔ
    w .-ΤϯδχΞ
    ˠ
    ϞσϧΛ࢖ͬͨ"1*΍ΞϓϦͷϓϩτλΠϐϯάͳͲ
29. ػցֶशʹؔΘΔਓͨͪ ౰ࣾൺ w Ϧαʔνϟʔ
    w .-ΤϯδχΞ
    ˠ
    ϞσϧΛ࢖ͬͨ"1*΍ΞϓϦͷϓϩτλΠϐϯάͳͲ ࣗಈԽ͸Ͳͬͪͷ࢓ࣄʁ
    Πϯϑϥઃܭ͸ͩΕ͕΍Δʁ
    ύϑΥʔϚϯενϡʔχϯά͸ʁ
30. Two Big Problems Data Scientist Machine Learning Engineer vs
31. Ϟσϧ࡞੒ͱαʔϏϯάͷ
 ֞ࠜΛແͯ͘͠
 ࣮ӡ༻ʹ଱͑͏Δج൫Λ࡞Γ͍ͨ
32. %FW
    Y
    0QT
33. .-
    Y
    0QT
34. .-0QTνʔϜͷϛογϣϯ ౰ࣾൺ w .-
    ΤϯδχΞ΍ݚڀऀ͕ػցֶशϞσϧͷ։ൃʹूதͰ͖Δ؀ڥΛఏڙ͢Δ
    w ϓϩτλΠϓΛϓϩμΫγϣϯϨϕϧʹҾ্͖͛Δ
    ˠ
    ݚڀऀɺ.-
    ΤϯδχΞ͕ͨͪ࡞ͬͨ΋ͷΛ࣮ࡍʹαʔϏεΠϯ͠ӡ༻·Ͱߦ͏
    
35. .-0QTͰิ͑Δ͜ͱ w ݚڀऀ͸ιϑτ΢ΣΞΤϯδχΞϦϯάͷ஌ݟ͕ͳ͍
    w +VQZUFS
    /PUFCPPL͚ͩ͋Ε͹͍͍ɻ%PDLFS΍Πϯϑϥ͸஌Βͳ͍͜ͱ΋ଟ͍
    w .-ΤϯδχΞ͸ϓϩτλΠϐϯά͕ಘҙͰ΋ܧଓతͳΞϓϦέʔγϣϯͷվળ΍ ࣗಈԽͷλεΫ͸ઐ໳֎ͳ͜ͱ΋ଟ͍
    w $*$%ઃܭɺֶशϫʔΫϑϩʔͷ࠷దԽͳͲ͸༏ઌ౓͕௿͍
36. .-0QTͰิ͑Δ͜ͱ w %FW0QTͰഓͬͨϊ΢ϋ΢Λػցֶशʹ΋ద༻͍ͯ͘͠
    w (16$16Λ࢖ͬͨϫʔΫϑϩʔ΍ΠϯϑϥઃܭͳͲ͸ɺͦ΋ͦ΋Πϯϑϥͷ ஌͕ࣝཁٻ͞ΕΔ෼໺
    w ຊ൪ʹ޲͚ͨΞϓϦέʔγϣϯͷվળ
    w ίϯςφԽɺϘτϧωοΫͷվળͳͲ
37. ࣮ྫΛோΊͯΈΔ
38. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD  ΞʔΩςΫνϟશମ $MPVE
    -PBE
    #BMBODJOH $MPVE
    "SNPS ,VCFSOFUFT
    &OHJOF $MPVE
    4UPSBHF $POUBJOFS
    3FHJTUSZ $MPVE
    .FNPSZTUPSF %FWFMPQFS ը૾ετϨʔδ ϞσϧετϨʔδ ίϯςφΠϝʔδ Ωϟογϡ $MPVE
    $PNQPTFS ֶश ,VCFSOFUFT
    &OHJOF "//
    JOEFY Ϟσϧ 6TFS ֶश ਪ࿦ (16 $MPVE
    'JMFTUPSF
40. .-0QTͷ୲౰ྖҬ ౰ࣾൺ w Πϯϑϥͷߏ੒؅ཧ $*$%ύΠϓϥΠϯؚΉ
    w ΞϓϦέʔγϣϯͷ$*$%΍ίϯςφԽɺνϡʔχϯά
    w ֶशϫʔΫϑϩʔͷվળ΍ӡ༻
41. શ෦Ͱ͖ͳ͍ͱ͍͚ͳ͍ͷ͔ʁ
42. :FT
    BOE
    OP
43. νʔϜͷଟ༷ੑ w 43&ʹ͓͍ͯඞཁͱ͞ΕΔνʔϜͷଟ༷ੑ͸.-0QTͰ΋ॏཁ
    w ۀ຿΍ϓϩμΫτɺج൫ʹ͓͍ͯ࢖ΘΕΔٕज़͸શͯแׅతʹཧղ͢Δ ͜ͱ͕ॏཁͳͷ͸ݴ͏·Ͱ΋ͳ͍
    w ಘҙྖҬ͕ҧ͏ΤϯδχΞ͕ෳ਺͍Δ͜ͱʹΑͬͯνʔϜͱͯ͠
 ΑΓେ͖ͳൣғΛΧόʔͰ͖Δ
    w ҧ͏ࢹ఺ͷΤϯδχΞ͕͏·͘ಈ͍͍ͯ͘ʹ͸ɺݸʑͷνʔϜΛҙࣝͨ͠ ಈ͖΍༏लͳϦʔμʔͷଘࡏ΋ॏཁ
44. νʔϜͷଟ༷ੑ w 43&ʹ͓͍ͯඞཁͱ͞ΕΔνʔϜͷଟ༷ੑ͸.-0QTͰ΋ॏཁ
    w ۀ຿΍ϓϩμΫτɺج൫ʹ͓͍ͯ࢖ΘΕΔٕज़͸શͯแׅతʹཧղ͢Δ ͜ͱ͕ॏཁͳͷ͸ݴ͏·Ͱ΋ͳ͍
    w ಘҙྖҬ͕ҧ͏ΤϯδχΞ͕ෳ਺͍Δ͜ͱʹΑͬͯνʔϜͱͯ͠
 ΑΓେ͖ͳൣғΛΧόʔͰ͖Δ
    w ҧ͏ࢹ఺ͷΤϯδχΞ͕͏·͘ಈ͍͍ͯ͘ʹ͸ɺݸʑͷνʔϜΛҙࣝͨ͠ ಈ͖΍༏लͳϦʔμʔͷଘࡏ΋ॏཁ ɾνʔϜͷ౷཰
    ɾνʔϜͷଟ༷ੑ
    ͜ΕΒཁૉͷཱ͕྆ॏཁ
45. ΋͏গ࣮͠ࡍͷऔ૊Έʹ͍ͭͯ
    ۷ΓԼ͛ͯΈ·͠ΐ͏
46. .-0QTͷ୲౰ྖҬ ౰ࣾൺ w Πϯϑϥͷߏ੒؅ཧ $*$%ύΠϓϥΠϯؚΉ
    w ΞϓϦέʔγϣϯͷ$*$%΍ίϯςφԽɺνϡʔχϯά
    w ֶशϫʔΫϑϩʔͷվળ΍ӡ༻ 8FC։ൃͱڞ௨෦෼͕େ͖͍λεΫ ػցֶशʹݻ༗ͷ෦෼͕େ͖͍λεΫ
47. ΞϓϦͷνϡʔχϯά w ϏδωεϩδοΫΛม͑ͳ͍ൣғͰਪ࿦"1*ͷ଎౓Λ্͛Δ
    w "1.΍֎ܗ؂ࢹͳͲΛ͔ͭͬͯఆৗ؂ࢹ͠ɺϘτϧωοΫΛݟ͚ͭΔ
    w ϞσϧͰѻ͏ϕΫτϧͷύϥϝʔλʔ΍σʔλͷྔʹΑͬͯɺ$16 (16ͲͪΒΛ࢖͏΂͖͔͕ܾ·Δ ෛՙࢼݧͳͲͰݕূ΋͢Δ
    w (16͸ศར͕ͩɺίϯςΩετεΠονʹऑ͍ͷͰΞϓϦέʔγϣϯͰ ͸ۃྗ࢖͍ͨ͘ͳ͍
48. ΞϓϦͷνϡʔχϯά w ϏδωεϩδοΫΛม͑ͳ͍ൣғͰਪ࿦"1*ͷ଎౓Λ্͛Δ
    w "1.΍֎ܗ؂ࢹͳͲΛ͔ͭͬͯఆৗ؂ࢹ͠ɺϘτϧωοΫΛݟ͚ͭΔ
    w ϞσϧͰѻ͏ϕΫτϧͷύϥϝʔλʔ΍σʔλͷྔʹΑͬͯɺ$16 (16ͲͪΒΛ࢖͏΂͖͔͕ܾ·Δ ෛՙࢼݧͳͲͰݕূ΋͢Δ
    w (16͸ศར͕ͩɺίϯςΩετεΠονʹऑ͍ͷͰΞϓϦέʔγϣϯͰ ͸ۃྗ࢖͍ͨ͘ͳ͍ *46$0/͸๻ͨͪʹେ੾ͳ͜ͱΛڭ͑ͯ͘Εͨ
49. ֶशϫʔΫϑϩʔͷӡ༻ͱվળ w ݚڀऀ΍.-ΤϯδχΞ͕ϞσϧΛ࡞੒͞ΕΔҰ࿈ͷྲྀΕΛ
 ϑϩʔʹམͱ͠ࠐΈɺࣗಈԽ͢Δ
    w ຖ೔ɺຖ࣌ؒ৘ใ͕มΘΔΑ͏ͳσʔλʹରͯ͠ܧଓͯ͠Ձ஋Λ
 ఏڙ͢ΔͨΊʹ͸ඞཁෆՄܽ
    w ฒྻ࣮ߦੑ͕Ͳ͜·ͰߴΊΒΕΔ͔
    w ΞϧΰϦζϜ΍ɺ࢖͍ͬͯΔख๏ʹର͢Δཧղ͕ॏཁ
50. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD  ը૾ݕࡧʹ࢖ΘΕΔҰൠతͳΞϧΰϦζϜ ෺ମݕग़ΞϧΰϦζϜ • ը૾͔Β෺ମͷݕग़ͱΫϥε෼ྨΛ͢Δ ಛ௃ྔநग़ΞϧΰϦζϜ • ը૾͔Βଟ࣍ݩϕΫτϧͷಛ௃ྔΛநग़͢Δ ۙࣅ࠶࠷ۙ๣୳ࡧ "// • ߴ଎ʹଟ࣍ݩͷϕΫτϧΛ୳ࡧ͢Δ IUUQTHJUIVCDPNTQPUJGZBOOPZ $// 'FBUVSF
51. .-ϓϩμΫγϣϯ·ͰͷྲྀΕ ਪ࿦Ϟσϧ࡞ͬͨΑ ϞσϧσϓϩΠͯ͠
 ਪ࿦"1*࡞ΔΑʂ
52. .-ϓϩμΫγϣϯ·ͰͷྲྀΕ ਪ࿦Ϟσϧ࡞ͬͨΑ ϞσϧσϓϩΠͯ͠
 ਪ࿦"1*࡞ΔΑʂ ϫʔΫϑϩʔͰ
 ਪ࿦Ϟσϧͷੜ੒ΛࣗಈԽ ΞϓϦέʔγϣϯͷ
 $*$%ύΠϓϥΠϯ ਪ࿦Ϟσϧͷ
 ࣗಈσϓϩΠ
53. .-ϓϩμΫγϣϯ·ͰͷྲྀΕ ਪ࿦Ϟσϧ࡞ͬͨΑ ϞσϧσϓϩΠͯ͠
 ਪ࿦"1*࡞ΔΑʂ ϫʔΫϑϩʔͰ
 ਪ࿦Ϟσϧͷੜ੒ΛࣗಈԽ ΞϓϦέʔγϣϯͷ
 $*$%ύΠϓϥΠϯ ਪ࿦Ϟσϧͷ
 ࣗಈσϓϩΠ ࣮͸ɺ΍͍ͬͯΔ͜ͱͷຊ࣭͸
 ࠓ·Ͱͷ43&%FW0QTͷख๏ͱͦΜͳʹҧ͍͕ͳ͍
54. վΊͯ.-0QTͷ
 ϛογϣϯʹ͍ͭͯৼΓฦΔ
55. .-0QTνʔϜͷϛογϣϯ ౰ࣾൺ w .-
    ΤϯδχΞ΍ݚڀऀ͕ػցֶशϞσϧͷ։ൃʹूதͰ͖Δ؀ڥΛఏڙ͢Δ
    w ϓϩτλΠϓΛϓϩμΫγϣϯϨϕϧʹҾ্͖͛Δ
    ˠ
    ݚڀऀɺ.-
    ΤϯδχΞ͕ͨͪ࡞ͬͨ΋ͷΛ࣮ࡍʹαʔϏεΠϯ͠ӡ༻·Ͱߦ͏
    
56. .-0QTνʔϜͷϛογϣϯ ౰ࣾൺ w .-
    ΤϯδχΞ΍ݚڀऀ͕ػցֶशϞσϧͷ։ൃʹूதͰ͖Δ؀ڥΛఏڙ͢Δ
    w ϓϩτλΠϓΛϓϩμΫγϣϯϨϕϧʹҾ্͖͛Δ
    ˠ
    ݚڀऀɺ.-
    ΤϯδχΞ͕ͨͪ࡞ͬͨ΋ͷΛ࣮ࡍʹαʔϏεΠϯ͠ӡ༻·Ͱߦ͏
    Ϟσϧ΍"1*ͷ೔ʑͷ։ൃऀ ମݧͷ޲্ 43&తͳΞϓϩʔν
57. ·ͱΊ w %FW0QT͸։ൃͱӡ༻ͷ֞ࠜΛແ͘͠ɺϏδωεʹߩݙ͢ΔεϐʔυײΛߴΊΔͨΊ ͷऔΓ૊ΈɺจԽվֵͷϚΠϯυηοτͩͬͨ
    w 43&͸%FW0QTΛؚΉɺαʔϏεͷఏڙՁ஋ΛߴΊΔ࣮ફతͳΞϓϩʔν
    w .-0QT͸྆ऀͷ࣋ͭಛੑΛػցֶशͷεϐʔυײ΍৴པੑΛߴΊΔͨΊͷऔΓ૊Έ
58. 5IBOL
    ZPV
    GPS
    ZPVS
    BUUFOUJPO