機械学習基盤の本番運用とその取り組み / ML platform in production

ػցֶशج൫ͷຊ൪ӡ༻ͱ ͦͷऔΓ૊Έ 1SFTFOUFECZ,PIFJ0UB !JOEVDUPS +VMZ5FDI'FTUB

ࣗݾ঺հ w ଠాߤฏ !@JOEVDUPS@ !JOEVDUPS w %PDLFS.FFUVQ5PLZP0SHBOJ[FS w *OGSBTUSVDUVSF&OHJOFFS
.-0QT5FBN!;0;05FDIOPMPHJFT *OD

;0;0508/ͷը૾ݕࡧػೳʹΈΔ ,VCFSOFUFTΛ࢖ͬͨػցֶशج൫ӡ༻ͷཪଆ $MPVE/BUJWF%BZT,BOTBJ $PQZSJHIU;0;05FDIOPMPHJFT *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ .-0QTνʔϜ ଠా
ߤฏ

;0;0508/ͷը૾ݕࡧػೳʹΈΔ ,VCFSOFUFTΛ࢖ͬͨػցֶशج൫ӡ༻ͷཪଆ $MPVE/BUJWF%BZT,BOTBJ $PQZSJHIU;0;05FDIOPMPHJFT *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ .-0QTνʔϜ ଠా
ߤฏ ৄ͘͠͸4QFBLFSEFDLͷεϥΠυͰʂ

ࠓ೔ͷλʔήοτ w Πϯϑϥ%FW0QT43&తͳ͜ͱΛ΍͍ͬͯΔਓ w ػցֶशʹ͍ͭͯ͋·Γྑ͘෼͔͍ͬͯͳ͍ਓ ׬શʹཧղ͍ͯ͠Δਓ w ಥવৼΒΕΔṖͷλεΫʹରԠͰ͖Δ͔Θ͔Βͳ͍ਓ

͋Δ೔͜Μͳ͜ͱΛݴΘΕΔͱ ߟ͑ͯΈ͍ͯͩ͘͞

ܦӦऀʮ͜Ε͔Β͸"*ͩʂʂʯ

"*ʁػցֶशʁͲ͏ҧ͏ͷʁ

ػցֶशͬͯͳʹʁʁ

ػցֶशʁʁ w σʔλΛೖྗɺ͋Δ΂͖݁ՌΛग़ྗͱͯ͠ w ෳ਺ͷσʔλ͔Βڞ௨ͷϧʔϧ΍ಛ௃ɺ൑அج४Λநग़ w ໌ࣔతʹϓϩάϥϜϩδοΫΛॻ͔ͣʹ݁ՌΛग़ͨ͢Ίͷ࢓૊Έ

ػցֶशʁʁ w σʔλΛೖྗɺ͋Δ΂͖݁ՌΛग़ྗͱͯ͠ w ෳ਺ͷσʔλ͔Βڞ௨ͷϧʔϧ΍ಛ௃ɺ൑அج४Λநग़ w ໌ࣔతʹϓϩάϥϜϩδοΫΛॻ͔ͣʹ݁ՌΛग़ͨ͢Ίͷ࢓૊Έ ϩδοΫͷந৅Խ

ͳͥػցֶश͕ٻΊΒΕΔͷ͔ w ϞόΠϧ΍Πϯλʔωοτ͕ීٴ͖ͬͨ͠ࠓɺ෺ࣄͷঢ়گ͸ٸܹʹมΘΔ w ͦͷมԽΛϓϩάϥϜͰද͢ͷ͸େม w *G΍GPSͰઃఆͨ͠ύϥϝʔλʔΛॻ͖׵͑Δ͚ͩͷվमΛՃ͑Δͷ͸  ೉͍͠͠ɺޮՌଌఆ΋େมʢ͍ΘΏΔzਓ޻ແೳzͱ͍͏ݺ͹ΕΔ΍ͭʣ w ͜Ε·Ͱͷ܏޲͔Β࣍ͷ݁ՌΛ༧ଌ͢Δࣄ͕Ͱ͖Δശ͕͋Ε͹ 
ຊ࣭తʹ͸αʔϏεͷϩδοΫ͸໰୊Ͱ͸ͳ͍͸ͣ

ͳͥػցֶश͕ٻΊΒΕΔͷ͔ w ϞόΠϧ΍Πϯλʔωοτ͕ීٴ͖ͬͨ͠ࠓɺ෺ࣄͷঢ়گ͸ٸܹʹมΘΔ w ͦͷมԽΛϓϩάϥϜͰද͢ͷ͸େม w *G΍GPSͰઃఆͨ͠ύϥϝʔλʔΛॻ͖׵͑Δ͚ͩͷվमΛՃ͑Δͷ͸  ೉͍͠͠ɺޮՌଌఆ΋େมʢ͍ΘΏΔzਓ޻ແೳzͱ͍͏ݺ͹ΕΔ΍ͭʣ w ͜Ε·Ͱͷ܏޲͔Β࣍ͷ݁ՌΛ༧ଌ͢Δࣄ͕Ͱ͖Δശ͕͋Ε͹ 
ຊ࣭తʹ͸αʔϏεͷϩδοΫ͸໰୊Ͱ͸ͳ͍͸ͣ ػցֶशʹΑͬͯಘΒΕͨϞσϧ ϒϥοΫϘοΫε Λ ೖΕସ͑Δ͚ͩͰΞϓϦέʔγϣϯ͕ੈͷதͷ  χʔζʹରԠͰ͖ΔͷͰ͸ͳ͍͔ʂͱ͍͏ൃ૝

ػցֶशͷԠ༻ྫ w ݕࡧΤϯδϯͷϦίϝϯσʔγϣϯ w ؞΍޻৔ʹ͓͚Δෆྑ඼ͳͲͷҟৗݕ஌ w Ի੠ೝࣝɺը૾ೝࣝ w גՁ༧ଌ

ػցֶशͷԠ༻ྫ w ݕࡧΤϯδϯͷϦίϝϯσʔγϣϯ w ؞΍޻৔ʹ͓͚Δෆྑ඼ͳͲͷҟৗݕ஌ w Ի੠ೝࣝɺը૾ೝࣝ w גՁ༧ଌ ϦΞϧλΠϜͰมԽ͢Δ΋ͷ΍ 
ਓؒͷखΛհ͢Δͱେมͳ΋ͷʹରͯ͠ಛʹ༗ޮ

ػցֶशͷར༻Πϝʔδ

ػցֶशͷར༻Πϝʔδ Ϟσϧ

ػցֶशͷར༻Πϝʔδ ֶश ਪ࿦ ਪ࿦Ϟσϧ

ֶशͱਪ࿦ w ֶश w σʔλΛҰఆͷنଇ ΞϧΰϦζϜ ʹैͬͯϞσϧʹม׵ w σʔλιʔε͕ॏཁͳͷͰɺ೔ʑೖΕସΘΔ΋ͷ͸ఆৗతʹֶश͢Δ w
ਪ࿦ w ϞσϧΛ࢖ͬͯɺ͋Δσʔλ͕Ͳͷύλʔϯʹ࠷΋͍͔ۙΛ൑அ͢Δ w ਪ࿦ʹ࢖͏Ϟσϧͷσʔλ઱౓͕ॏཁ

ֶशͱਪ࿦ w ֶश w σʔλΛҰఆͷنଇ ΞϧΰϦζϜ ʹैͬͯϞσϧʹม׵ w σʔλιʔε͕ॏཁͳͷͰɺ೔ʑೖΕସΘΔ΋ͷ͸ఆৗతʹֶश͢Δ w
ਪ࿦ w ϞσϧΛ࢖ͬͯɺ͋Δσʔλ͕Ͳͷύλʔϯʹ࠷΋͍͔ۙΛ൑அ͢Δ w ਪ࿦ʹ࢖͏Ϟσϧͷσʔλ઱౓͕ॏཁ 8FCʹ͸ͳ͍ػցֶशج൫ͷϙΠϯτ    Ϟσϧ͕ػցֶशʹ͓͚Δ಄೴ ϒϥοΫϘοΫε ϞσϧͷೖΕସ͑ͱɺֶशස౓ͳͲͷఆ͕ٛॏཁ

Πϯϑϥج൫ͷ࿩

ྫ͑͹͜ΜͳΞϓϦ͕͋ͬͨͱͯ͠ 8FC "QQ %#

ΞϓϦʹػցֶशΛ࢖ͬͨ  ػೳΛ૿΍͢͜ͱΛߟ͑ͯΈΔ

Πϝʔδ͸͜͏ 8FC "QQ %# ਪ࿦Ϟσϧ ਪ࿦"1*ͷ  αʔϏϯά

Πϝʔδ͸͜͏ 8FC "QQ %# ਪ࿦Ϟσϧ ਪ࿦"1*ͷ  αʔϏϯά ͜ΕͰ΋ಈ͘ʹ͸ಈ͚͘Ͳɾɾɾ

Πϝʔδ͸͜͏ 8FC "QQ %# ਪ࿦Ϟσϧ ਪ࿦"1*ͷ  αʔϏϯά Ϟσϧͷߋ৽Ͳ͏͢Δͷʁ  ΞϓϦͷߋ৽ͱύΠϓϥΠϯ෼͚Δͷʁ Πϯϑϥઃܭ͸୭͕͢Δͷʁ

ػցֶशʹؔΘΔਓͨͪ ౰ࣾൺ w ϦαʔνϟʔˠΞϧΰϦζϜͱϞσϧධՁΛ୲౰ w .-ΤϯδχΞ

ػցֶशʹؔΘΔਓͨͪ ౰ࣾൺ w Ϧαʔνϟʔ w .-ΤϯδχΞˠϞσϧΛ࢖ͬͨ"1*΍ΞϓϦͷϓϩτλΠϐϯάͳͲ

ػցֶशʹؔΘΔਓͨͪ ౰ࣾൺ w Ϧαʔνϟʔ w .-ΤϯδχΞˠϞσϧΛ࢖ͬͨ"1*΍ΞϓϦͷϓϩτλΠϐϯάͳͲ ࣗಈԽ͸Ͳͬͪͷ࢓ࣄʁ Πϯϑϥઃܭ͸ͩΕ͕΍Δʁ ύϑΥʔϚϯενϡʔχϯά͸ʁ

Two Big Problems Data Scientist Machine Learning Engineer vs

Ϟσϧ࡞੒ͱαʔϏϯάͷ  ֞ࠜΛແͯ͘͠  ࣮ӡ༻ʹ଱͑͏Δج൫Λ࡞Γ͍ͨ

%FWY0QT

.-Y0QT

.-0QTνʔϜͷϛογϣϯ ౰ࣾൺ w .-ΤϯδχΞ΍ݚڀऀ͕ػցֶशϞσϧͷ։ൃʹूதͰ͖Δ؀ڥΛఏڙ͢Δ w ϓϩτλΠϓΛϓϩμΫγϣϯϨϕϧʹҾ্͖͛Δ ˠݚڀऀɺ.-ΤϯδχΞ͕ͨͪ࡞ͬͨ΋ͷΛ࣮ࡍʹαʔϏεΠϯ͠ӡ༻·Ͱߦ͏

.-0QTͰิ͑Δ͜ͱ w ݚڀऀ͸ιϑτ΢ΣΞΤϯδχΞϦϯάͷ஌ݟ͕ͳ͍ w +VQZUFS/PUFCPPL͚ͩ͋Ε͹͍͍ɻ%PDLFS΍Πϯϑϥ͸஌Βͳ͍͜ͱ΋ଟ͍ w .-ΤϯδχΞ͸ϓϩτλΠϐϯά͕ಘҙͰ΋ܧଓతͳΞϓϦέʔγϣϯͷվળ΍ ࣗಈԽͷλεΫ͸ઐ໳֎ͳ͜ͱ΋ଟ͍ w $*$%ઃܭɺֶशϫʔΫϑϩʔͷ࠷దԽͳͲ͸༏ઌ౓͕௿͍

.-0QTͰิ͑Δ͜ͱ w %FW0QTͰഓͬͨϊ΢ϋ΢Λػցֶशʹ΋ద༻͍ͯ͘͠ w (16$16Λ࢖ͬͨϫʔΫϑϩʔ΍ΠϯϑϥઃܭͳͲ͸ɺͦ΋ͦ΋Πϯϑϥͷ ஌͕ࣝཁٻ͞ΕΔ෼໺ w ຊ൪ʹ޲͚ͨΞϓϦέʔγϣϯͷվળ w ίϯςφԽɺϘτϧωοΫͷվળͳͲ

࣮ྫΛோΊͯΈΔ

;0;05FDIOPMPHJFT *OD ΞʔΩςΫνϟશମ $MPVE-PBE #BMBODJOH $MPVE"SNPS ,VCFSOFUFT &OHJOF $MPVE
4UPSBHF $POUBJOFS 3FHJTUSZ $MPVE .FNPSZTUPSF %FWFMPQFS ը૾ετϨʔδ ϞσϧετϨʔδ ίϯςφΠϝʔδ Ωϟογϡ $MPVE $PNQPTFS ֶश ,VCFSOFUFT &OHJOF "//JOEFY Ϟσϧ 6TFS ֶश ਪ࿦ (16 $MPVE 'JMFTUPSF

.-0QTͷ୲౰ྖҬ ౰ࣾൺ w Πϯϑϥͷߏ੒؅ཧ $*$%ύΠϓϥΠϯؚΉ w ΞϓϦέʔγϣϯͷ$*$%΍ίϯςφԽɺνϡʔχϯά w ֶशϫʔΫϑϩʔͷվળ΍ӡ༻

શ෦Ͱ͖ͳ͍ͱ͍͚ͳ͍ͷ͔ʁ

:FTBOEOP

νʔϜͷଟ༷ੑ w 43&ʹ͓͍ͯඞཁͱ͞ΕΔνʔϜͷଟ༷ੑ͸.-0QTͰ΋ॏཁ w ۀ຿΍ϓϩμΫτɺج൫ʹ͓͍ͯ࢖ΘΕΔٕज़͸શͯแׅతʹཧղ͢Δ ͜ͱ͕ॏཁͳͷ͸ݴ͏·Ͱ΋ͳ͍ w ಘҙྖҬ͕ҧ͏ΤϯδχΞ͕ෳ਺͍Δ͜ͱʹΑͬͯνʔϜͱͯ͠  ΑΓେ͖ͳൣғΛΧόʔͰ͖Δ w
ҧ͏ࢹ఺ͷΤϯδχΞ͕͏·͘ಈ͍͍ͯ͘ʹ͸ɺݸʑͷνʔϜΛҙࣝͨ͠ ಈ͖΍༏लͳϦʔμʔͷଘࡏ΋ॏཁ

νʔϜͷଟ༷ੑ w 43&ʹ͓͍ͯඞཁͱ͞ΕΔνʔϜͷଟ༷ੑ͸.-0QTͰ΋ॏཁ w ۀ຿΍ϓϩμΫτɺج൫ʹ͓͍ͯ࢖ΘΕΔٕज़͸શͯแׅతʹཧղ͢Δ ͜ͱ͕ॏཁͳͷ͸ݴ͏·Ͱ΋ͳ͍ w ಘҙྖҬ͕ҧ͏ΤϯδχΞ͕ෳ਺͍Δ͜ͱʹΑͬͯνʔϜͱͯ͠  ΑΓେ͖ͳൣғΛΧόʔͰ͖Δ w
ҧ͏ࢹ఺ͷΤϯδχΞ͕͏·͘ಈ͍͍ͯ͘ʹ͸ɺݸʑͷνʔϜΛҙࣝͨ͠ ಈ͖΍༏लͳϦʔμʔͷଘࡏ΋ॏཁ ɾνʔϜͷ౷཰ ɾνʔϜͷଟ༷ੑ ͜ΕΒཁૉͷཱ͕྆ॏཁ

΋͏গ࣮͠ࡍͷऔ૊Έʹ͍ͭͯ ۷ΓԼ͛ͯΈ·͠ΐ͏

.-0QTͷ୲౰ྖҬ ౰ࣾൺ w Πϯϑϥͷߏ੒؅ཧ $*$%ύΠϓϥΠϯؚΉ w ΞϓϦέʔγϣϯͷ$*$%΍ίϯςφԽɺνϡʔχϯά w ֶशϫʔΫϑϩʔͷվળ΍ӡ༻
8FC։ൃͱڞ௨෦෼͕େ͖͍λεΫ ػցֶशʹݻ༗ͷ෦෼͕େ͖͍λεΫ

ΞϓϦͷνϡʔχϯά w ϏδωεϩδοΫΛม͑ͳ͍ൣғͰਪ࿦"1*ͷ଎౓Λ্͛Δ w "1.΍֎ܗ؂ࢹͳͲΛ͔ͭͬͯఆৗ؂ࢹ͠ɺϘτϧωοΫΛݟ͚ͭΔ w ϞσϧͰѻ͏ϕΫτϧͷύϥϝʔλʔ΍σʔλͷྔʹΑͬͯɺ$16 (16ͲͪΒΛ࢖͏΂͖͔͕ܾ·Δ ෛՙࢼݧͳͲͰݕূ΋͢Δ
w (16͸ศར͕ͩɺίϯςΩετεΠονʹऑ͍ͷͰΞϓϦέʔγϣϯͰ ͸ۃྗ࢖͍ͨ͘ͳ͍

ΞϓϦͷνϡʔχϯά w ϏδωεϩδοΫΛม͑ͳ͍ൣғͰਪ࿦"1*ͷ଎౓Λ্͛Δ w "1.΍֎ܗ؂ࢹͳͲΛ͔ͭͬͯఆৗ؂ࢹ͠ɺϘτϧωοΫΛݟ͚ͭΔ w ϞσϧͰѻ͏ϕΫτϧͷύϥϝʔλʔ΍σʔλͷྔʹΑͬͯɺ$16 (16ͲͪΒΛ࢖͏΂͖͔͕ܾ·Δ ෛՙࢼݧͳͲͰݕূ΋͢Δ
w (16͸ศར͕ͩɺίϯςΩετεΠονʹऑ͍ͷͰΞϓϦέʔγϣϯͰ ͸ۃྗ࢖͍ͨ͘ͳ͍ *46$0/͸๻ͨͪʹେ੾ͳ͜ͱΛڭ͑ͯ͘Εͨ

ֶशϫʔΫϑϩʔͷӡ༻ͱվળ w ݚڀऀ΍.-ΤϯδχΞ͕ϞσϧΛ࡞੒͞ΕΔҰ࿈ͷྲྀΕΛ  ϑϩʔʹམͱ͠ࠐΈɺࣗಈԽ͢Δ w ຖ೔ɺຖ࣌ؒ৘ใ͕มΘΔΑ͏ͳσʔλʹରͯ͠ܧଓͯ͠Ձ஋Λ  ఏڙ͢ΔͨΊʹ͸ඞཁෆՄܽ w ฒྻ࣮ߦੑ͕Ͳ͜·ͰߴΊΒΕΔ͔ w
ΞϧΰϦζϜ΍ɺ࢖͍ͬͯΔख๏ʹର͢Δཧղ͕ॏཁ

;0;05FDIOPMPHJFT *OD ը૾ݕࡧʹ࢖ΘΕΔҰൠతͳΞϧΰϦζϜ ෺ମݕग़ΞϧΰϦζϜ • ը૾͔Β෺ମͷݕग़ͱΫϥε෼ྨΛ͢Δ ಛ௃ྔநग़ΞϧΰϦζϜ • ը૾͔Βଟ࣍ݩϕΫτϧͷಛ௃ྔΛநग़͢Δ
ۙࣅ࠶࠷ۙ๣୳ࡧ "// • ߴ଎ʹଟ࣍ݩͷϕΫτϧΛ୳ࡧ͢Δ IUUQTHJUIVCDPNTQPUJGZBOOPZ $// 'FBUVSF

.-ϓϩμΫγϣϯ·ͰͷྲྀΕ ਪ࿦Ϟσϧ࡞ͬͨΑ ϞσϧσϓϩΠͯ͠  ਪ࿦"1*࡞ΔΑʂ

.-ϓϩμΫγϣϯ·ͰͷྲྀΕ ਪ࿦Ϟσϧ࡞ͬͨΑ ϞσϧσϓϩΠͯ͠  ਪ࿦"1*࡞ΔΑʂ ϫʔΫϑϩʔͰ  ਪ࿦Ϟσϧͷੜ੒ΛࣗಈԽ ΞϓϦέʔγϣϯͷ  $*$%ύΠϓϥΠϯ ਪ࿦Ϟσϧͷ  ࣗಈσϓϩΠ

.-ϓϩμΫγϣϯ·ͰͷྲྀΕ ਪ࿦Ϟσϧ࡞ͬͨΑ ϞσϧσϓϩΠͯ͠  ਪ࿦"1*࡞ΔΑʂ ϫʔΫϑϩʔͰ  ਪ࿦Ϟσϧͷੜ੒ΛࣗಈԽ ΞϓϦέʔγϣϯͷ  $*$%ύΠϓϥΠϯ ਪ࿦Ϟσϧͷ  ࣗಈσϓϩΠ
࣮͸ɺ΍͍ͬͯΔ͜ͱͷຊ࣭͸  ࠓ·Ͱͷ43&%FW0QTͷख๏ͱͦΜͳʹҧ͍͕ͳ͍

վΊͯ.-0QTͷ  ϛογϣϯʹ͍ͭͯৼΓฦΔ

.-0QTνʔϜͷϛογϣϯ ౰ࣾൺ w .-ΤϯδχΞ΍ݚڀऀ͕ػցֶशϞσϧͷ։ൃʹूதͰ͖Δ؀ڥΛఏڙ͢Δ w ϓϩτλΠϓΛϓϩμΫγϣϯϨϕϧʹҾ্͖͛Δ ˠݚڀऀɺ.-ΤϯδχΞ͕ͨͪ࡞ͬͨ΋ͷΛ࣮ࡍʹαʔϏεΠϯ͠ӡ༻·Ͱߦ͏

.-0QTνʔϜͷϛογϣϯ ౰ࣾൺ w .-ΤϯδχΞ΍ݚڀऀ͕ػցֶशϞσϧͷ։ൃʹूதͰ͖Δ؀ڥΛఏڙ͢Δ w ϓϩτλΠϓΛϓϩμΫγϣϯϨϕϧʹҾ্͖͛Δ ˠݚڀऀɺ.-ΤϯδχΞ͕ͨͪ࡞ͬͨ΋ͷΛ࣮ࡍʹαʔϏεΠϯ͠ӡ༻·Ͱߦ͏ Ϟσϧ΍"1*ͷ೔ʑͷ։ൃऀ ମݧͷ޲্ 43&తͳΞϓϩʔν

·ͱΊ w %FW0QT͸։ൃͱӡ༻ͷ֞ࠜΛແ͘͠ɺϏδωεʹߩݙ͢ΔεϐʔυײΛߴΊΔͨΊ ͷऔΓ૊ΈɺจԽվֵͷϚΠϯυηοτͩͬͨ w 43&͸%FW0QTΛؚΉɺαʔϏεͷఏڙՁ஋ΛߴΊΔ࣮ફతͳΞϓϩʔν w .-0QT͸྆ऀͷ࣋ͭಛੑΛػցֶशͷεϐʔυײ΍৴པੑΛߴΊΔͨΊͷऔΓ૊Έ

5IBOLZPVGPSZPVSBUUFOUJPO

機械学習基盤の本番運用とその取り組み / ML platform in production

機械学習基盤の本番運用とその取り組み / ML platform in production

More Decks by Kohei Ota

Other Decks in Technology

Featured

Transcript