高速化・並列化・標準化でスケールするML予測システムの開発

by Daiki Ikeshima

Slide 1

Slide 1 text

ߴ଎ԽɾฒྻԽɾඪ४ԽͰ εέʔϧ͢ΔML༧ଌγεςϜͷ։ൃ ʲSansan×Unipos×M3ʳMLOpsษڧձ ΤϜεϦʔגࣜձࣾɹ஑ౢେथ

Slide 2

Slide 2 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ MLΤϯδχΞ

Slide 3

Slide 3 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ Ϟσϧ MLΤϯδχΞ

Slide 4

Slide 4 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ Ϟσϧ MLΤϯδχΞ

Slide 5

Slide 5 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ Ϟσϧ ଐਓԽ MLΤϯδχΞ

Slide 6

Slide 6 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ Ϟσϧ ଐਓԽ MLΤϯδχΞ

Slide 7

Slide 7 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ Ϟσϧ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ MLΤϯδχΞ

Slide 8

Slide 8 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ Ϟσϧ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ MLΤϯδχΞ

Slide 9

Slide 9 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ Ϟσϧ ྲྀ༻ ྲྀ༻ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ MLΤϯδχΞ

Slide 10

Slide 10 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ Ϟσϧ ྲྀ༻ ྲྀ༻ όά ʁ ʁ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ MLΤϯδχΞ

Slide 11

Slide 11 text

̏՝୊ʹରԠ͢ΔͨΊʹ։ൃ͞ΕͨMLγεςϜ: Yule XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ Yule AutoMLͳ  ਪଌγεςϜ ଐਓԽ λΠτͳక੾ ฒߦͯ͠૸ΔҊ݅ ඪ४Խ ฒྻԽ ߴ଎Խ

Slide 12

Slide 12 text

Yule: ଟ਺ϞσϧΛΞϯαϯϒϧͯ͠ਪ࿦·ͰҰؾʹ࣮ߦ 12 ಛ௃நग़ GBDT Neural Network ϚϧνλεΫֶश సҠֶश ֶशࡁ Ϟσϧ Ξϯαϯϒϧ ਪ࿦ ڭࢣσʔλ

Slide 13

Slide 13 text

ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ 13 ਪ࿦ σʔλऩू ಛ௃࡞੒ Ϟσϧ࡞੒ ֶश࣮ߦ ֶश؂ࢹ ֶशධՁ վળΠςϨʔγϣϯ  Λߴ଎ʹճ͢ ։ൃऀҎ֎Ͱ΋  ࣮ߦͰ͖ΔΑ͏ʹ ଟ਺ͷҊ݅Λ  ฒߦͯ͠ରԠͰ͖Δ Ҋ݅̍ Ҋ݅̎ Ҋ݅̏ ඪ४Խ ฒྻԽ ߴ଎Խ

Slide 14

Slide 14 text

ᶃ KubernetesΛ༻͍ͯλεΫΛ෼ࢄॲཧ ᶄ ઃఆϑΝΠϧΛ࡞੒͢Δ͚ͩͰֶशɾਪ࿦Λ࣮ߦͰ͖Δ ᶅ TensorBoardʹΑΔֶश؂ࢹ ᶆ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ ᶇ νʔϜ಺ڞ௨ͷμ΢ϯϩʔυϥΠϒϥϦͰσʔλಡΈࠐΈ 14 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ඪ४Խ ฒྻԽ ߴ଎Խ ඪ४Խ ߴ଎Խ ߴ଎Խ

Slide 15

Slide 15 text

15 ಛ௃࡞੒ʙֶशʙਪ࿦ΛKubernetes্Ͱ࣮ࢪ ֶश ਪ࿦ CVͷFold͝ͱʹϊʔυ෼ࢄ ਪ࿦ର৅ϢʔβΛ෼ׂͯ͠ϊʔυ෼ࢄ ᶃ KubernetesΛ༻͍ͯ෼ࢄॲཧ ฒྻԽ ߴ଎Խ

Slide 16

Slide 16 text

16 • ཁ݅ʹ߹ΘͤͯϊʔυϓʔϧΛ࢖͍෼͚Δ • GKEͷϓϦΤϯϓςΟϒϧϊʔυΛ࢖ͬͯྉۚΛઅ໿ —> ΨϯΨϯ෼ࢄͰ͖Δ • ෳ਺ͷֶश΍ਪ࿦Λಉ࣌ฒߦʹճͤΔ • ࣮ݧΠςϨʔγϣϯ͕ߴ଎Խ͠ɺੑೳվળʹूதͰ͖Δ ֶश ਪ࿦ CPU༏ઌϊʔυ ϝϞϦ༏ઌϊʔυ ฒྻԽ ߴ଎Խ ᶃ KubernetesΛ༻͍ͯ෼ࢄॲཧ

Slide 17

Slide 17 text

17 ᶄ ઃఆϑΝΠϧΛ࡞੒͢Δ͚ͩͰֶशɾਪ࿦Λ࣮ߦͰ͖Δ • ڭࢣσʔλͷύε • ಛ௃બ୒ํ๏ • Ϟσϧͷछྨɾύϥϝλ • ίʔυͷίϛοτϋογϡɹ౳ ઃఆϑΝΠϧ Yule Kubernetes GCR BigQuery GCS docker  Πϝʔδ ಛ௃  σʔλ ڭࢣ  σʔλ • ࣮ݧઃఆΛઃఆϑΝΠϧʹهड़͢Δ͚ͩͰ • ઃఆʹԊͬͯdockerΠϝʔδ/σʔλΛGCR, BQ, GCSͳͲ͔Βऔಘ • Kubernetesʹ෼ࢄσϓϩΠ ίʔυ hash: ﬀ34 tag: ﬀ34 push build & push ඪ४Խ

Slide 18

Slide 18 text

18 • ڭࢣσʔλͷύε • ಛ௃બ୒ํ๏ • Ϟσϧͷछྨɾύϥϝλ • ίʔυͷίϛοτϋογϡɹ౳ ઃఆϑΝΠϧ Yule Kubernetes • ઃఆϑΝΠϧΛॻ͚ͩ͘ͰֶशΛ࣮ߦͰ͖ΔΑ͏ʹͳͬͨ • ։ൃͱ࣮ߦ͕෼཭͠ίʔυΛҙֶࣝͤͣशΛճͤΔ • ➔ίΞ։ൃऀҎ֎Ͱ΋࣮ߦՄೳʹ • ࣮ݧઃఆͱίʔυΛඥ෇͚ • ࠷৽͚ͩͰͳ͘աڈͷίʔυ΋ࢀরͰ͖Δ • ➔࠶ݱੑΛ୲อ ᶄ ઃఆϑΝΠϧΛ࡞੒͢Δ͚ͩͰֶशɾਪ࿦Λ࣮ߦͰ͖Δ ඪ४Խ

Slide 19

Slide 19 text

ᶅ TensorBoardʹΑΔֶश؂ࢹ 19 KubernetesͳͲϦϞʔτ؀ڥͰ෼ࢄֶͯ͠श͢ΔͱܦաΛ೺Ѳͮ͠Β͍ ੑೳվળͷΠςϨʔγϣϯ͕ૣ͘ͳͬͨ TensorBoardͰֶशۂઢͳͲֶशϝτϦΫεΛ ϦΞϧλΠϜ؂ࢹ ɹˠ ֶशվળͷώϯτΛಘΒΕΔ ߴ଎Խ

Slide 20

Slide 20 text

gokartͱ͸ • python੡ύΠϓϥΠϯϥΠϒϥϦ • ॲཧΛTaskͱݺ͹ΕΔΫϥε୯ҐͰґଘؔ܎ͱͱ΋ʹهड़͢Δ • ґଘؔ܎Λղܾ͠ͳ͕ΒॲཧΛ͢͢ΊΔ • ్தܦա͸Ωϟογϡ͞Ε͍ͯΔͨΊɺಉ͡ॲཧ͸̎ճ໨͸লུͰ͖Δ ᶆ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ 20 Ҋ݅ؒͰڞ௨ͯ͠࢖͏ಛ௃ྔσʔλ͸࢖͍·Θ͍ͨ͠ AIνʔϜͰ͸gokartΛ։ൃ͠׆༻ ॲཧ̍ ॲཧ̎ ॲཧ̏ σʔλ̍ σʔλ̎ Ϟσϧ  ֶश̍ ߴ଎Խ

Slide 21

Slide 21 text

gokartͱ͸ • python੡ύΠϓϥΠϯϥΠϒϥϦ • ॲཧΛTaskͱݺ͹ΕΔΫϥε୯ҐͰґଘؔ܎ͱͱ΋ʹهड़͢Δ • ґଘؔ܎Λղܾ͠ͳ͕ΒॲཧΛ͢͢ΊΔ • ్தܦա͸Ωϟογϡ͞Ε͍ͯΔͨΊɺಉ͡ॲཧ͸̎ճ໨͸লུͰ͖Δ ᶆ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ 21 Ҋ݅ؒͰڞ௨ͯ͠࢖͏ಛ௃ྔσʔλ͸࢖͍·Θ͍ͨ͠ AIνʔϜͰ͸gokartΛ։ൃ͠׆༻ ॲཧ̍ ॲཧ̎ ॲཧ̏ σʔλ̍ σʔλ̎ Ϟσϧ  ֶश̍ Ϟσϧ  ֶश̎ ߴ଎Խ

Slide 22

Slide 22 text

ᶆ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ 22 • ಛ௃ྔͷੜ੒ϓϩηε͕ίʔυԽ͞Ε͍ͯΔ • ಛ௃ྔσʔλ͕Ωϟογϡ • ➔ Ҋ݅ʹΑΒͣ࢖͍ճͤΔ • ➔ ઃఆΛม͑ͨ࠶࣮ݧͰ΋࠶ར༻ʹΑΔ࣌ؒ୹ॖ • ϓϩηε్͕தͰམͪͯ΋్தͷΩϟογϡ͔Β࠶։ • ➔ ҆৺ͯ͠GKEͷϓϦΤϯϓςΟϒϧϊʔυΛ࢖͑Δ • Ωϟογϡ࠶ར༻ʹΑ࣮ͬͯߦ࣌ؒΛ୹ॖͰ͖ͨ • ϓϦΤϯϓςΟϒϧͷ׆༻ͰGKEͷྉۚͷઅ໿͕Ͱ͖ͨ ߴ଎Խ ॲཧ̍ ॲཧ̎ ॲཧ̏ σʔλ̍ σʔλ̎ Ϟσϧ  ֶश̍ Ϟσϧ  ֶश̎

Slide 23

Slide 23 text

BigQuery Ϣʔβ  σʔλ هࣄӾཡ  σʔλ ΫϦοΫ  σʔλ ᶇ νʔϜ಺ڞ௨ͷμ΢ϯϩʔυϥΠϒϥϦͰσʔλಡΈࠐΈ 23 • YuleҎ֎ͷMLϓϩμΫτͰ΋࢖͍ͬͯΔσʔλ͸ࣅ͍ͯΔ • BQ͔Βσʔλऔಘ͢ΔͨΊʹͦΕͧΕSQLΛॻ͔ͳ͍ͱ͍͚ͳ͍ ඪ४Խ Yule ML1 ML2 ML3 SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL

Slide 24

Slide 24 text

BigQuery Ϣʔβ  σʔλ هࣄӾཡ  σʔλ ΫϦοΫ  σʔλ ᶇ νʔϜ಺ڞ௨ͷμ΢ϯϩʔυϥΠϒϥϦͰσʔλಡΈࠐΈ 24 • μ΢ϯϩʔυ༻ͷڞ௨ϥΠϒϥϦΛ࢖༻ • طଘͷμ΢ϯϩʔυϝιου͕࢖͍·ΘͤΔ ➔ SQLΛϓϩμΫτ͝ͱʹॻ͔ͳͯ͘ࡁΉ • gokartͰඪ४Խ͞Ε͓ͯΓಡΈॻ͖͠΍͍͢ • ➔ ୭Ͱ΋؆୯ʹ࢖͑Δ ඪ४Խ Yule ML1 ML2 ML3 mushroom μ΢ϯϩʔυ༻  ϥΠϒϥϦ SQL ϝιουΛར༻

Slide 25

Slide 25 text

ᶃ KubernetesΛ༻͍ͯλεΫΛ෼ࢄॲཧ ᶄ ઃఆϑΝΠϧΛ࡞੒͢Δ͚ͩͰֶशɾਪ࿦Λ࣮ߦͰ͖Δ ᶅ TensorBoardʹΑΔֶश؂ࢹ ᶆ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ ᶇ νʔϜ಺ڞ௨ͷμ΢ϯϩʔυϥΠϒϥϦͰσʔλಡΈࠐΈ 25 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ඪ४Խ ฒྻԽ ߴ଎Խ ඪ४Խ ߴ଎Խ ߴ଎Խ

Slide 26

Slide 26 text

26 ΤϜεϦʔͰ͸MLγεςϜΛ։ൃɾվળͯ͘͠ΕΔਓΛืूதͰ͢ https://jobs.m3.com/engineer/ ̏՝୊Λղܾ͢Δ͜ͱͰεέʔϧ͢ΔγεςϜ͕Ͱ͖ͨ • ߴ଎ԽɿվળΠςϨʔγϣϯΛߴ଎ʹճͤͨ • ฒྻԽɿଟ਺ͷҊ݅Λಉ࣌ਐߦͰ͜ͳͤͨ • ඪ४Խɿ։ൃ/࣮ߦΛ෼཭ͨ͜͠ͱͰɺ৽نϝϯόʔͰ΋͙͢ʹ࣮ߦͰ͖ͨ ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰