実臨床・Webサービス領域での機械学習研究開発の標準化

by Daiki Ikeshima

Slide 1

Slide 1 text

࣮ྟচɾWebαʔϏεྖҬͰͷػցֶशݚڀ ։ൃͷඪ४Խ PRMUݚڀձ ΤϜεϦʔגࣜձࣾɹුా७ฏɾ஑ౢେथ

Slide 2

Slide 2 text

࣮ྟচɾWebαʔϏεྖҬͰͷػցֶशݚڀ։ൃͷඪ४Խ 2 1. ΤϜεϦʔʹ͍ͭͯ 2. ΤϜεϦʔʹ͓͚Δػցֶशͷ঺հ 3. ༷ʑͳҊ݅ɾϓϩδΣΫτΛߦ͏্Ͱͷ՝୊ 4. ղܾࡦ

Slide 3

Slide 3 text

3 ࣮ྟচɾWebαʔϏεྖҬͰͷػցֶशݚڀ։ൃͷඪ४Խ 1. ΤϜεϦʔʹ͍ͭͯ 2. ΤϜεϦʔʹ͓͚Δػցֶशͷ঺հ 3. ༷ʑͳҊ݅ɾϓϩδΣΫτΛߦ͏্Ͱͷ՝୊ 4. ղܾࡦ

Slide 4

Slide 4 text

m3.com: ҩྍैࣄऀ޲͚ϙʔλϧαΠτ • ೔ຊͷҩࢣͷ໿90%͕ొ࿥ • ೔ʑͷҩྍχϡʔε΍৽ༀͳͲͷ৘ใΛൃ৴ ΤϜεϦʔʹ͍ͭͯ 4 ΤϯδχΞϦϯάάϧʔϓ / AIɾػցֶशνʔϜɿ MLΛ༻͍ͯαʔϏεͷվળ΍৽نࣄۀͷ૑ग़Λ͓͜ͳ͏

Slide 5

Slide 5 text

ϓϩμΫτͷྫɿWebαʔϏεྖҬ 5 ҩྍχϡʔεɾϝϧϚΨ ҩࢣ΁ͷ૬ஊαʔϏε ిࢠΧϧς ڭҭ ւ֎ࣄۀ ϚʔέςΟϯάࢧԉ ΩϟογϡϨεܾࡁ ίϯγϡʔϚ޲͚ ΫϦχοΫ޲͚ ೔ຊͷҩࢣͷ໿90%͕ొ࿥ ҩࢣ޲͚WebαʔϏε

Slide 6

Slide 6 text

ϓϩμΫτͷྫɿ࣮ྟচྖҬ (৽نࣄۀ) 6

Slide 7

Slide 7 text

࣮ྟচɾWebαʔϏεྖҬͰͷػցֶशݚڀ։ൃͷඪ४Խ 7 1. ΤϜεϦʔʹ͍ͭͯ 2. ΤϜεϦʔʹ͓͚Δػցֶशͷ঺հ 3. ༷ʑͳҊ݅ɾϓϩδΣΫτΛߦ͏্Ͱͷ՝୊ 4. ղܾࡦ

Slide 8

Slide 8 text

WebαʔϏεྖҬʹ͓͚Δػցֶश 8 هࣄϨίϝϯυ ݕࡧ Ϣʔβʔͷੑ֨ڵຯ༧ଌ χϡʔεαΠτͰϢʔβʔ  1ਓ1ਓͷᅂ޷ʹ߹Θ͓ͤͯ͢ ͢ΊهࣄΛύʔιφϥΠζ m3಺ͷهࣄͱ֎෦αΠτΛ ෳ߹ͨ͠ҩࢣ޲͚ʹಛԽ͠ ͨݕࡧΤϯδϯ ॅ୐ߪೖ΍స৬ͳͲʹڵຯ ͷ͋ΔϢʔβΛಛఆ͠ɺ ϚʔέςΟϯάʹ׆༻͢Δ χϡʔεA χϡʔεB χϡʔεC χϡʔεA χϡʔεD χϡʔεE ݕࡧ ̋ ॅ୐ߪೖ ☓ స৬ ̋ స৬ ̋ ॅ୐ߪೖ

Slide 9

Slide 9 text

࣮ྟচྖҬʹ͓͚Δػցֶश 9 ڳ෦Ϩϯτήϯ͔Β ഏͷ࣬ױΛൃݟ رগ࣬ױͷൃݟ Xઢը૾ ࣬ױͷ༗ແ

Slide 10

Slide 10 text

࣮ྟচྖҬʹ͓͚Δػցֶश 10 CTͳͲ͔ΒCOVID-19 ױऀͷ༧ޙΛ༧ଌ ॏ঱ԽϦεΫͷ༧ଌ CTը૾ ྟচ৘ใɾ ױऀͷܦա

Slide 11

Slide 11 text

࣮ྟচྖҬʹ͓͚Δػցֶश 11 ΢ΣΞϥϒϧσόΠε ͔Βༀͷ෭࡞༻Λൃݟ ࣭ؒੑഏԌͷૣظൃݟ ηϯαʔ͔Βͷ ࣌ܥྻσʔλ ױऀͷܦա

Slide 12

Slide 12 text

࣮ྟচɾWebαʔϏεྖҬͰͷػցֶशݚڀ։ൃͷඪ४Խ 12 1. ΤϜεϦʔʹ͍ͭͯ 2. ΤϜεϦʔʹ͓͚Δػցֶशͷ঺հ 3. ༷ʑͳҊ݅ɾϓϩδΣΫτΛߦ͏্Ͱͷ՝୊ 4. ղܾࡦ

Slide 13

Slide 13 text

MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ MLΤϯδχΞ

Slide 14

Slide 14 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ Ϟσϧ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 15

Slide 15 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ Ϟσϧ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 16

Slide 16 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ Ϟσϧ ଐਓԽ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 17

Slide 17 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ Ϟσϧ ଐਓԽ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 18

Slide 18 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ Ϟσϧ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 19

Slide 19 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ Ϟσϧ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 20

Slide 20 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ Ϟσϧ ྲྀ༻ ྲྀ༻ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 21

Slide 21 text

XXʹڵຯͷ͋Δਓʹ Ξϓϩʔν͍ͨ͠ YYΛങͬͯ͘Εͦ͏ ͳਓΛ஌Γ͍ͨ ୀձͦ͠͏ͳਓʹ  ࢪࡦΛଧ͍ͪͨ ZZʹߠఆҙݟͷਓΛ ஌Γ͍ͨ ͜ͷલͱಉ͡ײ͡Ͱ ͳΔૣͰʂ ࠓिதʹʂ Ϟσϧ ྲྀ༻ ྲྀ༻ όά ʁ ʁ ଐਓԽ ฒߦͯ͠૸ΔҊ݅ λΠτͳక੾ MLΤϯδχΞ MLར༻Ҋ݅ͰΑ͋͘Δ̏՝୊ɿWebαʔϏεྖҬͰͷྫ

Slide 22

Slide 22 text

࣮ྟচྖҬͰ΋ಉ͡3՝୊͕ൃੜ Ϩϯτήϯ͔Β XපΛൃݟ͍ͨ͠ CT͔ΒকདྷͷYපͷ ϦεΫΛ༧ଌ͍ͨ͠ ΢ΣΞϥϒϧσʔλ͔ ΒZපΛൃݟ͍ͨ͠ CTͱ݂ӷݕ͔ࠪΒ WපΛ༧ଌ͍ͨ͠ ͳΔૣͰʂ 1ϲ݄Ҏ಺ʹʂ ৭ʑϞσϧΛࢼ͢ඞཁ Ϟσϧ ྲྀ༻ ྲྀ༻ όά ʁ ʁ ଐਓԽ λΠτͳక੾ MLΤϯδχΞ ฒߦͯ͠૸ΔҊ݅ ML model ML model ML model

Slide 23

Slide 23 text

࣮ྟচɾWebαʔϏεྖҬͰͷػցֶशݚڀ։ൃͷඪ४Խ 23 1. ΤϜεϦʔʹ͍ͭͯ 2. ΤϜεϦʔʹ͓͚Δػցֶशͷ঺հ 3. ༷ʑͳҊ݅ɾϓϩδΣΫτΛߦ͏্Ͱͷ՝୊ 4. ղܾࡦ

Slide 24

Slide 24 text

ߴ଎ԽɾฒྻԽɾඪ४ԽͰ̏ͭͷ՝୊Λࠀ෰ 24 ਪ࿦ σʔλऩू ಛ௃࡞੒ Ϟσϧ࡞੒ ֶश࣮ߦ ֶश؂ࢹ ֶशධՁ ଐਓԽ λΠτͳక੾ ฒߦͯ͠૸ΔҊ݅ ඪ४Խ ฒྻԽ ߴ଎Խ վળΠςϨʔγϣϯ  Λߴ଎ʹճ͢ ίΞ։ൃऀҎ֎Ͱ΋  ࣮ߦͰ͖ΔΑ͏ʹ ଟ਺ͷҊ݅Λ  ฒߦͯ͠ରԠͰ͖Δ

Slide 25

Slide 25 text

25 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ߴ଎Խ ඪ४Խ ฒྻԽ σʔλ Πϯϑϥ ख๏ ᶃKubernetesΛ༻ ͍ͯλεΫΛ෼ࢄ ॲཧ ᶆίʔυͰ  Πϯϑϥͷ࠶ݱ ੑΛอͭ ᶅઃఆϑΝΠϧ Ͱֶशɾਪ࿦ͷ ڍಈΛ੍ޚ ᶄΑ͘࢖͏ػೳ ΛMLγεςϜࣗ ਎ʹ࣮૷ ᶋίʔσΟϯά ํ๏Λඪ४Խ ᶊ࣮ݧ΍෼ੳͷυ ΩϡϝϯτԽͰख ໭ΓΛݮΒ͢ ᶇGCS+WebDataset Ͱେن໛σʔλΛ औΓѻ͏ ᶈgokartΛ࢖ͬͯ தؒσʔλΛ Ωϟογϡ ᶉσʔλμ΢ϯϩʔυ ΛϥΠϒϥϦԽ

Slide 26

Slide 26 text

26 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ߴ଎Խ ඪ४Խ ฒྻԽ σʔλ Πϯϑϥ ख๏ ᶃKubernetesΛ༻ ͍ͯλεΫΛ෼ࢄ ॲཧ ᶆίʔυͰ  Πϯϑϥͷ࠶ݱ ੑΛอͭ ᶅઃఆϑΝΠϧ Ͱֶशɾਪ࿦ͷ ڍಈΛ੍ޚ ᶄΑ͘࢖͏ػೳ ΛMLγεςϜࣗ ਎ʹ࣮૷ ᶋίʔσΟϯά ํ๏Λඪ४Խ ᶊ࣮ݧ΍෼ੳͷυ ΩϡϝϯτԽͰख ໭ΓΛݮΒ͢ ᶇGCS+WebDataset Ͱେن໛σʔλΛ औΓѻ͏ ᶈgokartΛ࢖ͬͯ தؒσʔλΛ Ωϟογϡ ᶉσʔλμ΢ϯϩʔυ ΛϥΠϒϥϦԽ

Slide 27

Slide 27 text

27 ᶃ KubernetesΛ༻͍ͯ෼ࢄॲཧ ฒྻԽ ߴ଎Խ • λεΫ͕૿͑ͯ͘Δͱෳ਺ͷֶशɾਪ࿦λεΫΛฒྻʹ࣮ߦ͍ͨ͠ • λεΫ͝ͱʹཁٻεϖοΫ͕ҟͳΔ KubernetesͰλεΫΛฒྻʹ࣮ߦ • ίϯςφԽͨ͠ଟ਺ͷΞϓϦέʔγϣϯΛ૊Έ߹Θ࣮ͤͯߦΛࢧԉ • AIνʔϜͰ͸GCP্ͷαʔϏεͰ͋ΔGKEΛར༻ • εέʔϦϯά΍ϊʔυͷछྨมߋ͕༰қ

Slide 28

Slide 28 text

28 ಛ௃࡞੒ʙֶशʙਪ࿦ΛKubernetes্Ͱ࣮ࢪ ֶश ਪ࿦ CVͷFold͝ͱʹϊʔυ෼ࢄ ਪ࿦ର৅ϢʔβΛ෼ׂͯ͠ϊʔυ෼ࢄ ᶃ KubernetesΛ༻͍ͯ෼ࢄॲཧ ฒྻԽ ߴ଎Խ

Slide 29

Slide 29 text

29 • ཁ݅ʹ߹ΘͤͯϊʔυϓʔϧΛ࢖͍෼͚Δ • GKEͷϓϦΤϯϓςΟϒϧϊʔυʢ೚ҙͷλΠϛϯάͰϊʔυ͕ڧ ੍ऴྃ͢ΔՄೳੑ͕͋Δ൓໘େ෯ʹ͍҆ʣΛ࢖ͬͯྉۚΛઅ໿ • —> ΨϯΨϯ෼ࢄͰ͖Δ • ෳ਺ͷֶश΍ਪ࿦Λಉ࣌ฒߦʹճͤΔ • ࣮ݧΠςϨʔγϣϯ͕ߴ଎Խ͠ɺੑೳվળʹूதͰ͖Δ ֶश ਪ࿦ CPU༏ઌϊʔυ ϝϞϦ༏ઌϊʔυ ฒྻԽ ߴ଎Խ ᶃ KubernetesΛ༻͍ͯ෼ࢄॲཧ

Slide 30

Slide 30 text

30 ᶄ ֶशɾ෼ੳ༻ػೳΛMLγεςϜࣗ਎ʹ࣮૷ ඪ४Խ 1ʣೋॏͷcross validation  2ʣstratiﬁed train test split 3ʣShapley஋Λग़ྗ • ֶशํ๏΍༧ଌ݁Ռͷ෼ੳɾධՁ΍࡞ۀऀ͝ͱʹ΍Γํ͕όϥόϥ ʹͳΓ΍͍͢ • ଐਓԽͤ͞ͳ͍Α͏ʹඪ४Խ͍ͨ͠ MLγεςϜࣗ਎ʹֶशɾ෼ੳ༻ͷϝιουΛ࣮૷

Slide 31

Slide 31 text

31 ᶄ ֶशɾ෼ੳ༻ػೳΛMLγεςϜࣗ਎ʹ࣮૷ ඪ४Խ 1) ೋॏͷcross validation ී௨ͷCV ೋॏCV ֶश ςετ ධՁ  ϋΠύʔύϥϝʔλ ௐ੔ͳͲʹ࢖༻ ϋΠύʔύϥϝʔλௐ੔΍early stopping ͕ෆ҆ఆʹͳΔ͜ͱ΋ ֶशσʔλͷதΛ͞ΒʹCV͢Δ͜ͱͰ ϋΠύʔύϥϝʔλௐ੔Λ҆ఆͤͨ͞ ֶश ςετ ධՁ ࢀߟ: Cawley, G.C.; Talbot, N.L.C. On over-ﬁtting in model selection and subsequent selection bias in performance evaluation. J. Mach. Learn. Res 2010,11, 2079-2107.

Slide 32

Slide 32 text

32 ᶄ ֶशɾ෼ੳ༻ػೳΛMLγεςϜࣗ਎ʹ࣮૷ ඪ४Խ 2) stratiﬁed train test split split͝ͱʹਖ਼ྫɾෛྫσʔλͷൺ཰͕ಉ͡ʹͳΔΑ͏ʹ෼ׂ Ͳͷಛ௃ͷӨڹͰͦͷ݁Ռʹࢸͬͨͷ͔Λઆ໌Մೳʹ͢Δ 3) Shapley஋Λग़ྗ සൟʹ࢖͏ػೳΛMLγεςϜʹ૊ΈࠐΜͰ࣮૷͓ͯ͘͜͠ͱ Ͱɺ࣮ߦऀʹґΒͣෳࡶͳֶश΍෼ੳ͕Մೳʹͳͬͨ ಛ௃A B C D E ༧ଌ݁Ռɿpositive ֶश ςετ ̋̋̋̋☓☓ ̋̋☓

Slide 33

Slide 33 text

33 ᶅ ઃఆϑΝΠϧͰֶशɾਪ࿦ͷڍಈΛ੍ޚ ඪ४Խ • ֶशํ๏ʹෳ਺બ୒ࢶΛ༻ҙͨ݁͠Ռɺઃఆ͕ෳࡶ • աڈͷ࣮ݧΛৼΓฦΔࡍʹͲͷόʔδϣϯͷίʔυΛ࢖ͬͨͷ͔ Θ͔Βͣɺ࠶ݱࠔ೉ ̍ͭͷઃఆϑΝΠϧͰֶशɾਪ࿦ͷڍಈΛ੍ޚ • ڭࢣσʔλͷύε • ಛ௃બ୒ํ๏ • Ϟσϧͷछྨɾύϥϝλ • CVํ๏ • stratify split͢Δ͔ • ίʔυͷίϛοτϋογϡɹ౳ ઃఆϑΝΠϧ

Slide 34

Slide 34 text

34 ᶅ ઃఆϑΝΠϧͰֶशɾਪ࿦ͷڍಈΛ੍ޚ • ڭࢣσʔλͷύε • ಛ௃બ୒ํ๏ • Ϟσϧͷछྨɾύϥϝλ • ίʔυͷίϛοτϋογϡɹ౳ ઃఆϑΝΠϧ MLγεςϜ Kubernetes GCR BigQuery GCS docker  Πϝʔδ ಛ௃  σʔλ ڭࢣ  σʔλ • ࣮ݧઃఆΛઃఆϑΝΠϧʹهड़͢Δ͚ͩͰ • ઃఆʹԊͬͯdockerΠϝʔδ/σʔλΛGCR, BigQuery, GCSͳͲ͔Βऔಘ • Kubernetesʹ෼ࢄσϓϩΠ ίʔυ hash: ﬀ34 tag: ﬀ34 push build & push ඪ४Խ

Slide 35

Slide 35 text

35 • ڭࢣσʔλͷύε • ಛ௃બ୒ํ๏ • Ϟσϧͷछྨɾύϥϝλ • ίʔυͷίϛοτϋογϡɹ౳ ઃఆϑΝΠϧ Kubernetes • ઃఆϑΝΠϧΛॻ͚ͩ͘ͰֶशΛ࣮ߦͰ͖ΔΑ͏ʹͳͬͨ • ։ൃͱ࣮ߦ͕෼཭͠ίʔυΛҙֶࣝͤͣशΛճͤΔ • ➔ίΞ։ൃऀҎ֎Ͱ΋࣮ߦՄೳʹ • ࣮ݧઃఆͱίʔυΛඥ෇͚ • ࠷৽͚ͩͰͳ͘աڈͷίʔυ΋ࢀরͰ͖Δ • ➔࠶ݱੑΛ୲อ ඪ४Խ MLγεςϜ ᶅ ઃఆϑΝΠϧͰֶशɾਪ࿦ͷڍಈΛ੍ޚ

Slide 36

Slide 36 text

36 ඪ४Խ ᶆ ίʔυͰΠϯϑϥͷ࠶ݱੑΛอͭ GKE GCR docker  Πϝʔδ BigQuery ಛ௃  σʔλ GCS ڭࢣ  σʔλ GCS΍BigQueryͳͲɺϦιʔεͷ؅ཧ͕ෳࡶ TerraformΛ࢖ͬͯɺίʔυͰΠϯϑϥΛ؅ཧͯ͠ ࠶ݱ΍ϨϏϡʔΛ༰қʹͨ͠

Slide 37

Slide 37 text

37 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ߴ଎Խ ඪ४Խ ฒྻԽ σʔλ Πϯϑϥ ख๏ ᶃKubernetesΛ༻ ͍ͯλεΫΛ෼ࢄ ॲཧ ᶆίʔυͰ  Πϯϑϥͷ࠶ݱ ੑΛอͭ ᶅઃఆϑΝΠϧ Ͱֶशɾਪ࿦ͷ ڍಈΛ੍ޚ ᶄΑ͘࢖͏ػೳ ΛMLγεςϜࣗ ਎ʹ࣮૷ ᶋίʔσΟϯά ํ๏Λඪ४Խ ᶊ࣮ݧ΍෼ੳͷυ ΩϡϝϯτԽͰख ໭ΓΛݮΒ͢ ᶇGCS+WebDataset Ͱେن໛σʔλΛ औΓѻ͏ ᶈgokartΛ࢖ͬͯ தؒσʔλΛ Ωϟογϡ ᶉσʔλμ΢ϯϩʔυ ΛϥΠϒϥϦԽ

Slide 38

Slide 38 text

38 ᶇ GCS+WebDatasetͰେن໛σʔλΛऔΓѻ͏ ߴ଎Խ • ྟচྖҬͷֶशσʔλ͸ը૾ͩͬͨΓͱ༰ྔ͕ڊେ • ϝϞϦ΍ετϨʔδʹ৐Γ੾Βͳ͍ Google Cloud Storage (GCS) + WebDatasetΛ׆༻ • ্ཱ͔ͪ͛Βֶश։࢝·Ͱͷμ΢ϯϩʔυͷΦʔόʔϔου͕ͳ͘ͳΔ • ௚઀GCSͷσʔληοτΛಡΈࠐΉͷͰ࠶ݱੑ͕ߴ͍ • ϝϞϦͱετϨʔδΛઅ໿Ͱ͖Δ WebDataset: pytorchʹର͠ɺGCSͳͲ͔ΒετϦʔϛϯάͰσʔλͷऔಘ ΛՄೳʹ͢ΔϥΠϒϥϦ ฒྻԽ

Slide 39

Slide 39 text

gokartͱ͸ • ΤϜεϦʔൃOSSͷpython༻ύΠϓϥΠϯϥΠϒϥϦ • ॲཧΛTaskͱݺ͹ΕΔΫϥε୯ҐͰґଘؔ܎ͱͱ΋ʹهड़͢Δ • ґଘؔ܎Λղܾ͠ͳ͕ΒॲཧΛ͢͢ΊΔ • ్தܦա͸Ωϟογϡ͞Ε͍ͯΔͨΊɺಉ͡ॲཧ͸̎ճ໨͸লུͰ͖Δ 39 gokartͱ͍͏ύΠϓϥΠϯπʔϧΛ։ൃ͠  ڞ௨ͨ͠ಛ௃ྔ͸࢖͍ճ͢ ॲཧ̍ ॲཧ̎ ॲཧ̏ σʔλ̍ σʔλ̎ Ϟσϧ  ֶश̍ ߴ଎Խ ᶈ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ ಛ௃ྔΛҊ݅͝ͱʹΠν͔Β࡞Γ௚͢ͷ͸ඇޮ཰

Slide 40

Slide 40 text

40 gokartͱ͍͏ύΠϓϥΠϯπʔϧΛ։ൃ͠  ڞ௨ͨ͠ಛ௃ྔ͸࢖͍ճ͢ ߴ଎Խ ᶈ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ ॲཧ̍ ॲཧ̎ ॲཧ̏ σʔλ̍ σʔλ̎ Ϟσϧ  ֶश̍ Ϟσϧ  ֶश̎ ಛ௃ྔΛҊ݅͝ͱʹΠν͔Β࡞Γ௚͢ͷ͸ඇޮ཰ gokartͱ͸ • ΤϜεϦʔൃOSSͷpython༻ύΠϓϥΠϯϥΠϒϥϦ • ॲཧΛTaskͱݺ͹ΕΔΫϥε୯ҐͰґଘؔ܎ͱͱ΋ʹهड़͢Δ • ґଘؔ܎Λղܾ͠ͳ͕ΒॲཧΛ͢͢ΊΔ • ్தܦա͸Ωϟογϡ͞Ε͍ͯΔͨΊɺಉ͡ॲཧ͸̎ճ໨͸লུͰ͖Δ

Slide 41

Slide 41 text

41 • ಛ௃ྔͷੜ੒ϓϩηε͕ίʔυԽ͞Ε͍ͯΔ • ಛ௃ྔσʔλ͕Ωϟογϡ • ➔ Ҋ݅ʹΑΒͣ࢖͍ճͤΔ • ➔ ઃఆΛม͑ͨ࠶࣮ݧͰ΋࠶ར༻ʹΑΔ࣌ؒ୹ॖ • ϓϩηε్͕தͰམͪͯ΋్தͷΩϟογϡ͔Β࠶։ • ➔ ҆৺ͯ͠GKEͷϓϦΤϯϓςΟϒϧϊʔυΛ࢖͑Δ • Ωϟογϡ࠶ར༻ʹΑ࣮ͬͯߦ࣌ؒΛ୹ॖͰ͖ͨ • ϓϦΤϯϓςΟϒϧͷ׆༻ͰGKEͷྉۚͷઅ໿͕Ͱ͖ͨ ߴ଎Խ ॲཧ̍ ॲཧ̎ ॲཧ̏ σʔλ̍ σʔλ̎ Ϟσϧ  ֶश̍ Ϟσϧ  ֶश̎ ᶈ gokartΛ࢖ͬͯதؒσʔλΛΩϟογϡ͢Δ

Slide 42

Slide 42 text

BigQuery Ϣʔβ  σʔλ هࣄӾཡ  σʔλ ΫϦοΫ  σʔλ ᶉ νʔϜ಺ڞ௨ͷμ΢ϯϩʔυϥΠϒϥϦͰσʔλಡΈࠐΈ 42 • ֤MLϓϩμΫτͰ΋࢖͍ͬͯΔσʔλ͸ࣅ͍ͯΔ • BQ͔Βσʔλऔಘ͢ΔͨΊʹͦΕͧΕSQLΛॻ͔ͳ͍ͱ͍͚ͳ͍ ඪ४Խ Ϟσϧ1 Ϟσϧ2 Ϟσϧ3 Ϟσϧ4 SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL

Slide 43

Slide 43 text

BigQuery Ϣʔβ  σʔλ هࣄӾཡ  σʔλ ΫϦοΫ  σʔλ ᶉ νʔϜ಺ڞ௨ͷμ΢ϯϩʔυϥΠϒϥϦͰσʔλಡΈࠐΈ 43 • μ΢ϯϩʔυ༻ͷڞ௨ϥΠϒϥϦΛ࢖༻ • طଘͷμ΢ϯϩʔυϝιου͕࢖͍·ΘͤΔ ➔ SQLΛϓϩμΫτ͝ͱʹॻ͔ͳͯ͘ࡁΉ • gokartͰඪ४Խ͞Ε͓ͯΓಡΈॻ͖͠΍͍͢ • ➔ ୭Ͱ΋؆୯ʹ࢖͑Δ ඪ४Խ Ϟσϧ1 mushroom μ΢ϯϩʔυ༻  ϥΠϒϥϦ SQL ϝιουΛར༻ Ϟσϧ2 Ϟσϧ3 Ϟσϧ4

Slide 44

Slide 44 text

44 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ߴ଎Խ ඪ४Խ ฒྻԽ σʔλ Πϯϑϥ ख๏ ᶃKubernetesΛ༻ ͍ͯλεΫΛ෼ࢄ ॲཧ ᶆίʔυͰ  Πϯϑϥͷ࠶ݱ ੑΛอͭ ᶅઃఆϑΝΠϧ Ͱֶशɾਪ࿦ͷ ڍಈΛ੍ޚ ᶄΑ͘࢖͏ػೳ ΛMLγεςϜࣗ ਎ʹ࣮૷ ᶋίʔσΟϯά ํ๏Λඪ४Խ ᶊ࣮ݧ΍෼ੳͷυ ΩϡϝϯτԽͰख ໭ΓΛݮΒ͢ ᶇGCS+WebDataset Ͱେن໛σʔλΛ औΓѻ͏ ᶈgokartΛ࢖ͬͯ தؒσʔλΛ Ωϟογϡ ᶉσʔλμ΢ϯϩʔυ ΛϥΠϒϥϦԽ

Slide 45

Slide 45 text

ᶊ ࣮ݧ΍෼ੳͷυΩϡϝϯτԽͰख໭ΓΛͳ͘͢ 45 ϞσϧͷੑೳվળͰʮ݁Ռͷ෼ੳ -> ࣍ͷΞϓϩʔνΛཱҊʯͷϑΣʔζͰ ͸ɺݕ౼ͷൈ͚࿙Ε΍ޡͬͨ෼ੳʹΑΓख໭Γ͕ൃੜ͠΍͍͢ ෼ੳܭըΛσβΠϯυΩϡϝϯτԽͯ͠slackͰϨϏϡʔΛ΋Β͏ • લͷ࣮ݧͰͷ՝୊ • ݪҼͷԾઆ • ԾઆΛݕূ͢Δ෼ੳํ๏Ҋ • Ծઆ͕ਖ਼͔ͬͨ͠৔߹ͷnext actionҊ • ݴޠԽ͢Δ͜ͱͰൈ͚࿙Εʹ΋ؾ͕͚ͭͨ • จষԽ͸ख͕͔͔ؒΔ͕ɺख໭Γ͕গͳ͘ɺ݁Ռతʹૣ͍ ߴ଎Խ

Slide 46

Slide 46 text

46 ඪ४Խ • ڞ௨෦෼͸ςϯϓϨʔτΛ࢖͑ΔͷͰ޻਺࡟ݮ • ϓϩμΫτ͝ͱͷࠩҟ͕খ͘͞ͳΓɺ୲౰ऀҎ֎Ͱ΋ϨϏϡʔ͠΍͍͢ ᶋ ίʔσΟϯάํ๏Λඪ४Խͯ͠࠶ݱੑΛอͭ ґଘϥΠϒϥϦͷόʔδϣϯ؅ཧ͕೉͍͠ poetryͰ؅ཧ͢Δ͜ͱͰόʔδϣϯΛݻఆͰ͖Δ ίʔυͷ඼࣭Λߴ͘ҡ͍࣋ͨ͠ ίʔυͷσΟϨΫτϦߏ଄Λڞ௨Խ͍ͨ͠ GitLab CI Λ࢖ͬͨlinterνΣοΫɾϢχοτςετࣗಈԽ ΧελϚΠζCookiecutterΛ࢖ͬͨϓϩδΣΫτͷඪ४Խ Ϛʔδ࣌ͷίʔυϨϏϡʔΛ௨ͯ͡ίʔυ඼࣭Λอͭ

Slide 47

Slide 47 text

47 ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰ ߴ଎Խ ඪ४Խ ฒྻԽ σʔλ Πϯϑϥ ख๏ ᶃKubernetesΛ༻ ͍ͯλεΫΛ෼ࢄ ॲཧ ᶆίʔυͰ  Πϯϑϥͷ࠶ݱ ੑΛอͭ ᶅઃఆϑΝΠϧ Ͱֶशɾਪ࿦ͷ ڍಈΛ੍ޚ ᶄΑ͘࢖͏ػೳ ΛMLγεςϜࣗ ਎ʹ࣮૷ ᶋίʔσΟϯά ํ๏Λඪ४Խ ᶊ࣮ݧ΍෼ੳͷυ ΩϡϝϯτԽͰख ໭ΓΛݮΒ͢ ᶇGCS+WebDataset Ͱେن໛σʔλΛ औΓѻ͏ ᶈgokartΛ࢖ͬͯ தؒσʔλΛ Ωϟογϡ ᶉσʔλμ΢ϯϩʔυ ΛϥΠϒϥϦԽ

Slide 48

Slide 48 text

48 ΤϜεϦʔͰ͸MLγεςϜΛ։ൃɾվળͯ͘͠ΕΔਓΛืूதͰ͢ https://jobs.m3.com/engineer/ ̏՝୊Λղܾ͢Δ͜ͱͰεέʔϧ͢ΔγεςϜ͕Ͱ͖ͨ • ߴ଎ԽɿվળΠςϨʔγϣϯΛߴ଎ʹճͤͨ • ฒྻԽɿଟ਺ͷҊ݅Λಉ࣌ਐߦͰ͜ͳͤͨ • ඪ४Խɿ։ൃ/࣮ߦΛ෼཭ͨ͜͠ͱͰɺ৽نϝϯόʔͰ΋͙͢ʹ࣮ߦͰ͖ͨ ·ͱΊ: ߴ଎ԽɾฒྻԽɾඪ४ԽͰMLҊ݅3՝୊Λࠀ෰