パーソナライズを追求するお菓子の製造需要予測を自動化させた話

株式会社スナックミーで行ったaws sagemakerを用いた需要予測システムの開発、導入のお話。

Transcript

1. ύʔιφϥΠζΛ௥ٻ͢Δ͓՛ࢠͷ ੡଄धཁ༧ଌΛࣗಈԽͤͨ͞࿩ גࣜձࣾεφοΫϛʔ Dev Day T okyo2018 11.01 Co-Founder & CTO ࡾ޷ ൏ਓ Data Scientist ླ໦ Ұ࢙
2. ࣗݾ঺հ ࡾ޷ ൏ਓ גࣜձࣾεφοΫϛʔ (snaq.me) Co-Founder & CTO ޷͖ͳAWS Lambda / ECR
3. εφοΫϛʔ (snaq.me)ͱ͸ ? ͓՛ࢠ(εφοΫ)ͷఆظߪೖαʔϏε 150छྨҎ্ͷ͓՛ࢠ͔Β8छྨຖճ͓ಧ͚ ஋ஈ 1,728ԁ (੫ࠐ) / ճ 2िʹ1౓ or 4िʹ1౓ͷ͓ಧ͚Մೳ
4. εφοΫϛʔ (snaq.me)ͱ͸ ? εφοΫϛʔΦϦδφϧͰ੡଄͞Εͨ φνϡϥϧϑΟφϯγΣ ߳઒ݝ࢈ͷ্࣭ͳখഴͱశࡊ౶Λ࢖༻͠ ম্͖͛ ೕԽࡎ΍ਓޱ߳ྉͳͲΛ࢖༻͍ͯ͠ͳ͍ ͨΊɺ༏͍͠؁͞ͱɺඒຯ͠͞ͷ༨ӆ͕ ௕͍ͷ͕ಛ௃ ίίΞϑΟφϯγΣ
5. εφοΫϛʔ (snaq.me)ͱ͸ ? ࠭౶ෆ࢖༻ͰύΠφοϓϧ͚ͩͷϦΞϧ υϥΠϑϧʔπ Ұޱ৯΂Δͱɺࠓ·Ͱ৯΂ͨυϥΠϑϧʔ πͱҧ͏ຯΘ͍/৯ײͳͲ υϥΠϑϧʔπͳͷʹɺδϡʔγʔײʂ ੜͷϑϧʔπ͕͞ΒʹࢫຯΛ͚ͭͯਐԽ ͨ͠ײ͡ ϓϨϛΞϜυϥΠύΠϯ
6. εφοΫϛʔ (snaq.me)ͱ͸ ? ϦΫΤετ/ ධՁΛߦ͏͜ͱͰύʔιφϥ Πζ͕Մೳ 1ਓ1ਓ͓ಧ͚͢Δ͕͓՛ࢠ͕ҟͳΔ
7. ੡଄͔Βൃૹ·ͰͷྲྀΕ ੡଄ࢦࣔॻ ࡞੒ ੡଄ ࡏݿొ࿥ ΞαΠϯ * ΞαΠϯ : ͓٬༷΁ಧ͚ΔεφοΫΛબͿ͜ͱ ϐοΩϯά ൃૹ
8. ੡଄͔Βൃૹ·ͰͷྲྀΕ ੡଄ࢦࣔॻ ࡞੒ ੡଄ ࡏݿొ࿥ ΞαΠϯ * ΞαΠϯ : ͓٬༷΁ಧ͚ΔεφοΫΛબͿ͜ͱ ϐοΩϯά ൃૹ γεςϜԽΛਐΊ͍ͯΔՕॴ
9. ΞαΠϯͷߏ੒ਤ
10. ੡଄͔Βൃૹ·ͰͷྲྀΕ before ੡଄ࢦࣔॻ ࡞੒ ੡଄ ࡏݿొ࿥ ΞαΠϯ * ΞαΠϯ : ͓٬༷΁ಧ͚ΔεφοΫΛબͿ͜ͱ ϐοΩϯά ൃૹ
11. ΞαΠϯͷ࢓૊Έ by Well Architecture of the year ͔͜͜Βࢿྉ֬ೝͰ͖·͢
12. ࠓճ͸ ੡଄ࢦࣔॻ
13. ੡଄͔Βൃૹ·ͰͷྲྀΕ before ੡଄ࢦࣔॻ ࡞੒ ੡଄ ࡏݿొ࿥ ΞαΠϯ * ΞαΠϯ : ͓٬༷΁ಧ͚ΔεφοΫΛબͿ͜ͱ ϐοΩϯά ൃૹ
14. ੡଄࣌ͷ՝୊ ੡଄ࢦࣔॻͷ࡞੒ʹຖि1ʙ2೔͔͔Δ ੡଄ܭը͕όϥόϥ ഑ૹͨ͠εφοΫͷຬ଍౓ͷ൑ఆ͕೉͍͠ ࠷খɺ࠷େՄೳ੡଄਺͕όϥόϥ ͳͲ
15. SageMakerͰधཁ༧ଌ͠Α͏
16. SageMakerͰ࣮ݱ͍ͤͨ͜͞ͱ खܰʹར༻͍ͨ͠ ίετ͸࠷খݶ & ࣗಈԽ͍ͤͨ͞ SageMakerͰػցֶशͷج൫Λ࡞Γ͍ͨ ͳͲ
17. धཁ༧ଌߏ੒ਤ
18. धཁ༧ଌߏ੒ਤ
19. धཁ༧ଌ෦෼ͷߟ͑ํ Ϣʔβʔ਺༧ଌ ഑ૹ͓՛ࢠͷຬ଍౓
20. धཁ༧ଌߏ੒ਤ point - ᶃ
21. धཁ༧ଌߏ੒ਤ point - ᶃ ɾStepFunctionsΛ༻͍Δ͜ͱͰ ඞཁͷͱ͖ʹSagemakerΛىಈ ༧ଌ͕ऴΘͬͨΒɺendpointΛ ࡟আ͢Δ͜ͱ͕Մೳ ɾΤϥʔ࣌ͷ࠶τϥΠ΋༰қʹ ઃఆՄೳ
22. धཁ༧ଌߏ੒ਤ point - ᶄ
23. धཁ༧ଌߏ੒ਤ point - ᶄ ɾCloudWatch EventsΛ༻͍Δ͜ͱͰɺ࠶ֶशΛఆظతʹߦ͏͜ͱ͕ Մೳ
24. धཁ༧ଌߏ੒ਤ point - ᶅ
25. धཁ༧ଌߏ੒ਤ point - ᶅ ɾS3ͷόʔδϣχϯάΛ༻͍͜ͱͰɺສ͕Ұಈ͔ͳ͍Ϟσϧ͕࠷৽൛ Ͱ΋ҰͭલͷόʔδϣϯͰϦΧόϦʔ͕Մೳ
26. ͜ͷߏ੒ਤΛ։ൃͯ͠ ޻෉ͨ͠఺ / ஫ҙ఺
27. ࣗݾ঺հ ླ໦ Ұ࢙(@kz23szk) גࣜձࣾεφοΫϛʔ (snaq.me) Data Scientist ޷͖ͳAWS SageMaker
28. sagemakerͱ͸ ػցֶश༻ϑϧϚωʔδυαʔϏε ϊʔτϒοΫ্Ͱͷ࡞ۀ͕Ͱ͖Δ ̍ϝιουͰσϓϩΠ׬ྃ ໨త͝ͱͷνϡʔτϦΞϧ͕๛෋ ελʔτΞοϓ΍ػցֶशΛ͜Ε͔Β ࢝ΊΔاۀʹ͓͢͢Ίʂ
29. धཁ༧ଌ ൃ஫લʹϢʔβ਺Λਪఆ ਓखͰ༧૝ͯ͠ൃ஫ ܽ඼΍ա৒ࡏݿͷϦεΫɺਓత ίετΛ࡟ݮ͍ͨ͠
30. ՝୊ͱ޻෉఺ ʲ՝୊̍ʳΤϯυϙΠϯτΛৗ࣌ىಈ͢Δͱίετ͕͔͞Ή →༧ଌͷ౓ʹLambdaͰΤϯυϙΠϯτͷىಈɺ༧ଌɺ࡟আ ʲ՝୊̎ʳόʔδϣϯΞοϓͰಈ͔ͳ͘ͳΔ →Step FunctionsͰ࠷৽̎ϞσϧͰτϥΠ ʲ՝୊̏ʳ௚ۙͷσʔλ΋ؚΊͯ࠶ֶश͍ͨ͠ →࠶ֶश༻lambdaΛ༻ҙ (CloudWatch eventsͰ݄࣮࣌ߦʣ
31. ʲ՝୊̍ʳΤϯυϙΠϯτΛৗ࣌ىಈ͢Δͱίετ͕͔͞Ή
32. ޻෉̍ɹlambdaͰΤϯυϙΠϯτىಈͱ࡟আ boto3ʢSDKʣΛ࢖ͬͯ ΤϯυϙΠϯτΛࢦఆ͠ ىಈɺ࡟আ
33. ޻෉̍ɹlambdaͰ༧ଌ ΤϯυϙΠϯτͱσʔλΛ ࢦఆ࣮ͯ͠ߦ͢Δ͚ͩʂ ɾ༧ଌ͝ͱʹΤϯυϙΠϯτͷىಈɺ༧ଌɺ࡟আΛߦ͏͜ͱͰ ίετΛ݄਺υϧʹ཈͑Δ
34. ʲ՝୊̎ʳόʔδϣϯΞοϓͰಈ͔ͳ͘ͳΔ
35. StepFunctions jsonܗࣜͰαʔϏε࣮ߦΛ εςοϓͰ੍ޚͰ͖Δɻ
36. ޻෉̎ StepFunctions ɾهड़͢Δͱϑϩʔ͕ՄࢹԽ͞ΕΔɻ ɾlambdaίʔυ͕୯ػೳʹͳΔɻ ɾ෼ذॲཧͰόʔδϣϯΞοϓ࣌ͷো֐Λ๷͙ɻ
37. ʲ՝୊̏ʳ࠶ֶशΛࣗಈԽ͍ͨ͠ ɾCloudWatch EventsΛ༻͍Δ͜ͱͰɺ࠶ֶशΛఆظతʹߦ͏
38. ޻෉̏ɹ࠶ֶशΛࣗಈԽ Cloudwatch eventͰΫʔϩϯܗࣜͰ εέδϡʔϧ࣮ߦ LambdaଆͰલճ࣮ߦ ͨ͠δϣϒΛ࠶࣮ߦ
39. Sagemaker͜͏ͳͬͨΒخ͍͠ ɾલॲཧ༻ͷΤϯυϙΠϯτ࡞੒ػೳ͕ཉ͍͠ →ϊʔτϒοΫ্ͷίʔυΛlambdaʹ΋͖ͬͯͯରԠத
40. ɹ·ͱΊ ࡞ۀ࣌ؒͷ࡟ݮ ʢ3࣌ؒ/िʣ ୹࣌ؒɺि࣍ͷ༧ଌͰ΋ίετΛ཈͑ͯӡ༻ sagemakerͷ࣮ߦɺ࠶ֶशͷࣗಈԽʹ੒ޭ ͪΐͬͱͨ͠༧ଌΛεϞʔϧελʔτͰ࢝ΊΒΕΔʂ
41. ࠓޙ͍ͨ͜͠ͱ σΟεΧόϦʔཁૉͷڧԽ Ϣʔβʔݸʑͷػցֶश ৽঎඼ൃ۷δϟϯϧͷఏҊ ਓؾෆਓؾεφοΫͷࣗಈબผ
42. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ Let’s enjoy guilt free snacks !
43. We’re hiring! ɾFront / Backend ɾData Scientist ɾSRE etc