サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless

AWS Summit Tokyo での発表資料です。
https://aws.amazon.com/jp/summits/tokyo-2019/aws-expo/

HiCustomerではエンジニアを募集しています。興味をお持ちの方はぜひ採用サイトにお立ち寄りください。
https://hicustomer.jp/recruit/engineer/

Transcript

1. αʔόʔϨεͱ
   εέʔϥϒϧͳσʔλूܭ
   
   )J$VTUPNFSJODංલ༸༎!IJ[FOZ
   ελʔτΞοϓͰͷಋೖࣄྫͱ
   ࣌ܥྻσʔλूܭͷΞʔΩςΫνϟ
   

   View Slide

2. w )J$VTUPNFSJOD
   w ංલ༸༎
   w !IJ[FOZ
   w ΤϯδχΞڞಉ૑ۀऀ
   w ࢁͳͲΛ૸Γ·͢
   

   View Slide

3. ໨࣍
   ϓϩμΫτͱνʔϜ
   ΞϓϦέʔγϣϯߏ੒
   σʔλूܭॲཧͷΞʔΩςΫνϟ
   

   View Slide

4. ϓϩμΫτͱνʔϜ
   

   View Slide

5. ϢʔβʔΛʮϑΝϯʯʹม͑Δ
   ΧελϚʔαΫηε؅ཧϓϥοτϑΥʔϜ
   ͱ͸
   

   View Slide

6. ͱ͸
   w αϒεΫϦϓγϣϯͷ཭୤๷ࢭར༻֦େΛ໨ࢦ͢νʔϜ͕Ϣʔβʔ
   w #UP#
   4BB4ϓϩμΫτͷӡӦاۀ޲͚αʔϏε
   w 4BB4ͷར༻ঢ়گΛ෼ੳՄࢹԽ͢ΔҰछͷ؂ࢹαʔϏε
   

   View Slide

7. Ͳ͏΍Δͷ͔
   ϔϧεείΞ
   w ΧελϚʔ 4BB4ͷސ٬
   ͷϔϧεείΞΛϩά͔Βࢉग़
   w ར༻ਐ౓ εςʔδ
   ʹԠͨ͡είΞϦϯάϧʔϧΛద༻
   Πϯδέʔλʔ
   w ར༻௿ԼͳͲΛݕ஌͠୲౰ऀʹΞϥʔτΛૹ৴
   ϨϙʔςΟϯά
   w ϔϧεείΞ౳ͷϝτϦοΫΛ෼ੳ͠ɺνʔϜͷύϑΥʔϚϯεΛධՁ
   

   View Slide

8. νʔϜߏ੒
   ϓϩδΣΫτΦʔφʔ
   υϝΠϯΤΩεύʔτ
   σβΠφʔ
   ΤϯδχΞ
   *DPONBEFCZ'SFFQJLGSPNXXXqBUJDPODPN
   ʜϑϧλΠϜ
   ʜύʔτλΠϜ
   #&'& αϙʔτ '&
   ୅දླ໦
   $4ߴڮ
   

   View Slide

9. ։ൃख๏
   ݴޠ
   w (P5ZQF4DSJQU
   ΞʔΩςΫνϟ
   w αʔόʔϨε "1*(BUFXBZ-BNCEB%ZOBNP%#
   
   w 41" 7VFKT7VFY
   
   ϓϩδΣΫτ؅ཧ
   w εΫϥϜ ;FO)VC/PUJPO
   
   

   View Slide

10. ΞϓϦέʔγϣϯߏ੒
    

    View Slide

11. ॲཧͷྲྀΕ
    w ֤ࣾͷ4BB4ϓϩμΫτ͔ΒૹΒΕͯ͘ΔΧελϚʔͷߦಈϩάΛऩू͢Δ
    w ʮ௚ۙO೔ؒͰΠϕϯτ"͕NճҎ্ߦΘΕͨʯʮܖ໿ߋ৽೔·ͰO೔Ҏ಺ʯͳͲͷϧʔϧʹج͖ͮΧελϚʔͷ

    εςʔλε είΞεςʔδ
    Λࢉग़͢Δ
    w ΧελϚʔͷεςʔλεΛμογϡϘʔυͰՄࢹԽ͢Δ
    

    View Slide

12. ٕज़తಛ௃ͱ՝୊
    ΠϕϯτυϦϒϯͳγεςϜ
    w σʔλͷ౤ೖΛى఺ʹείΞܭࢉ΍௨஌Πϕϯτ͕࿈࠯తʹ૸Δ
    ߴස౓ʹॻ͖ࠐΈ͕ൃੜ͢Δ1VCMJD"1*
    w ЌϦϦʔε͔࣌ΒൺֱతߴτϥϑΟοΫʹ଱͑Δඞཁ͕͋ͬͨ
    w 8SJUFͷΈ
    w ແఀࢭӡ༻
    ௿ස౓͕ͩෳࡶͳΫΤϦ͕ൃੜ͢Δ1SJWBUF"1*
    w μογϡϘʔυͷΞϓϦέʔγϣϯ͔Βݺͼग़͞ΕΔ
    w 3FBE͕ϝΠϯ
    w සൟʹσϓϩΠ͍ͨ͠
    

    View Slide

13. ΞʔΩςΫνϟ
    

    View Slide

14. ूܭॲཧͷΞʔΩςΫνϟ
    ࣌ܥྻσʔλूܭ࣌ͷ՝୊
    

    View Slide

15. ूܭॲཧͷ՝୊
    w 3%#ʹ׳Ε͍ͯΔͱ%%#͸ूܭͰෆศΛײ͡΍͍͢
    w 42-ͷΑ͏ͳදݱྗΛظ଴͢Δͱ΢οͱͳΔ
    w ༻్ʹ߹ΘͤͯΞʔΩςΫνϟΛมߋͨ͠ࣄྫͷ঺հ
    

    View Slide

16. Ϣʔεέʔε
    w ϝτϦοΫͷࢉग़
    w ϨϙʔςΟϯά
    w ΞυϗοΫͳ෼ੳ
    ूܭର৅
    w Χ΢ϯλ
    w εςʔτ
    ॲཧͷ෼ྨ
    ର৅ͱϢʔεέʔεʹΑΓཁ͕݅ҟͳΔ
    

    View Slide

17. ूܭର৅
    छྨͷ࣌ܥྻσʔλ
    Χ΢ϯλ
    w ྦྷܭ਺ͷࢦඪ
    w 17਺ͳͲ
    w ूܭظؒ͝ͱʹϦηοτ͞ΕΔεςʔτ
    εςʔτ
    w ͋Δ࣌఺ͷঢ়ଶΛද͢ࢦඪ
    w ϥΠηϯε਺ͳͲ
    w ਺஋จࣈྻਅِ஋೔෇ͳͲ
    

    View Slide

18. Ϣʔεέʔε
    ϝτϦοΫͷࢉग़
    w ΧελϚʔͷϔϧεείΞ΍εςʔδͳͲ
    w ೔ʑͷ$4ۀ຿
    ϨϙʔςΟϯά
    w ϝτϦοΫͷ෼෍΍ਪҠͷՄࢹԽ
    w $4νʔϜͷύϑΥʔϚϯεධՁ͕໨త
    ΞυϗοΫͳ෼ੳ
    w ೚ҙͷΫΤϦͷ࣮ߦ
    w ΩϟύγςΟϓϥχϯά΍σʔλυϦϒϯͳػೳઃܭ͕໨త
    छྨͷϢʔεέʔε
    

    View Slide

19. ࠓճऔΓ্͛Δࣄྫ
    w ೔࣌ͰͷϔϧεείΞͷ෼෍ͷਪҠͷूܭΛߟ͑Δ
    ϨϙʔςΟϯά
    Ϣʔεέʔε
    w ϝτϦοΫͷࢉग़
    w ϨϙʔςΟϯά
    w ΞυϗοΫͳ෼ੳ
    ूܭର৅
    w Χ΢ϯλ
    w εςʔτ
    

    View Slide

20. εςʔτσʔλͷ࣋ͪํ
    w ঢ়ଶ͕มΘͬͨ࣌఺ͷϩάΛ%ZOBNP%#ʹอ࣋
    

    View Slide

21. εςʔτσʔλͷ࣋ͪํ
    w ͜ͷΑ͏ͳσʔλߏ଄͕ΧελϚʔ͝ͱʹอ࣋͞ΕΔ
    w ΧελϚʔ਺͸ςφϯτ͋ͨΓ਺ඦ͔Β਺ສ
    w มߋ͕͚͋ͬͨ࣌ͩσʔλ͕ॻ͖ࠐ·ΕΔ
    

    View Slide

22. εςʔτσʔλͷ࣋ͪํ
    w ॲཧ͸εςοϓ
    ूܭظؒ͝ͱʹର৅ͷू߹Λநग़
    ͷू߹Λूܭ
    w ౰೔ͷϩά͕ͳ͍৔߹͸௚લͷσʔλ͕ूܭର৅ͱͳΔͱ͜Ζ͕ϙΠϯτ
    

    View Slide

23. มߋલͷΞʔΩςΫνϟ
    w %ZOBNP%#-BNCEB
    w લ೔·Ͱͷσʔλ͸ूܭࡁΈͷςʔϒϧ͔Β3FBE
    w ౰೔ͷσʔλ͸࠷৽ͷεςʔτΛΦϯϥΠϯͰूܭ
    

    View Slide

24. ՝୊
    w ߏ଄্/͕ආ͚ΒΕͣεέʔϧͰ͖ͳ͍
    w ࠶ूܭ΋ߴίετͳͷͰσΟϝϯγϣϯͷ௥ՃͳͲ͕ؾܰʹͰ͖ͳ͍
    

    View Slide

25. ूܭॲཧͷΞʔΩςΫνϟ
    Ξϓϩʔν
    

    View Slide

26. ํ਑
    w ूܭॲཧ͸Ͱ͖Δ͚ͩΫΤϦΤϯδϯʹ೚ͤΔ
    w ΦϯϥΠϯόονͷ྆࣠Ͱݕ౼
    w ݱঢ়ͷσʔλετΞͱଞͷूܭϢʔεέʔε΋ߟྀʹೖΕΔ
    w %%#Ҏ֎ͷσʔλετΞΛซ༻࣮ͯ͠ݱ͢Δํ਑
    

    View Slide

27. બ୒ࢶ
    &MBTUJDTFBSDI
    "VSPMB
    4"UIFOB(MVF
    4(MVF
    

    View Slide

28. &MBTUJDTFBSDI
    ྑ͍఺
    w ֤εςοϓΛ࣮ݱ͢Δूܭؔ਺͸༻ҙ͞Ε͍ͯΔ
    w ΦϯϥΠϯͰͷ࢖༻ʹ଱͑Δఔ౓ʹߴ଎
    ѱ͍఺
    w εςοϓͷ݁ՌΛJOEFYʹอଘ͠ͳ͍ͱεςοϓͷ࣮ߦ͕ࠔ೉
    w શΧελϚʔͷ೔࣌ͷεφοϓγϣοτΛ&4্ʹอ࣋͢Δͷ͸ߴίετ
    1JQFMJOF"HHSFHBUJPOͰͰ͖ͳ͘΋ͳ͍͕ແཧے
    

    View Slide

29. "VSPMB
    ྑ͍఺
    w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ
    w 3FBE͸ΦϯϥΠϯͰͷ࢖༻ʹ଱͑ΒΕΔఔ౓ʹߴ଎
    ѱ͍఺
    w 8SJUF͕ߴස౓ͳϢʔεέʔεͰ͸όοϑΝϦϯά͕ඞཁͦ͏
    w ଞͷީิͱൺ΂ͯεέʔϧΞ΢τ࣌ͷڍಈ͕ෆ҆ఆ
    w Tఔ౓ͷແԠ౴͕ߟ͑ΒΕΔ
    

    View Slide

30. 4"UIFOB(MVF
    ྑ͍఺
    w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ
    w σʔλྔͷ૿ՃʹΑΔίετΠϯύΫτ͕ൺֱత௿͍
    w ΞυϗοΫͳ෼ੳج൫ͱͯ͠΋࢖༻Ͱ͖Δ
    ѱ͍఺
    w Ϩεϙϯεʹ਺ඵ͔͔ΔͨΊόονͰͷࣄલूܭ͕ඞਢ
    w σʔλετΞ͕෼ࢄ͢Δ͜ͱʹΑΔΞʔΩςΫνϟͷෳࡶԽ͸ආ͚ΒΕͳ͍
    

    View Slide

31. 4"UIFOB(MVF
    

    View Slide

32. 4(MVF
    ྑ͍఺
    w ΑΓγϯϓϧ
    ѱ͍఺
    w ਓͷνʔϜͰӡ༻͢Δʹ͸ϝϯςφϯείετ͕ߴ͍ҹ৅
    

    View Slide

33. ࠷ऴతͳߏ੒
    

    View Slide

34. IUUQTXXXXBOUFEMZDPNQSPKFDUT
    ΤϯδχΞืूதʂ
    

    View Slide

35. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
    
    )J$VTUPNFSJODංલ༸༎!IJ[FOZ
    

    View Slide