サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless

サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless

AWS Summit Tokyo での発表資料です。
https://aws.amazon.com/jp/summits/tokyo-2019/aws-expo/

HiCustomerではエンジニアを募集しています。興味をお持ちの方はぜひ採用サイトにお立ち寄りください。
https://hicustomer.jp/recruit/engineer/

1cf6e2aa4d9be4d8ab8ec45598ee3f1c?s=128

Yosuke Hizen

June 12, 2019
Tweet

Transcript

  1. αʔόʔϨεͱ εέʔϥϒϧͳσʔλूܭ  )J$VTUPNFSJODංલ༸༎!IJ[FOZ ελʔτΞοϓͰͷಋೖࣄྫͱ ࣌ܥྻσʔλूܭͷΞʔΩςΫνϟ

  2. w )J$VTUPNFSJOD w ංલ༸༎ w !IJ[FOZ w ΤϯδχΞڞಉ૑ۀऀ w ࢁͳͲΛ૸Γ·͢

  3. ໨࣍  ϓϩμΫτͱνʔϜ  ΞϓϦέʔγϣϯߏ੒  σʔλूܭॲཧͷΞʔΩςΫνϟ

  4. ϓϩμΫτͱνʔϜ

  5. ϢʔβʔΛʮϑΝϯʯʹม͑Δ ΧελϚʔαΫηε؅ཧϓϥοτϑΥʔϜ ͱ͸

  6. ͱ͸ w αϒεΫϦϓγϣϯͷ཭୤๷ࢭར༻֦େΛ໨ࢦ͢νʔϜ͕Ϣʔβʔ w #UP# 4BB4ϓϩμΫτͷӡӦاۀ޲͚αʔϏε w 4BB4ͷར༻ঢ়گΛ෼ੳՄࢹԽ͢ΔҰछͷ؂ࢹαʔϏε

  7. Ͳ͏΍Δͷ͔ ϔϧεείΞ w ΧελϚʔ 4BB4ͷސ٬ ͷϔϧεείΞΛϩά͔Βࢉग़ w ར༻ਐ౓ εςʔδ ʹԠͨ͡είΞϦϯάϧʔϧΛద༻

    Πϯδέʔλʔ w ར༻௿ԼͳͲΛݕ஌͠୲౰ऀʹΞϥʔτΛૹ৴ ϨϙʔςΟϯά w ϔϧεείΞ౳ͷϝτϦοΫΛ෼ੳ͠ɺνʔϜͷύϑΥʔϚϯεΛධՁ
  8. νʔϜߏ੒ ϓϩδΣΫτΦʔφʔ υϝΠϯΤΩεύʔτ σβΠφʔ ΤϯδχΞ *DPONBEFCZ'SFFQJLGSPNXXXqBUJDPODPN ʜϑϧλΠϜ ʜύʔτλΠϜ #&'& αϙʔτ

    '& ୅දླ໦ $4ߴڮ
  9. ։ൃख๏ ݴޠ w (P5ZQF4DSJQU ΞʔΩςΫνϟ w αʔόʔϨε "1*(BUFXBZ-BNCEB%ZOBNP%#  w

    41" 7VFKT7VFY  ϓϩδΣΫτ؅ཧ w εΫϥϜ ;FO)VC/PUJPO
  10. ΞϓϦέʔγϣϯߏ੒

  11. ॲཧͷྲྀΕ w ֤ࣾͷ4BB4ϓϩμΫτ͔ΒૹΒΕͯ͘ΔΧελϚʔͷߦಈϩάΛऩू͢Δ w ʮ௚ۙO೔ؒͰΠϕϯτ"͕NճҎ্ߦΘΕͨʯʮܖ໿ߋ৽೔·ͰO೔Ҏ಺ʯͳͲͷϧʔϧʹج͖ͮΧελϚʔͷ
 εςʔλε είΞεςʔδ Λࢉग़͢Δ w ΧελϚʔͷεςʔλεΛμογϡϘʔυͰՄࢹԽ͢Δ

  12. ٕज़తಛ௃ͱ՝୊ ΠϕϯτυϦϒϯͳγεςϜ w σʔλͷ౤ೖΛى఺ʹείΞܭࢉ΍௨஌Πϕϯτ͕࿈࠯తʹ૸Δ ߴස౓ʹॻ͖ࠐΈ͕ൃੜ͢Δ1VCMJD"1* w ЌϦϦʔε͔࣌ΒൺֱతߴτϥϑΟοΫʹ଱͑Δඞཁ͕͋ͬͨ w 8SJUFͷΈ w

    ແఀࢭӡ༻ ௿ස౓͕ͩෳࡶͳΫΤϦ͕ൃੜ͢Δ1SJWBUF"1* w μογϡϘʔυͷΞϓϦέʔγϣϯ͔Βݺͼग़͞ΕΔ w 3FBE͕ϝΠϯ w සൟʹσϓϩΠ͍ͨ͠
  13. ΞʔΩςΫνϟ

  14. ूܭॲཧͷΞʔΩςΫνϟ ࣌ܥྻσʔλूܭ࣌ͷ՝୊

  15. ूܭॲཧͷ՝୊ w 3%#ʹ׳Ε͍ͯΔͱ%%#͸ूܭͰෆศΛײ͡΍͍͢ w 42-ͷΑ͏ͳදݱྗΛظ଴͢Δͱ΢οͱͳΔ w ༻్ʹ߹ΘͤͯΞʔΩςΫνϟΛมߋͨ͠ࣄྫͷ঺հ

  16. Ϣʔεέʔε w ϝτϦοΫͷࢉग़ w ϨϙʔςΟϯά w ΞυϗοΫͳ෼ੳ ूܭର৅ w Χ΢ϯλ

    w εςʔτ ॲཧͷ෼ྨ ର৅ͱϢʔεέʔεʹΑΓཁ͕݅ҟͳΔ
  17. ूܭର৅ छྨͷ࣌ܥྻσʔλ Χ΢ϯλ w ྦྷܭ਺ͷࢦඪ w 17਺ͳͲ w ूܭظؒ͝ͱʹϦηοτ͞ΕΔεςʔτ εςʔτ

    w ͋Δ࣌఺ͷঢ়ଶΛද͢ࢦඪ w ϥΠηϯε਺ͳͲ w ਺஋จࣈྻਅِ஋೔෇ͳͲ
  18. Ϣʔεέʔε ϝτϦοΫͷࢉग़ w ΧελϚʔͷϔϧεείΞ΍εςʔδͳͲ w ೔ʑͷ$4ۀ຿ ϨϙʔςΟϯά w ϝτϦοΫͷ෼෍΍ਪҠͷՄࢹԽ w

    $4νʔϜͷύϑΥʔϚϯεධՁ͕໨త ΞυϗοΫͳ෼ੳ w ೚ҙͷΫΤϦͷ࣮ߦ w ΩϟύγςΟϓϥχϯά΍σʔλυϦϒϯͳػೳઃܭ͕໨త छྨͷϢʔεέʔε
  19. ࠓճऔΓ্͛Δࣄྫ w ೔࣌ͰͷϔϧεείΞͷ෼෍ͷਪҠͷूܭΛߟ͑Δ ϨϙʔςΟϯά Ϣʔεέʔε w ϝτϦοΫͷࢉग़ w ϨϙʔςΟϯά w

    ΞυϗοΫͳ෼ੳ ूܭର৅ w Χ΢ϯλ w εςʔτ
  20. εςʔτσʔλͷ࣋ͪํ w ঢ়ଶ͕มΘͬͨ࣌఺ͷϩάΛ%ZOBNP%#ʹอ࣋

  21. εςʔτσʔλͷ࣋ͪํ w ͜ͷΑ͏ͳσʔλߏ଄͕ΧελϚʔ͝ͱʹอ࣋͞ΕΔ w ΧελϚʔ਺͸ςφϯτ͋ͨΓ਺ඦ͔Β਺ສ w มߋ͕͚͋ͬͨ࣌ͩσʔλ͕ॻ͖ࠐ·ΕΔ

  22. εςʔτσʔλͷ࣋ͪํ w ॲཧ͸εςοϓ  ूܭظؒ͝ͱʹର৅ͷू߹Λநग़  ͷू߹Λूܭ w ౰೔ͷϩά͕ͳ͍৔߹͸௚લͷσʔλ͕ूܭର৅ͱͳΔͱ͜Ζ͕ϙΠϯτ

  23. มߋલͷΞʔΩςΫνϟ w %ZOBNP%# -BNCEB w લ೔·Ͱͷσʔλ͸ूܭࡁΈͷςʔϒϧ͔Β3FBE w ౰೔ͷσʔλ͸࠷৽ͷεςʔτΛΦϯϥΠϯͰूܭ

  24. ՝୊ w ߏ଄্/ ͕ආ͚ΒΕͣεέʔϧͰ͖ͳ͍ w ࠶ूܭ΋ߴίετͳͷͰσΟϝϯγϣϯͷ௥ՃͳͲ͕ؾܰʹͰ͖ͳ͍

  25. ूܭॲཧͷΞʔΩςΫνϟ Ξϓϩʔν

  26. ํ਑ w ूܭॲཧ͸Ͱ͖Δ͚ͩΫΤϦΤϯδϯʹ೚ͤΔ w ΦϯϥΠϯόονͷ྆࣠Ͱݕ౼ w ݱঢ়ͷσʔλετΞͱଞͷूܭϢʔεέʔε΋ߟྀʹೖΕΔ w %%#Ҏ֎ͷσʔλετΞΛซ༻࣮ͯ͠ݱ͢Δํ਑

  27. બ୒ࢶ  &MBTUJDTFBSDI  "VSPMB  4 "UIFOB (MVF 

    4 (MVF
  28. &MBTUJDTFBSDI ྑ͍఺ w ֤εςοϓΛ࣮ݱ͢Δूܭؔ਺͸༻ҙ͞Ε͍ͯΔ w ΦϯϥΠϯͰͷ࢖༻ʹ଱͑Δఔ౓ʹߴ଎ ѱ͍఺ w εςοϓͷ݁ՌΛJOEFYʹอଘ͠ͳ͍ͱεςοϓͷ࣮ߦ͕ࠔ೉ 

    w શΧελϚʔͷ೔࣌ͷεφοϓγϣοτΛ&4্ʹอ࣋͢Δͷ͸ߴίετ 1JQFMJOF"HHSFHBUJPOͰͰ͖ͳ͘΋ͳ͍͕ແཧے
  29. "VSPMB ྑ͍఺ w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ w 3FBE͸ΦϯϥΠϯͰͷ࢖༻ʹ଱͑ΒΕΔఔ౓ʹߴ଎ ѱ͍఺ w 8SJUF͕ߴස౓ͳϢʔεέʔεͰ͸όοϑΝϦϯά͕ඞཁͦ͏ w

    ଞͷީิͱൺ΂ͯεέʔϧΞ΢τ࣌ͷڍಈ͕ෆ҆ఆ w Tఔ౓ͷແԠ౴͕ߟ͑ΒΕΔ
  30. 4 "UIFOB (MVF ྑ͍఺ w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ w σʔλྔͷ૿ՃʹΑΔίετΠϯύΫτ͕ൺֱత௿͍ w ΞυϗοΫͳ෼ੳج൫ͱͯ͠΋࢖༻Ͱ͖Δ

    ѱ͍఺ w Ϩεϙϯεʹ਺ඵ͔͔ΔͨΊόονͰͷࣄલूܭ͕ඞਢ w σʔλετΞ͕෼ࢄ͢Δ͜ͱʹΑΔΞʔΩςΫνϟͷෳࡶԽ͸ආ͚ΒΕͳ͍
  31. 4 "UIFOB (MVF

  32. 4 (MVF ྑ͍఺ w ΑΓγϯϓϧ ѱ͍఺ w ਓͷνʔϜͰӡ༻͢Δʹ͸ϝϯςφϯείετ͕ߴ͍ҹ৅

  33. ࠷ऴతͳߏ੒

  34. IUUQTXXXXBOUFEMZDPNQSPKFDUT ΤϯδχΞืूதʂ

  35. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠  )J$VTUPNFSJODංલ༸༎!IJ[FOZ