$30 off During Our Annual Pro Sale. View Details »

サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless

サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless

AWS Summit Tokyo での発表資料です。
https://aws.amazon.com/jp/summits/tokyo-2019/aws-expo/

HiCustomerではエンジニアを募集しています。興味をお持ちの方はぜひ採用サイトにお立ち寄りください。
https://hicustomer.jp/recruit/engineer/

Yosuke Hizen

June 12, 2019
Tweet

More Decks by Yosuke Hizen

Other Decks in Technology

Transcript

  1. αʔόʔϨεͱ
    εέʔϥϒϧͳσʔλूܭ

    )J$VTUPNFSJODංલ༸༎!IJ[FOZ
    ελʔτΞοϓͰͷಋೖࣄྫͱ
    ࣌ܥྻσʔλूܭͷΞʔΩςΫνϟ

    View Slide

  2. w )J$VTUPNFSJOD
    w ංલ༸༎
    w !IJ[FOZ
    w ΤϯδχΞڞಉ૑ۀऀ
    w ࢁͳͲΛ૸Γ·͢

    View Slide

  3. ໨࣍
    ϓϩμΫτͱνʔϜ
    ΞϓϦέʔγϣϯߏ੒
    σʔλूܭॲཧͷΞʔΩςΫνϟ

    View Slide

  4. ϓϩμΫτͱνʔϜ

    View Slide

  5. ϢʔβʔΛʮϑΝϯʯʹม͑Δ
    ΧελϚʔαΫηε؅ཧϓϥοτϑΥʔϜ
    ͱ͸

    View Slide

  6. ͱ͸
    w αϒεΫϦϓγϣϯͷ཭୤๷ࢭར༻֦େΛ໨ࢦ͢νʔϜ͕Ϣʔβʔ
    w #UP#
    4BB4ϓϩμΫτͷӡӦاۀ޲͚αʔϏε
    w 4BB4ͷར༻ঢ়گΛ෼ੳՄࢹԽ͢ΔҰछͷ؂ࢹαʔϏε

    View Slide

  7. Ͳ͏΍Δͷ͔
    ϔϧεείΞ
    w ΧελϚʔ 4BB4ͷސ٬
    ͷϔϧεείΞΛϩά͔Βࢉग़
    w ར༻ਐ౓ εςʔδ
    ʹԠͨ͡είΞϦϯάϧʔϧΛద༻
    Πϯδέʔλʔ
    w ར༻௿ԼͳͲΛݕ஌͠୲౰ऀʹΞϥʔτΛૹ৴
    ϨϙʔςΟϯά
    w ϔϧεείΞ౳ͷϝτϦοΫΛ෼ੳ͠ɺνʔϜͷύϑΥʔϚϯεΛධՁ

    View Slide

  8. νʔϜߏ੒
    ϓϩδΣΫτΦʔφʔ
    υϝΠϯΤΩεύʔτ
    σβΠφʔ
    ΤϯδχΞ
    *DPONBEFCZ'SFFQJLGSPNXXXqBUJDPODPN
    ʜϑϧλΠϜ
    ʜύʔτλΠϜ
    #&'& αϙʔτ '&
    ୅දླ໦
    $4ߴڮ

    View Slide

  9. ։ൃख๏
    ݴޠ
    w (P5ZQF4DSJQU
    ΞʔΩςΫνϟ
    w αʔόʔϨε "1*(BUFXBZ-BNCEB%ZOBNP%#

    w 41" 7VFKT7VFY

    ϓϩδΣΫτ؅ཧ
    w εΫϥϜ ;FO)VC/PUJPO

    View Slide

  10. ΞϓϦέʔγϣϯߏ੒

    View Slide

  11. ॲཧͷྲྀΕ
    w ֤ࣾͷ4BB4ϓϩμΫτ͔ΒૹΒΕͯ͘ΔΧελϚʔͷߦಈϩάΛऩू͢Δ
    w ʮ௚ۙO೔ؒͰΠϕϯτ"͕NճҎ্ߦΘΕͨʯʮܖ໿ߋ৽೔·ͰO೔Ҏ಺ʯͳͲͷϧʔϧʹج͖ͮΧελϚʔͷ

    εςʔλε είΞεςʔδ
    Λࢉग़͢Δ
    w ΧελϚʔͷεςʔλεΛμογϡϘʔυͰՄࢹԽ͢Δ

    View Slide

  12. ٕज़తಛ௃ͱ՝୊
    ΠϕϯτυϦϒϯͳγεςϜ
    w σʔλͷ౤ೖΛى఺ʹείΞܭࢉ΍௨஌Πϕϯτ͕࿈࠯తʹ૸Δ
    ߴස౓ʹॻ͖ࠐΈ͕ൃੜ͢Δ1VCMJD"1*
    w ЌϦϦʔε͔࣌ΒൺֱతߴτϥϑΟοΫʹ଱͑Δඞཁ͕͋ͬͨ
    w 8SJUFͷΈ
    w ແఀࢭӡ༻
    ௿ස౓͕ͩෳࡶͳΫΤϦ͕ൃੜ͢Δ1SJWBUF"1*
    w μογϡϘʔυͷΞϓϦέʔγϣϯ͔Βݺͼग़͞ΕΔ
    w 3FBE͕ϝΠϯ
    w සൟʹσϓϩΠ͍ͨ͠

    View Slide

  13. ΞʔΩςΫνϟ

    View Slide

  14. ूܭॲཧͷΞʔΩςΫνϟ
    ࣌ܥྻσʔλूܭ࣌ͷ՝୊

    View Slide

  15. ूܭॲཧͷ՝୊
    w 3%#ʹ׳Ε͍ͯΔͱ%%#͸ूܭͰෆศΛײ͡΍͍͢
    w 42-ͷΑ͏ͳදݱྗΛظ଴͢Δͱ΢οͱͳΔ
    w ༻్ʹ߹ΘͤͯΞʔΩςΫνϟΛมߋͨ͠ࣄྫͷ঺հ

    View Slide

  16. Ϣʔεέʔε
    w ϝτϦοΫͷࢉग़
    w ϨϙʔςΟϯά
    w ΞυϗοΫͳ෼ੳ
    ूܭର৅
    w Χ΢ϯλ
    w εςʔτ
    ॲཧͷ෼ྨ
    ର৅ͱϢʔεέʔεʹΑΓཁ͕݅ҟͳΔ

    View Slide

  17. ूܭର৅
    छྨͷ࣌ܥྻσʔλ
    Χ΢ϯλ
    w ྦྷܭ਺ͷࢦඪ
    w 17਺ͳͲ
    w ूܭظؒ͝ͱʹϦηοτ͞ΕΔεςʔτ
    εςʔτ
    w ͋Δ࣌఺ͷঢ়ଶΛද͢ࢦඪ
    w ϥΠηϯε਺ͳͲ
    w ਺஋จࣈྻਅِ஋೔෇ͳͲ

    View Slide

  18. Ϣʔεέʔε
    ϝτϦοΫͷࢉग़
    w ΧελϚʔͷϔϧεείΞ΍εςʔδͳͲ
    w ೔ʑͷ$4ۀ຿
    ϨϙʔςΟϯά
    w ϝτϦοΫͷ෼෍΍ਪҠͷՄࢹԽ
    w $4νʔϜͷύϑΥʔϚϯεධՁ͕໨త
    ΞυϗοΫͳ෼ੳ
    w ೚ҙͷΫΤϦͷ࣮ߦ
    w ΩϟύγςΟϓϥχϯά΍σʔλυϦϒϯͳػೳઃܭ͕໨త
    छྨͷϢʔεέʔε

    View Slide

  19. ࠓճऔΓ্͛Δࣄྫ
    w ೔࣌ͰͷϔϧεείΞͷ෼෍ͷਪҠͷूܭΛߟ͑Δ
    ϨϙʔςΟϯά
    Ϣʔεέʔε
    w ϝτϦοΫͷࢉग़
    w ϨϙʔςΟϯά
    w ΞυϗοΫͳ෼ੳ
    ूܭର৅
    w Χ΢ϯλ
    w εςʔτ

    View Slide

  20. εςʔτσʔλͷ࣋ͪํ
    w ঢ়ଶ͕มΘͬͨ࣌఺ͷϩάΛ%ZOBNP%#ʹอ࣋

    View Slide

  21. εςʔτσʔλͷ࣋ͪํ
    w ͜ͷΑ͏ͳσʔλߏ଄͕ΧελϚʔ͝ͱʹอ࣋͞ΕΔ
    w ΧελϚʔ਺͸ςφϯτ͋ͨΓ਺ඦ͔Β਺ສ
    w มߋ͕͚͋ͬͨ࣌ͩσʔλ͕ॻ͖ࠐ·ΕΔ

    View Slide

  22. εςʔτσʔλͷ࣋ͪํ
    w ॲཧ͸εςοϓ
    ूܭظؒ͝ͱʹର৅ͷू߹Λநग़
    ͷू߹Λूܭ
    w ౰೔ͷϩά͕ͳ͍৔߹͸௚લͷσʔλ͕ूܭର৅ͱͳΔͱ͜Ζ͕ϙΠϯτ

    View Slide

  23. มߋલͷΞʔΩςΫνϟ
    w %ZOBNP%#-BNCEB
    w લ೔·Ͱͷσʔλ͸ूܭࡁΈͷςʔϒϧ͔Β3FBE
    w ౰೔ͷσʔλ͸࠷৽ͷεςʔτΛΦϯϥΠϯͰूܭ

    View Slide

  24. ՝୊
    w ߏ଄্/͕ආ͚ΒΕͣεέʔϧͰ͖ͳ͍
    w ࠶ूܭ΋ߴίετͳͷͰσΟϝϯγϣϯͷ௥ՃͳͲ͕ؾܰʹͰ͖ͳ͍

    View Slide

  25. ूܭॲཧͷΞʔΩςΫνϟ
    Ξϓϩʔν

    View Slide

  26. ํ਑
    w ूܭॲཧ͸Ͱ͖Δ͚ͩΫΤϦΤϯδϯʹ೚ͤΔ
    w ΦϯϥΠϯόονͷ྆࣠Ͱݕ౼
    w ݱঢ়ͷσʔλετΞͱଞͷूܭϢʔεέʔε΋ߟྀʹೖΕΔ
    w %%#Ҏ֎ͷσʔλετΞΛซ༻࣮ͯ͠ݱ͢Δํ਑

    View Slide

  27. બ୒ࢶ
    &MBTUJDTFBSDI
    "VSPMB
    4"UIFOB(MVF
    4(MVF

    View Slide

  28. &MBTUJDTFBSDI
    ྑ͍఺
    w ֤εςοϓΛ࣮ݱ͢Δूܭؔ਺͸༻ҙ͞Ε͍ͯΔ
    w ΦϯϥΠϯͰͷ࢖༻ʹ଱͑Δఔ౓ʹߴ଎
    ѱ͍఺
    w εςοϓͷ݁ՌΛJOEFYʹอଘ͠ͳ͍ͱεςοϓͷ࣮ߦ͕ࠔ೉
    w શΧελϚʔͷ೔࣌ͷεφοϓγϣοτΛ&4্ʹอ࣋͢Δͷ͸ߴίετ
    1JQFMJOF"HHSFHBUJPOͰͰ͖ͳ͘΋ͳ͍͕ແཧے

    View Slide

  29. "VSPMB
    ྑ͍఺
    w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ
    w 3FBE͸ΦϯϥΠϯͰͷ࢖༻ʹ଱͑ΒΕΔఔ౓ʹߴ଎
    ѱ͍఺
    w 8SJUF͕ߴස౓ͳϢʔεέʔεͰ͸όοϑΝϦϯά͕ඞཁͦ͏
    w ଞͷީิͱൺ΂ͯεέʔϧΞ΢τ࣌ͷڍಈ͕ෆ҆ఆ
    w Tఔ౓ͷແԠ౴͕ߟ͑ΒΕΔ

    View Slide

  30. 4"UIFOB(MVF
    ྑ͍఺
    w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ
    w σʔλྔͷ૿ՃʹΑΔίετΠϯύΫτ͕ൺֱత௿͍
    w ΞυϗοΫͳ෼ੳج൫ͱͯ͠΋࢖༻Ͱ͖Δ
    ѱ͍఺
    w Ϩεϙϯεʹ਺ඵ͔͔ΔͨΊόονͰͷࣄલूܭ͕ඞਢ
    w σʔλετΞ͕෼ࢄ͢Δ͜ͱʹΑΔΞʔΩςΫνϟͷෳࡶԽ͸ආ͚ΒΕͳ͍

    View Slide

  31. 4"UIFOB(MVF

    View Slide

  32. 4(MVF
    ྑ͍఺
    w ΑΓγϯϓϧ
    ѱ͍఺
    w ਓͷνʔϜͰӡ༻͢Δʹ͸ϝϯςφϯείετ͕ߴ͍ҹ৅

    View Slide

  33. ࠷ऴతͳߏ੒

    View Slide

  34. IUUQTXXXXBOUFEMZDPNQSPKFDUT
    ΤϯδχΞืूதʂ

    View Slide

  35. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

    )J$VTUPNFSJODංલ༸༎!IJ[FOZ

    View Slide