Upgrade to Pro — share decks privately, control downloads, hide ads and more …

一休のリアルタイム施策を支えるサーバレスログ基盤

 一休のリアルタイム施策を支えるサーバレスログ基盤

ZOZO×一休×PayPay AWS Nightでの登壇資料です

shimizukaz

July 22, 2020
Tweet

Other Decks in Technology

Transcript

  1. ҰٳͷϦΞϧλΠϜࢪࡦΛࢧ͑Δ
    αʔόϨεϩάج൫
    ΂ʹ΍ແԿ༗
    גࣜձࣾҰٳ
    σʔλαΠΤϯε෦ ΞϓϦέʔγϣϯΤϯδχΞ
    ਗ਼ਫҰً

    View Slide

  2. ΞδΣϯμ
    • σʔλαΠΤϯε෦ͷ͓࿩
    • ҰٳͷCRMࢪࡦͱ͸ʁ
    • ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
    • CRMͱϦΞϧλΠϜσʔλͷ࿈ܞ

    View Slide

  3. • Ұٳʹ2019೥5݄ೖࣾ
    • CRM΍Ϩίϝϯσʔγϣϯج൫ͷ։ൃΛ͍ͯ͠·͢ɻ
    • લ৬͸৐׵Ҋ಺ΞϓϦͷձࣾͰΞϓϦέʔγϣϯΤϯδχΞΛ͠
    ͍ͯ·ͨ͠ɻ
    • ޷͖ͳAWSαʔϏε
    • LambdaɺAthena
    গ͚ͩࣗ͠ݾ঺հ

    View Slide

  4. Ұٳ.com
    ্࣭ͳϗςϧɾཱྀؗͷ༧໿αʔϏε
    Ұٳ.comϨετϥϯ
    ্࣭ͳϨετϥϯͷ༧໿αʔϏε

    View Slide

  5. • σʔλΤϯδχΞϦϯά
    • ෼ੳج൫ɺData Warehouseͷอकɾӡ༻
    • ΞϓϦέʔγϣϯ։ൃ
    • ϚʔέςΟϯάɺϨίϝϯσʔγϣϯج൫ͷ։ൃ
    • σʔλαΠΤϯε
    • ػցֶशɾࣗવݴޠॲཧ
    • ϢʔβʔαʔϏεΛվળ͢Δࢪࡦ࡞Γ
    σʔλαΠΤϯε෦ͷ͓࿩
    σʔλαΠΤϯε
    ΞϓϦέʔγϣϯ σʔλΤϯδχΞϦϯά

    View Slide

  6. ҰٳͷCRMͱ͸ʁ
    • Customer Relationship Management ὎ Ϣʔβʔͱྑ޷ͳؔ܎Λங͘ࣄ
    • ʢߪങ༧ଌʣCVR޲্ͷͨΊͷϦΞϧλΠϜσʔλΛ࢖ͬͨϦϚʔέςΟϯά
    • ʢࣗવݴޠʣޱίϛΛ෼ੳɺςʔϚʹԠͯ͡࠷దͳจΛநग़
    • ʢը૾ղੳʣݕࡧςʔϚʹ߹ͬͨը૾Λબผ͢Δ

    View Slide

  7. ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ

    View Slide

  8. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ
    •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠
    •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏
    •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ
    ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
    ࣮ݱ͍ͨ͜͠ͱ

    View Slide

  9. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ
    •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠
    •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏
    •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ
    ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
    ࣮ݱ͍ͨ͜͠ͱ

    View Slide

  10. Eks Kinesis-data-streams Lambda RDS
    ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
    insert into {table name}
    API
    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ

    View Slide

  11. Eks Kinesis-data-streams Lambda RDS
    ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
    insert into {table name}
    API
    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ
    ͋·ΓΑ͘ͳ͍

    View Slide

  12. Lambda+RDS͸
    ΞϯνύλʔϯͳΜͰ͢
    •1event = 1ͭͷLambda͕ىಈ
    •RDSͷಉ࣌઀ଓ਺ͳͲͳͲ
    ͳͷͰ...

    View Slide

  13. Eks Kinesis-data-streams Lambda RDS
    ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
    insert into {table name}
    API
    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ
    ͕͜͜؊

    View Slide

  14. Kinesis-Data-Streams
    Shard 1
    Shard 2
    Shard 3
    Shard 4
    Log
    ͜Μͳ޻෉Λ͍ͯ͠·͢
    Shard਺Λ੍ޚ͢ΔࣄͰLambdaͷฒྻىಈ਺ΛௐઅͰ͖Δ
    Kinesis͸ϩάόοϑΝϦϯάͷػೳ΋͢Δ
    Lambdaىಈࣦഊ΋ϦτϥΠՄೳ

    View Slide

  15. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ

    View Slide

  16. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ
    •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠
    •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏
    •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ
    ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ
    ࣮ݱ͍ͨ͜͠ͱ

    View Slide

  17. • ϨετϥϯΛ༧໿ͯ͘͠Εͦ͏ͳਓΛૉ
    ૣ͘Ωϟον
    • ը໘্ʹΫʔϙϯΛදࣔ
    Ϣʔβ΁ͷΞ΢τϓοτͷҰྫ

    View Slide

  18. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ
    Eks Kinesis-data-streams Lambda RDS
    insert into {table name}
    API
    Ӿཡ৘ใʹج͖ͮ༧໿ͯ͘͠Εͦ͏͔༧ଌ͢Δ

    View Slide

  19. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ
    •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠
    •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏
    •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ
    ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ
    ࣮ݱͰ͖ͨ͜ͱ

    View Slide

  20. •ϦΞϧλΠϜʹϨίϝϯυΛڬΉ
    •αΠτΛ཭୤ͨ͠ޙʹྑ࣭ͳ৘ใ΍ΠϯηϯςΟϒΛ࢖ͬͨϑΥϩʔ͢Δ
    ͜Ε͔Β΍Γ͍ͨ͜ͱ
    ࣮ݱͰ͖ͦ͏ͳ͜ͱ

    View Slide

  21. ࠷ޙʹ
    •ҰٳͰ͸֤෦໳ͰΤϯδχΞΛืूதͰ͢ʂ
    •σʔλαΠΤϯε෦
    •॓ധࣄۀຊ෦
    •Ϩετϥϯࣄۀຊ෦
    •γεςϜຊ෦
    •σδλϧϚʔέςΟϯά

    View Slide

  22. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

    View Slide

  23. View Slide