一休のリアルタイム施策を支えるサーバレスログ基盤

 一休のリアルタイム施策を支えるサーバレスログ基盤

ZOZO×一休×PayPay AWS Nightでの登壇資料です

93cee2893801a424aab6ce248d88b515?s=128

shimizukaz

July 22, 2020
Tweet

Transcript

  1. ҰٳͷϦΞϧλΠϜࢪࡦΛࢧ͑Δ αʔόϨεϩάج൫ ΂ʹ΍ແԿ༗ גࣜձࣾҰٳ σʔλαΠΤϯε෦ ΞϓϦέʔγϣϯΤϯδχΞ ਗ਼ਫҰً

  2. ΞδΣϯμ • σʔλαΠΤϯε෦ͷ͓࿩ • ҰٳͷCRMࢪࡦͱ͸ʁ • ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ • CRMͱϦΞϧλΠϜσʔλͷ࿈ܞ

  3. • Ұٳʹ2019೥5݄ೖࣾ • CRM΍Ϩίϝϯσʔγϣϯج൫ͷ։ൃΛ͍ͯ͠·͢ɻ • લ৬͸৐׵Ҋ಺ΞϓϦͷձࣾͰΞϓϦέʔγϣϯΤϯδχΞΛ͠ ͍ͯ·ͨ͠ɻ • ޷͖ͳAWSαʔϏε •

    LambdaɺAthena গ͚ͩࣗ͠ݾ঺հ
  4. Ұٳ.com ্࣭ͳϗςϧɾཱྀؗͷ༧໿αʔϏε Ұٳ.comϨετϥϯ ্࣭ͳϨετϥϯͷ༧໿αʔϏε

  5. • σʔλΤϯδχΞϦϯά • ෼ੳج൫ɺData Warehouseͷอकɾӡ༻ • ΞϓϦέʔγϣϯ։ൃ • ϚʔέςΟϯάɺϨίϝϯσʔγϣϯج൫ͷ։ൃ •

    σʔλαΠΤϯε • ػցֶशɾࣗવݴޠॲཧ • ϢʔβʔαʔϏεΛվળ͢Δࢪࡦ࡞Γ σʔλαΠΤϯε෦ͷ͓࿩ σʔλαΠΤϯε ΞϓϦέʔγϣϯ σʔλΤϯδχΞϦϯά
  6. ҰٳͷCRMͱ͸ʁ • Customer Relationship Management ὎ Ϣʔβʔͱྑ޷ͳؔ܎Λங͘ࣄ • ʢߪങ༧ଌʣCVR޲্ͷͨΊͷϦΞϧλΠϜσʔλΛ࢖ͬͨϦϚʔέςΟϯά •

    ʢࣗવݴޠʣޱίϛΛ෼ੳɺςʔϚʹԠͯ͡࠷దͳจΛநग़ • ʢը૾ղੳʣݕࡧςʔϚʹ߹ͬͨը૾Λબผ͢Δ
  7. ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ

  8. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ

  9. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ

  10. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API

    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ
  11. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API

    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͋·ΓΑ͘ͳ͍
  12. Lambda+RDS͸ ΞϯνύλʔϯͳΜͰ͢ •1event = 1ͭͷLambda͕ىಈ •RDSͷಉ࣌઀ଓ਺ͳͲͳͲ ͳͷͰ...

  13. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API

    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͕͜͜؊
  14. Kinesis-Data-Streams Shard 1 Shard 2 Shard 3 Shard 4 Log

    ͜Μͳ޻෉Λ͍ͯ͠·͢ Shard਺Λ੍ޚ͢ΔࣄͰLambdaͷฒྻىಈ਺ΛௐઅͰ͖Δ Kinesis͸ϩάόοϑΝϦϯάͷػೳ΋͢Δ Lambdaىಈࣦഊ΋ϦτϥΠՄೳ
  15. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ

  16. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱ͍ͨ͜͠ͱ

  17. • ϨετϥϯΛ༧໿ͯ͘͠Εͦ͏ͳਓΛૉ ૣ͘Ωϟον • ը໘্ʹΫʔϙϯΛදࣔ Ϣʔβ΁ͷΞ΢τϓοτͷҰྫ

  18. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ Eks Kinesis-data-streams Lambda RDS insert into {table name} API

    Ӿཡ৘ใʹج͖ͮ༧໿ͯ͘͠Εͦ͏͔༧ଌ͢Δ
  19. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱͰ͖ͨ͜ͱ

  20. •ϦΞϧλΠϜʹϨίϝϯυΛڬΉ •αΠτΛ཭୤ͨ͠ޙʹྑ࣭ͳ৘ใ΍ΠϯηϯςΟϒΛ࢖ͬͨϑΥϩʔ͢Δ ͜Ε͔Β΍Γ͍ͨ͜ͱ ࣮ݱͰ͖ͦ͏ͳ͜ͱ

  21. ࠷ޙʹ •ҰٳͰ͸֤෦໳ͰΤϯδχΞΛืूதͰ͢ʂ •σʔλαΠΤϯε෦ •॓ധࣄۀຊ෦ •Ϩετϥϯࣄۀຊ෦ •γεςϜຊ෦ •σδλϧϚʔέςΟϯά

  22. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

  23. None