一休のリアルタイム施策を支えるサーバレスログ基盤

Transcript

1. ҰٳͷϦΞϧλΠϜࢪࡦΛࢧ͑Δ αʔόϨεϩάج൫ ΂ʹ΍ແԿ༗ גࣜձࣾҰٳ σʔλαΠΤϯε෦ ΞϓϦέʔγϣϯΤϯδχΞ ਗ਼ਫҰً

2. ΞδΣϯμ • σʔλαΠΤϯε෦ͷ͓࿩ • ҰٳͷCRMࢪࡦͱ͸ʁ • ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ • CRMͱϦΞϧλΠϜσʔλͷ࿈ܞ

3. • Ұٳʹ2019೥5݄ೖࣾ • CRM΍Ϩίϝϯσʔγϣϯج൫ͷ։ൃΛ͍ͯ͠·͢ɻ • લ৬͸৐׵Ҋ಺ΞϓϦͷձࣾͰΞϓϦέʔγϣϯΤϯδχΞΛ͠ ͍ͯ·ͨ͠ɻ • ޷͖ͳAWSαʔϏε •

   LambdaɺAthena গ͚ͩࣗ͠ݾ঺հ

4. Ұٳ.com ্࣭ͳϗςϧɾཱྀؗͷ༧໿αʔϏε Ұٳ.comϨετϥϯ ্࣭ͳϨετϥϯͷ༧໿αʔϏε

5. • σʔλΤϯδχΞϦϯά • ෼ੳج൫ɺData Warehouseͷอकɾӡ༻ • ΞϓϦέʔγϣϯ։ൃ • ϚʔέςΟϯάɺϨίϝϯσʔγϣϯج൫ͷ։ൃ •

   σʔλαΠΤϯε • ػցֶशɾࣗવݴޠॲཧ • ϢʔβʔαʔϏεΛվળ͢Δࢪࡦ࡞Γ σʔλαΠΤϯε෦ͷ͓࿩ σʔλαΠΤϯε ΞϓϦέʔγϣϯ σʔλΤϯδχΞϦϯά

6. ҰٳͷCRMͱ͸ʁ • Customer Relationship Management ὎ Ϣʔβʔͱྑ޷ͳؔ܎Λங͘ࣄ • ʢߪങ༧ଌʣCVR޲্ͷͨΊͷϦΞϧλΠϜσʔλΛ࢖ͬͨϦϚʔέςΟϯά •

   ʢࣗવݴޠʣޱίϛΛ෼ੳɺςʔϚʹԠͯ͡࠷దͳจΛநग़ • ʢը૾ղੳʣݕࡧςʔϚʹ߹ͬͨը૾Λબผ͢Δ

7. ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ

8. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ

9. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ

10. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API

    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ

11. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API

    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͋·ΓΑ͘ͳ͍

12. Lambda+RDS͸ ΞϯνύλʔϯͳΜͰ͢ •1event = 1ͭͷLambda͕ىಈ •RDSͷಉ࣌઀ଓ਺ͳͲͳͲ ͳͷͰ...

13. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API

    ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͕͜͜؊

14. Kinesis-Data-Streams Shard 1 Shard 2 Shard 3 Shard 4 Log

    ͜Μͳ޻෉Λ͍ͯ͠·͢ Shard਺Λ੍ޚ͢ΔࣄͰLambdaͷฒྻىಈ਺ΛௐઅͰ͖Δ Kinesis͸ϩάόοϑΝϦϯάͷػೳ΋͢Δ Lambdaىಈࣦഊ΋ϦτϥΠՄೳ

15. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ

16. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱ͍ͨ͜͠ͱ

17. • ϨετϥϯΛ༧໿ͯ͘͠Εͦ͏ͳਓΛૉ ૣ͘Ωϟον • ը໘্ʹΫʔϙϯΛදࣔ Ϣʔβ΁ͷΞ΢τϓοτͷҰྫ

18. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ Eks Kinesis-data-streams Lambda RDS insert into {table name} API

    Ӿཡ৘ใʹج͖ͮ༧໿ͯ͘͠Εͦ͏͔༧ଌ͢Δ

19. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱͰ͖ͨ͜ͱ

20. •ϦΞϧλΠϜʹϨίϝϯυΛڬΉ •αΠτΛ཭୤ͨ͠ޙʹྑ࣭ͳ৘ใ΍ΠϯηϯςΟϒΛ࢖ͬͨϑΥϩʔ͢Δ ͜Ε͔Β΍Γ͍ͨ͜ͱ ࣮ݱͰ͖ͦ͏ͳ͜ͱ

21. ࠷ޙʹ •ҰٳͰ͸֤෦໳ͰΤϯδχΞΛืूதͰ͢ʂ •σʔλαΠΤϯε෦ •॓ധࣄۀຊ෦ •Ϩετϥϯࣄۀຊ෦ •γεςϜຊ෦ •σδλϧϚʔέςΟϯά

22. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

23. None