一休のリアルタイム施策を支えるサーバレスログ基盤

ZOZO×一休×PayPay AWS Nightでの登壇資料です

Transcript

1. ҰٳͷϦΞϧλΠϜࢪࡦΛࢧ͑Δ αʔόϨεϩάج൫ ΂ʹ΍ແԿ༗ גࣜձࣾҰٳ σʔλαΠΤϯε෦ ΞϓϦέʔγϣϯΤϯδχΞ ਗ਼ਫҰً
2. ΞδΣϯμ • σʔλαΠΤϯε෦ͷ͓࿩ • ҰٳͷCRMࢪࡦͱ͸ʁ • ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ • CRMͱϦΞϧλΠϜσʔλͷ࿈ܞ
3. • Ұٳʹ2019೥5݄ೖࣾ • CRM΍Ϩίϝϯσʔγϣϯج൫ͷ։ൃΛ͍ͯ͠·͢ɻ • લ৬͸৐׵Ҋ಺ΞϓϦͷձࣾͰΞϓϦέʔγϣϯΤϯδχΞΛ͠ ͍ͯ·ͨ͠ɻ • ޷͖ͳAWSαʔϏε • LambdaɺAthena গ͚ͩࣗ͠ݾ঺հ
4. Ұٳ.com ্࣭ͳϗςϧɾཱྀؗͷ༧໿αʔϏε Ұٳ.comϨετϥϯ ্࣭ͳϨετϥϯͷ༧໿αʔϏε
5. • σʔλΤϯδχΞϦϯά • ෼ੳج൫ɺData Warehouseͷอकɾӡ༻ • ΞϓϦέʔγϣϯ։ൃ • ϚʔέςΟϯάɺϨίϝϯσʔγϣϯج൫ͷ։ൃ • σʔλαΠΤϯε • ػցֶशɾࣗવݴޠॲཧ • ϢʔβʔαʔϏεΛվળ͢Δࢪࡦ࡞Γ σʔλαΠΤϯε෦ͷ͓࿩ σʔλαΠΤϯε ΞϓϦέʔγϣϯ σʔλΤϯδχΞϦϯά
6. ҰٳͷCRMͱ͸ʁ • Customer Relationship Management ὎ Ϣʔβʔͱྑ޷ͳؔ܎Λங͘ࣄ • ʢߪങ༧ଌʣCVR޲্ͷͨΊͷϦΞϧλΠϜσʔλΛ࢖ͬͨϦϚʔέςΟϯά • ʢࣗવݴޠʣޱίϛΛ෼ੳɺςʔϚʹԠͯ͡࠷దͳจΛநग़ • ʢը૾ղੳʣݕࡧςʔϚʹ߹ͬͨը૾Λબผ͢Δ
7. ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
8. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ
9. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ
10. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ
11. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͋·ΓΑ͘ͳ͍
12. Lambda+RDS͸ ΞϯνύλʔϯͳΜͰ͢ •1event = 1ͭͷLambda͕ىಈ •RDSͷಉ࣌઀ଓ਺ͳͲͳͲ ͳͷͰ...
13. Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͕͜͜؊
14. Kinesis-Data-Streams Shard 1 Shard 2 Shard 3 Shard 4 Log ͜Μͳ޻෉Λ͍ͯ͠·͢ Shard਺Λ੍ޚ͢ΔࣄͰLambdaͷฒྻىಈ਺ΛௐઅͰ͖Δ Kinesis͸ϩάόοϑΝϦϯάͷػೳ΋͢Δ Lambdaىಈࣦഊ΋ϦτϥΠՄೳ
15. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ
16. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱ͍ͨ͜͠ͱ
17. • ϨετϥϯΛ༧໿ͯ͘͠Εͦ͏ͳਓΛૉ ૣ͘Ωϟον • ը໘্ʹΫʔϙϯΛදࣔ Ϣʔβ΁ͷΞ΢τϓοτͷҰྫ
18. ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ Eks Kinesis-data-streams Lambda RDS insert into {table name} API Ӿཡ৘ใʹج͖ͮ༧໿ͯ͘͠Εͦ͏͔༧ଌ͢Δ
19. •༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱͰ͖ͨ͜ͱ
20. •ϦΞϧλΠϜʹϨίϝϯυΛڬΉ •αΠτΛ཭୤ͨ͠ޙʹྑ࣭ͳ৘ใ΍ΠϯηϯςΟϒΛ࢖ͬͨϑΥϩʔ͢Δ ͜Ε͔Β΍Γ͍ͨ͜ͱ ࣮ݱͰ͖ͦ͏ͳ͜ͱ
21. ࠷ޙʹ •ҰٳͰ͸֤෦໳ͰΤϯδχΞΛืूதͰ͢ʂ •σʔλαΠΤϯε෦ •॓ധࣄۀຊ෦ •Ϩετϥϯࣄۀຊ෦ •γεςϜຊ෦ •σδλϧϚʔέςΟϯά
22. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠