一休のリアルタイム施策を支えるサーバレスログ基盤

by shimizukaz

Slide 1

Slide 1 text

ҰٳͷϦΞϧλΠϜࢪࡦΛࢧ͑Δ αʔόϨεϩάج൫ ΂ʹ΍ແԿ༗ גࣜձࣾҰٳ σʔλαΠΤϯε෦ ΞϓϦέʔγϣϯΤϯδχΞ ਗ਼ਫҰً

Slide 2

Slide 2 text

ΞδΣϯμ • σʔλαΠΤϯε෦ͷ͓࿩ • ҰٳͷCRMࢪࡦͱ͸ʁ • ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ • CRMͱϦΞϧλΠϜσʔλͷ࿈ܞ

Slide 3

Slide 3 text

• Ұٳʹ2019೥5݄ೖࣾ • CRM΍Ϩίϝϯσʔγϣϯج൫ͷ։ൃΛ͍ͯ͠·͢ɻ • લ৬͸৐׵Ҋ಺ΞϓϦͷձࣾͰΞϓϦέʔγϣϯΤϯδχΞΛ͠ ͍ͯ·ͨ͠ɻ • ޷͖ͳAWSαʔϏε • LambdaɺAthena গ͚ͩࣗ͠ݾ঺հ

Slide 4

Slide 4 text

Ұٳ.com ্࣭ͳϗςϧɾཱྀؗͷ༧໿αʔϏε Ұٳ.comϨετϥϯ ্࣭ͳϨετϥϯͷ༧໿αʔϏε

Slide 5

Slide 5 text

• σʔλΤϯδχΞϦϯά • ෼ੳج൫ɺData Warehouseͷอकɾӡ༻ • ΞϓϦέʔγϣϯ։ൃ • ϚʔέςΟϯάɺϨίϝϯσʔγϣϯج൫ͷ։ൃ • σʔλαΠΤϯε • ػցֶशɾࣗવݴޠॲཧ • ϢʔβʔαʔϏεΛվળ͢Δࢪࡦ࡞Γ σʔλαΠΤϯε෦ͷ͓࿩ σʔλαΠΤϯε ΞϓϦέʔγϣϯ σʔλΤϯδχΞϦϯά

Slide 6

Slide 6 text

ҰٳͷCRMͱ͸ʁ • Customer Relationship Management ὎ Ϣʔβʔͱྑ޷ͳؔ܎Λங͘ࣄ • ʢߪങ༧ଌʣCVR޲্ͷͨΊͷϦΞϧλΠϜσʔλΛ࢖ͬͨϦϚʔέςΟϯά • ʢࣗવݴޠʣޱίϛΛ෼ੳɺςʔϚʹԠͯ͡࠷దͳจΛநग़ • ʢը૾ղੳʣݕࡧςʔϚʹ߹ͬͨը૾Λબผ͢Δ

Slide 7

Slide 7 text

ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ

Slide 8

Slide 8 text

•༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ

Slide 11

Slide 11 text

Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͋·ΓΑ͘ͳ͍

Slide 12

Slide 12 text

Lambda+RDS͸ ΞϯνύλʔϯͳΜͰ͢ •1event = 1ͭͷLambda͕ىಈ •RDSͷಉ࣌઀ଓ਺ͳͲͳͲ ͳͷͰ...

Slide 13

Slide 13 text

Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͕͜͜؊

Slide 14

Slide 14 text

Kinesis-Data-Streams Shard 1 Shard 2 Shard 3 Shard 4 Log ͜Μͳ޻෉Λ͍ͯ͠·͢ Shard਺Λ੍ޚ͢ΔࣄͰLambdaͷฒྻىಈ਺ΛௐઅͰ͖Δ Kinesis͸ϩάόοϑΝϦϯάͷػೳ΋͢Δ Lambdaىಈࣦഊ΋ϦτϥΠՄೳ

Slide 15

Slide 15 text

ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ

Slide 16

Slide 16 text

•༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱ͍ͨ͜͠ͱ

Slide 17

Slide 17 text

• ϨετϥϯΛ༧໿ͯ͘͠Εͦ͏ͳਓΛૉ ૣ͘Ωϟον • ը໘্ʹΫʔϙϯΛදࣔ Ϣʔβ΁ͷΞ΢τϓοτͷҰྫ

Slide 18

Slide 18 text

ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ Eks Kinesis-data-streams Lambda RDS insert into {table name} API Ӿཡ৘ใʹج͖ͮ༧໿ͯ͘͠Εͦ͏͔༧ଌ͢Δ

Slide 19

Slide 19 text

•༧໿͠Α͏ͱ͚ͨ͠Ͳ΍Ί·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠΋Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺద੾ͳΞ΢τϓοτΛϢʔβ΁ఏڙ͢Δ ϦΞϧλΠϜσʔλΛ࢖ͬͯࢪࡦ΁ܨ͛Δ ࣮ݱͰ͖ͨ͜ͱ

Slide 20

Slide 20 text

•ϦΞϧλΠϜʹϨίϝϯυΛڬΉ •αΠτΛ཭୤ͨ͠ޙʹྑ࣭ͳ৘ใ΍ΠϯηϯςΟϒΛ࢖ͬͨϑΥϩʔ͢Δ ͜Ε͔Β΍Γ͍ͨ͜ͱ ࣮ݱͰ͖ͦ͏ͳ͜ͱ

Slide 21

Slide 21 text

࠷ޙʹ •ҰٳͰ͸֤෦໳ͰΤϯδχΞΛืूதͰ͢ʂ •σʔλαΠΤϯε෦ •॓ധࣄۀຊ෦ •Ϩετϥϯࣄۀຊ෦ •γεςϜຊ෦ •σδλϧϚʔέςΟϯά