Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
一休のリアルタイム施策を支えるサーバレスログ基盤
Search
shimizukaz
July 22, 2020
Technology
0
1.2k
一休のリアルタイム施策を支えるサーバレスログ基盤
ZOZO×一休×PayPay AWS Nightでの登壇資料です
shimizukaz
July 22, 2020
Tweet
Share
Other Decks in Technology
See All in Technology
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
コンテナ・K8s研修 - 後半 Kubernetes 基礎&ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
1
120
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
Classmethod流のPlatform Engineering / classmethod-platform-engineering-devio2024
tomoki10
0
470
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
120
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
900
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
210
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
How to Think Like a Performance Engineer
csswizardry
4
590
AIエージェントを現場に導入する目線とは
masahiro_nishimi
1
1.5k
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
How GitHub (no longer) Works
holman
305
140k
Faster Mobile Websites
deanohume
303
30k
Principles of Awesome APIs and How to Build Them.
keavy
124
16k
Making the Leap to Tech Lead
cromwellryan
127
8.7k
Debugging Ruby Performance
tmm1
71
11k
KATA
mclloyd
20
13k
A Philosophy of Restraint
colly
200
16k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
36
9.1k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Facilitating Awesome Meetings
lara
46
5.8k
Transcript
ҰٳͷϦΞϧλΠϜࢪࡦΛࢧ͑Δ αʔόϨεϩάج൫ ʹແԿ༗ גࣜձࣾҰٳ σʔλαΠΤϯε෦ ΞϓϦέʔγϣϯΤϯδχΞ ਗ਼ਫҰً
ΞδΣϯμ • σʔλαΠΤϯε෦ͷ͓ • ҰٳͷCRMࢪࡦͱʁ • ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ • CRMͱϦΞϧλΠϜσʔλͷ࿈ܞ
• Ұٳʹ20195݄ೖࣾ • CRMϨίϝϯσʔγϣϯج൫ͷ։ൃΛ͍ͯ͠·͢ɻ • લ৬ҊΞϓϦͷձࣾͰΞϓϦέʔγϣϯΤϯδχΞΛ͠ ͍ͯ·ͨ͠ɻ • ͖ͳAWSαʔϏε •
LambdaɺAthena গ͚ͩࣗ͠ݾհ
Ұٳ.com ্࣭ͳϗςϧɾཱྀؗͷ༧αʔϏε Ұٳ.comϨετϥϯ ্࣭ͳϨετϥϯͷ༧αʔϏε
• σʔλΤϯδχΞϦϯά • ੳج൫ɺData Warehouseͷอकɾӡ༻ • ΞϓϦέʔγϣϯ։ൃ • ϚʔέςΟϯάɺϨίϝϯσʔγϣϯج൫ͷ։ൃ •
σʔλαΠΤϯε • ػցֶशɾࣗવݴޠॲཧ • ϢʔβʔαʔϏεΛվળ͢Δࢪࡦ࡞Γ σʔλαΠΤϯε෦ͷ͓ σʔλαΠΤϯε ΞϓϦέʔγϣϯ σʔλΤϯδχΞϦϯά
ҰٳͷCRMͱʁ • Customer Relationship Management ϢʔβʔͱྑͳؔΛங͘ࣄ • ʢߪങ༧ଌʣCVR্ͷͨΊͷϦΞϧλΠϜσʔλΛͬͨϦϚʔέςΟϯά •
ʢࣗવݴޠʣޱίϛΛੳɺςʔϚʹԠͯ͡࠷దͳจΛநग़ • ʢը૾ղੳʣݕࡧςʔϚʹ߹ͬͨը૾Λબผ͢Δ
ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ
•༧͠Α͏ͱ͚ͨ͠ͲΊ·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺదͳΞτϓοτΛϢʔβఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ
•༧͠Α͏ͱ͚ͨ͠ͲΊ·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺదͳΞτϓοτΛϢʔβఏڙ͢Δ ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ ࣮ݱ͍ͨ͜͠ͱ
Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API
ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ
Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API
ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͋·ΓΑ͘ͳ͍
Lambda+RDS ΞϯνύλʔϯͳΜͰ͢ •1event = 1ͭͷLambda͕ىಈ •RDSͷಉ࣌ଓͳͲͳͲ ͳͷͰ...
Eks Kinesis-data-streams Lambda RDS ϦΞϧλΠϜϩάऩूͷΞʔΩςΫνϟ insert into {table name} API
ड͚औͬͯ ཷΊͯ ड͚औͬͯ ཷΊΔ ͕͜͜؊
Kinesis-Data-Streams Shard 1 Shard 2 Shard 3 Shard 4 Log
͜ΜͳΛ͍ͯ͠·͢ ShardΛ੍ޚ͢ΔࣄͰLambdaͷฒྻىಈΛௐઅͰ͖Δ KinesisϩάόοϑΝϦϯάͷػೳ͢Δ LambdaىಈࣦഊϦτϥΠՄೳ
ϦΞϧλΠϜσʔλΛͬͯࢪࡦܨ͛Δ
•༧͠Α͏ͱ͚ͨ͠ͲΊ·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺదͳΞτϓοτΛϢʔβఏڙ͢Δ ϦΞϧλΠϜσʔλΛͬͯࢪࡦܨ͛Δ ࣮ݱ͍ͨ͜͠ͱ
• ϨετϥϯΛ༧ͯ͘͠Εͦ͏ͳਓΛૉ ૣ͘Ωϟον • ը໘্ʹΫʔϙϯΛදࣔ ϢʔβͷΞτϓοτͷҰྫ
ϦΞϧλΠϜσʔλΛͬͯࢪࡦܨ͛Δ Eks Kinesis-data-streams Lambda RDS insert into {table name} API
Ӿཡใʹج͖ͮ༧ͯ͘͠Εͦ͏͔༧ଌ͢Δ
•༧͠Α͏ͱ͚ͨ͠ͲΊ·ͨ͠ɺͱ͍͏ߦಈΛଊ͍͑ͨ •→ϖʔδભҠΛॠ࣌ʹัଊ͍ͨ͠ •αΠτճ༡࣌ʹϢʔβʔʹΑΓྑ͍ମݧΛͯ͠Β͏ •→ ߦಈϩάΛΠϯϓοτͱ͠ɺదͳΞτϓοτΛϢʔβఏڙ͢Δ ϦΞϧλΠϜσʔλΛͬͯࢪࡦܨ͛Δ ࣮ݱͰ͖ͨ͜ͱ
•ϦΞϧλΠϜʹϨίϝϯυΛڬΉ •αΠτΛͨ͠ޙʹྑ࣭ͳใΠϯηϯςΟϒΛͬͨϑΥϩʔ͢Δ ͜Ε͔ΒΓ͍ͨ͜ͱ ࣮ݱͰ͖ͦ͏ͳ͜ͱ
࠷ޙʹ •ҰٳͰ֤෦ͰΤϯδχΞΛืूதͰ͢ʂ •σʔλαΠΤϯε෦ •॓ധࣄۀຊ෦ •Ϩετϥϯࣄۀຊ෦ •γεςϜຊ෦ •σδλϧϚʔέςΟϯά
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
None