Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
toilを解消した話
Search
AsumaYwY
May 20, 2022
Technology
0
510
toilを解消した話
JAWS-UG SRE支部 #3 のLTスライドです。
https://jawsug-sre.connpass.com/event/244615/
AsumaYwY
May 20, 2022
Tweet
Share
Other Decks in Technology
See All in Technology
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
150
Janus
bkuhlmann
1
490
キャラクター制御のためのプロンプト術 for LINE Bot
uezo
0
520
オブザーバビリティの Primary Signals
onk
PRO
0
550
Reducing Cross-Zone Egress at Spotify with Custom gRPC Load Balancing Recap
koh_naga
0
130
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
sakaitakeshi
1
300
LLM とプロンプトエンジニアリング/チューターをビルドする / LLM and Prompt Engineering and Building Tutors
ks91
PRO
0
220
PHPカンファレンス小田原2024
ysknsid25
3
660
**強い**エンジニアのなり方 - フィードバックサイクルを勝ち取る / grow one day each day
soudai
61
18k
Google Cloud の AI を支える裏側のインフラを垣間見る!
maroon1st
0
200
プロデザ! BY リクルート vol.18_リクルートのリサーチ実践組織「リサーチブーストコミュニティ」
recruitengineers
PRO
3
240
Four keys改善の取り組み事例紹介
sansantech
PRO
3
230
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
175
21k
Designing for Performance
lara
601
67k
Web Components: a chance to create the future
zenorocha
305
41k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
19
1.9k
Ruby is Unlike a Banana
tanoku
96
10k
Adopting Sorbet at Scale
ufuk
67
8.6k
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
Embracing the Ebb and Flow
colly
79
4.1k
YesSQL, Process and Tooling at Scale
rocio
163
13k
Faster Mobile Websites
deanohume
297
30k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Raft: Consensus for Rubyists
vanstee
132
6.2k
Transcript
ϚΠΫϩαʔϏεͷϦϦʔεʹ ·ͭΘΔUPJMΛղফͨ͠ Ճ౻ ༡അ גࣜձࣾଜ૯߹ݚڀॴ JAWS-UG SREࢧ෦ #3
ࣗݾհ • 2020 ଜ૯߹ݚڀॴೖࣾ • AWSͳͲͷΫϥυΛ༻͍ͨΠϯϑ ϥ։ൃӡ༻ɾอक • SRE׆ಈɿʙ1 1
Ճ౻ ༡അ Kato Asuma ϨϏϡΞʔͱͯ͠ڠྗ @AsumaYwY
എܠ ൃੜͨ͠UPJM UPJMͷղফʹ͚ͯ ·ͱΊ 2
എܠᶃίϯϓϥΠΞϯεʹؔ͢Δ४ڌ • ελʔτΞοϓͷ͓٬༷͚ʹΫϨδοτΧʔυαʔϏεΛఏڙ • PCIDSS(※)ͱݺΕΔΧʔυใηΩϡϦςΟͷࠃࡍ౷Ұج४ʹ४ڌ͢Δඞཁ͕͋Δ 3 ʲ1$*%44ཁ݅ʳ ͯ͢ͷγεςϜίϯϙʔωϯτͱιϑτΣΞʹɺ ϕϯμఏڙͷηΩϡϦςΟύον͕Πϯετʔϧ͞Εɺطͷ੬ऑੑ͔Βอޢ͞Ε͍ͯΔɻ ॏཁͳηΩϡϦςΟύονɺϦϦʔεޙ
Χ݄ҎʹΠϯετʔϧ͢Δɻ ※Payment Card Industry Data Security Standard
എܠᶄҰ෦ͷίϯϙʔωϯτͰ੬ऑੑͷରԠ͕සൟʹൃੜ • ECS / FargateΛओ࣠ʹͨ͠ϓϥοτϑΥʔϜ • ϩάϧʔλͱͯ͠fluent-bitΛར༻ 4 サービスプラットフォーム マイクロサービス別
各API API Gateway NLB API NLB API API ALB 決済系API 返済系API 申込系API 通知系API Aurora ECS ⾮同期処理 API Gateway スマホアプリ 外部接続システム (返済機能) 管理者Web アプリ コンテナ fluent-bit コンテナ 約1ヶ⽉に1度 脆弱性が発⾒ 12個のマイクロサービス群 各ECS/Fargateタスクの中⾝
എܠᶅڥߏʹΑΔ$*$%ϑϩʔ 5 • ֤ϚΠΫϩαʔϏεຖʹCI/CDΛܦͯɺproductionڥʹϦϦʔε͞ΕΔ Pull Requestに対する レビュー実施
'MVFOUCJUͷ੬ऑੑରԠ͕5PJMʹͳ͍ͬͯΔ 6 ϲ݄ʹ̍ճҎ্ ൃݟ͞ΕΔ੬ऑੑ ΞϓϦʹ ؔ࿈͕ͳ͍ 13ϨϏϡʔෛՙ αʔϏεʹ ൺྫͨ͠ෛՙ૿େ Toil
UPJMͷղফʹ͚ͯطଘͷ੬ऑੑରԠϑϩʔ 7 Fluent-bitίϯςφ੬ऑੑमਖ਼ ECRpushͱࣄલͷಈ࡞֬ೝ (commit IDΛؚΜͩλά໊) 12ϦϙδτϦ º 3ϒϥϯνͰ ECSఆٛͷมߋ
(fluent-bitλάमਖ਼) PRͱϨϏϡʔ º αʔϏε ECSαʔϏεͷσϓϩΠ タグ指定を変更することで、 レビュー負荷を軽減
UPJMͷղফʹ͚࣮ͯࢪͨ͠ࢪࡦ 1. Fluent-bitίϯςφͷlatestλάӡ༻ 2. Slack + AWS Chatbot + LambdaʹΑΔ
ECSαʔϏεҰׅϦσϓϩΠ 8
UPJMͷղফᶃ 'MVFOUCJUίϯςφͷMBUFTUλάӡ༻Λ࠾༻ ͨͩ͠ɺMBUFTUλάͷӡ༻ҎԼͷཧ༝͔ΒΞϯνύλʔϯͱ͞Ε͍ͯΔ • ιʔείʔυͱͷτϨʔαϏϦςΟ • ՔಇதͷΠϝʔδͷόʔδϣϯ͕Θ͔Βͳ͍ • ϩʔϧόοΫ͕Ͱ͖ͳ͍ 9
UPJMͷղফᶃ 'MVFOUCJUίϯςφͷMBUFTUλάӡ༻Λ࠾༻ 10 • ιʔείʔυͱͷτϨʔαϏϦςΟ ⇨ࣗͨͪͷཧ͢ΔFluent-bitͷιʔείʔυͳͲ͔Β֬ೝՄೳ • ՔಇதͷΠϝʔδͷόʔδϣϯ͕Θ͔Βͳ͍ ⇨ECSͰՔಇதͷλεΫͷϋογϡΛ֬ೝͯ͠ECRͰಥ߹Մೳ •
ϩʔϧόοΫ͕Ͱ͖ͳ͍ ⇨λάͷ͚ସ͑ͰରԠՄೳ Fluent-bitコンテナイメージは設定をカスタマイズしたものを ⾃分たちのイメージとして管理・利⽤している
UPJMͷղফᶄ&$4αʔϏεҰׅϦσϓϩΠ 11 ① ② ③ ɾChatOpsΛϕʔεʹSlack͔Β3ڥͷLambdaΛىಈ ɾ12αʔϏεΛҰׅͰϦσϓϩΠ͢Δ͜ͱͰɺ੬ऑੑ͕ରॲ͞Εͨfluent-bitΛө
·ͱΊ 12 ɾUPJMΛೝࣝ͠ɺࣗಈԽ͕ՄೳͳΑ͏ʹ γεςϜϓϩηεΛվળ͢ΔͨΊͷΧϧνϟʔେ ɾ·͍͠ઃܭͱӡ༻ෛՙͷόϥϯεΛऔΔ