Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
toilを解消した話
Search
AsumaYwY
May 20, 2022
Technology
0
500
toilを解消した話
JAWS-UG SRE支部 #3 のLTスライドです。
https://jawsug-sre.connpass.com/event/244615/
AsumaYwY
May 20, 2022
Tweet
Share
Other Decks in Technology
See All in Technology
本気でプロダクトに向き合うCTOになるために必要な事 (技育祭2024春)
mosa_siru
33
12k
サイボウズのQAエンジニア育成
cybozuinsideout
PRO
3
570
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
4
34k
Feature Flag Deep Dive
biwashi
21
5.1k
滑空スポーツ講習会2023 航空安全講習会 第4回 日常整備に役立ちそうな雑情報 / JSA Safety Seminar 2023 glider maintenance
jsaseminar
0
110
DevOps Topologies 10 years on: what have we learned about silos, collaboration, and flow? - Matthew Skelton, Conflux
matthewskelton
PRO
2
420
We Fear Change, for DevOpsDays LA 2024
cote
PRO
0
130
実録_マルチテナント環境でのGmailガイドライン対応
ryuichi1208
7
1.5k
Combineを中心とした処理をSwift Concurrencyへ (これまでも調べた調査と向き合い)
fumiyasac0921
1
180
履歴データテーブルとの向き合い方_PHPerKaigi2024
gennei
25
6.7k
【Cyber-sec+】ログの森で出会ったCloudTrail との奇妙な旅
hssh2_bin
1
230
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい5個のコツ - / How to start Scrum that is not written in the Scrum Guide
takaking22
14
5.3k
Featured
See All Featured
Unsuck your backbone
ammeep
660
56k
Imperfection Machines: The Place of Print at Facebook
scottboms
257
12k
Robots, Beer and Maslow
schacon
PRO
154
7.9k
Stop Working from a Prison Cell
hatefulcrawdad
265
19k
Building Adaptive Systems
keathley
29
1.8k
Six Lessons from altMBA
skipperchong
19
2.9k
How to Ace a Technical Interview
jacobian
272
22k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Fireside Chat
paigeccino
19
2.5k
Side Projects
sachag
451
41k
The Brand Is Dead. Long Live the Brand.
mthomps
48
20k
Practical Orchestrator
shlominoach
180
9.6k
Transcript
ϚΠΫϩαʔϏεͷϦϦʔεʹ ·ͭΘΔUPJMΛղফͨ͠ Ճ౻ ༡അ גࣜձࣾଜ૯߹ݚڀॴ JAWS-UG SREࢧ෦ #3
ࣗݾհ • 2020 ଜ૯߹ݚڀॴೖࣾ • AWSͳͲͷΫϥυΛ༻͍ͨΠϯϑ ϥ։ൃӡ༻ɾอक • SRE׆ಈɿʙ1 1
Ճ౻ ༡അ Kato Asuma ϨϏϡΞʔͱͯ͠ڠྗ @AsumaYwY
എܠ ൃੜͨ͠UPJM UPJMͷղফʹ͚ͯ ·ͱΊ 2
എܠᶃίϯϓϥΠΞϯεʹؔ͢Δ४ڌ • ελʔτΞοϓͷ͓٬༷͚ʹΫϨδοτΧʔυαʔϏεΛఏڙ • PCIDSS(※)ͱݺΕΔΧʔυใηΩϡϦςΟͷࠃࡍ౷Ұج४ʹ४ڌ͢Δඞཁ͕͋Δ 3 ʲ1$*%44ཁ݅ʳ ͯ͢ͷγεςϜίϯϙʔωϯτͱιϑτΣΞʹɺ ϕϯμఏڙͷηΩϡϦςΟύον͕Πϯετʔϧ͞Εɺطͷ੬ऑੑ͔Βอޢ͞Ε͍ͯΔɻ ॏཁͳηΩϡϦςΟύονɺϦϦʔεޙ
Χ݄ҎʹΠϯετʔϧ͢Δɻ ※Payment Card Industry Data Security Standard
എܠᶄҰ෦ͷίϯϙʔωϯτͰ੬ऑੑͷରԠ͕සൟʹൃੜ • ECS / FargateΛओ࣠ʹͨ͠ϓϥοτϑΥʔϜ • ϩάϧʔλͱͯ͠fluent-bitΛར༻ 4 サービスプラットフォーム マイクロサービス別
各API API Gateway NLB API NLB API API ALB 決済系API 返済系API 申込系API 通知系API Aurora ECS ⾮同期処理 API Gateway スマホアプリ 外部接続システム (返済機能) 管理者Web アプリ コンテナ fluent-bit コンテナ 約1ヶ⽉に1度 脆弱性が発⾒ 12個のマイクロサービス群 各ECS/Fargateタスクの中⾝
എܠᶅڥߏʹΑΔ$*$%ϑϩʔ 5 • ֤ϚΠΫϩαʔϏεຖʹCI/CDΛܦͯɺproductionڥʹϦϦʔε͞ΕΔ Pull Requestに対する レビュー実施
'MVFOUCJUͷ੬ऑੑରԠ͕5PJMʹͳ͍ͬͯΔ 6 ϲ݄ʹ̍ճҎ্ ൃݟ͞ΕΔ੬ऑੑ ΞϓϦʹ ؔ࿈͕ͳ͍ 13ϨϏϡʔෛՙ αʔϏεʹ ൺྫͨ͠ෛՙ૿େ Toil
UPJMͷղফʹ͚ͯطଘͷ੬ऑੑରԠϑϩʔ 7 Fluent-bitίϯςφ੬ऑੑमਖ਼ ECRpushͱࣄલͷಈ࡞֬ೝ (commit IDΛؚΜͩλά໊) 12ϦϙδτϦ º 3ϒϥϯνͰ ECSఆٛͷมߋ
(fluent-bitλάमਖ਼) PRͱϨϏϡʔ º αʔϏε ECSαʔϏεͷσϓϩΠ タグ指定を変更することで、 レビュー負荷を軽減
UPJMͷղফʹ͚࣮ͯࢪͨ͠ࢪࡦ 1. Fluent-bitίϯςφͷlatestλάӡ༻ 2. Slack + AWS Chatbot + LambdaʹΑΔ
ECSαʔϏεҰׅϦσϓϩΠ 8
UPJMͷղফᶃ 'MVFOUCJUίϯςφͷMBUFTUλάӡ༻Λ࠾༻ ͨͩ͠ɺMBUFTUλάͷӡ༻ҎԼͷཧ༝͔ΒΞϯνύλʔϯͱ͞Ε͍ͯΔ • ιʔείʔυͱͷτϨʔαϏϦςΟ • ՔಇதͷΠϝʔδͷόʔδϣϯ͕Θ͔Βͳ͍ • ϩʔϧόοΫ͕Ͱ͖ͳ͍ 9
UPJMͷղফᶃ 'MVFOUCJUίϯςφͷMBUFTUλάӡ༻Λ࠾༻ 10 • ιʔείʔυͱͷτϨʔαϏϦςΟ ⇨ࣗͨͪͷཧ͢ΔFluent-bitͷιʔείʔυͳͲ͔Β֬ೝՄೳ • ՔಇதͷΠϝʔδͷόʔδϣϯ͕Θ͔Βͳ͍ ⇨ECSͰՔಇதͷλεΫͷϋογϡΛ֬ೝͯ͠ECRͰಥ߹Մೳ •
ϩʔϧόοΫ͕Ͱ͖ͳ͍ ⇨λάͷ͚ସ͑ͰରԠՄೳ Fluent-bitコンテナイメージは設定をカスタマイズしたものを ⾃分たちのイメージとして管理・利⽤している
UPJMͷղফᶄ&$4αʔϏεҰׅϦσϓϩΠ 11 ① ② ③ ɾChatOpsΛϕʔεʹSlack͔Β3ڥͷLambdaΛىಈ ɾ12αʔϏεΛҰׅͰϦσϓϩΠ͢Δ͜ͱͰɺ੬ऑੑ͕ରॲ͞Εͨfluent-bitΛө
·ͱΊ 12 ɾUPJMΛೝࣝ͠ɺࣗಈԽ͕ՄೳͳΑ͏ʹ γεςϜϓϩηεΛվળ͢ΔͨΊͷΧϧνϟʔେ ɾ·͍͠ઃܭͱӡ༻ෛՙͷόϥϯεΛऔΔ