入社1ヶ月でここまでやった！Findy Toolsインフラ支援の最適化

https://findy.connpass.com/event/323099/
【増枠】Embedded SRE 現場に寄り添うアプローチの資料です。

Transcript

1. ೖࣾ1ϲ݄Ͱ͜͜·Ͱ΍ͬͨʂ Findy ToolsΠϯϑϥࢧԉͷ࠷దԽ ʮ2024/7/11 Findy TechBrew in ౦ژEmbedded SRE ݱ৔ʹدΓఴ͏Ξϓϩʔνʯ ϑΝΠϯσΟגࣜձࣾ ϓϩμΫτ։ൃ෦/SRE ҆ୡ ྋ(adachin0817)
2. ࣗݾ঺հ
3. 3 ࣗݾ঺հ ҆ୡ ྋ(@adachin0817) ɾϑΝΠϯσΟ(ג) / ϓϩμΫτ։ൃ෦/Senior SRE ɾBlog: blog.adachin.me/wiki.adachin.me ɾTechBull(ٕज़ίϛϡχςΟ) techbull.cloud ɹɾʮSRE/ۦ͚ग़͠ΤϯδχΞͷϝϯλϦϯά ྦྷܭ300໊↑ʯ ɾ͔ͭͯ͸OSS൛VulsͷίϯτϦϏϡʔλʔ΍Πϕϯτओ࠵ͳͲ ɾ89೥ੜ·Εɺ౦ژ౎଍ཱ۠ग़਎Ͱ࡛ۄݝय़೔෦ࢢ͕஍ݩ ɾ࠺ͱϑϨϯνϒϧυοάͷࣂ͍ओͰ΋͋Δ
4. XͰݟ͔͚ͨਓʂ 🤚
5. ೖࣾͯ͠·ͩ1ϲ݄ʂʂ φχϞϫΧϥφΠ
6. SREνʔϜൃ଍ʹ͍ͭͯ
7. SREνʔϜൃ଍ʹ͍ͭͯ • όοΫΤϯυνʔϜ͕SREతͳ׆ಈΛ͍ͯͨ͠ ◦ ͔͠͠ɺόοΫΤϯυνʔϜ͕Πϯϑϥ΋ରԠͱͳΔͱϦιʔεෆ଍ ◦ αʔϏε͕૿͑ଓ͚ΔҰํɺSREతվળ͕ͳ͔ͳ͔Ͱ͖͍ͯͳ͔ͬͨ • ڈ೥͔Β࠾༻Λ࢝ΊͯɺSREνʔϜ͸ݱࡏ3໊Ͱ׆ಈ ◦ GitHubͷΧϯόϯํࣜͰλεΫ؅ཧ͓ͯ͠Γɺேձ͸15෼Ͱ׬݁ 7
8. Findy Tools͔Βࢧԉ͍ͯ͜͠͏ʂ
9. Findy Toolsͱ͸
10. Findy Toolsͱ͸ • ։ൃπʔϧʹಛԽͨ͠ϨϏϡʔαΠτ ◦ πʔϧબఆʹؔ͢Δෆ҆Λղফ ◦ ಋೖݕ౼ʹඞཁͳ৘ใΛఏڙ • ݱ৔ͰΑ͋͘Δ͓೰Έ ◦ ϝϦοτɾσϝϦοτ͕෼͔Βͳ͍ ◦ ৘ใऩूʹ͕͔͔࣌ؒΔ ◦ πʔϧબఆͷܾఆଧ ◦ ಋೖޙʹൃੜ͢Δ՝୊఺ • ͓͔͛͞·Ͱͨ͘͞Μͷʂ ◦ ձ༷ࣾʹࣥච͍͍͓ͨͩͯΓ·͢ʂ 10
11. Findy Toolsͷٕज़ελοΫ
12. Findy Toolsͷٕज़ελοΫ • Ruby on Rails • Next.js • Docker • AWS ◦ ECS/Fargate ▪ Front Container ▪ Rails Container ▪ Nginx Container • ALB ◦ CloudFront ◦ Aurora/MySQL8 ◦ WAF • GitHub Actions(CI/CD) • Terraform(Module) • Datadog/Sentry 12
13. औΓ૊Μͩ͜ͱ (Aurora όʔδϣϯΞοϓ) ͦͷᶃ
14. Aurora όʔδϣϯΞοϓ • RDS SSL/TLSূ໌ॻͷߋ৽ ◦ ଞʹӨڹ͕ͳ͍Α͏ʹrds-ca-2019ͱಉ͡ΞϧΰϦζϜͷRSA2048Λ࢖༻͍ͯ͠Δ ◦ rds-ca-rsa2048-g1ʹมߋ ◦ ࠶ىಈ΍μ΢ϯλΠϜ͸ͳ͍ͷͰαΫοͱ׬ྃ • Aurora MySQLϚΠφʔόʔδϣϯΞοϓ ◦ 8.0.mysql_aurora.3.04.0→8.0.mysql_aurora.3.07.0 ▪ μ΢ϯλΠϜ͋Δ͔໰୊ʹ͍ͭͯݒ೦ ▪ ·ͣ͸։ൃ؀ڥ(Docker)͔ΒόʔδϣϯΞοϓͱಈ࡞֬ೝ ◦ ͜ͷػձʹAmazon Aurora Blue/Green DeploymentsΛݕূ ▪ ͔͠͠1࣌ؒҎ্͔͔ΔͨΊɺStgͰͦͷ··όʔδϣϯΞοϓ(10෼) ◦ ࠶ىಈ΍μ΢ϯλΠϜ͸ͳ͔ͬͨͷͰɺ೔தʹରԠͯ͠ຊ൪׬ྃ 14 ʮೖࣾͯ͠Θ͔ͣ3೔ͰରԠʂʯ
15. औΓ૊Μͩ͜ͱ (؂ࢹ/ΦϒβʔόϏϦςΟ) ͦͷᶄ
16. ؂ࢹ/ΦϒβʔόϏϦςΟ • ؂ࢹ/ΦϒβʔόϏϦςΟपΓ ◦ ࠓ·ͰSentryͰΤϥʔτϥοΩϯάͱAPMͷΈ͚ͩ ◦ Մ؍ଌੑେࣄͳͷͰ΍͍͖ͬͯ • ։ൃϝϯόʔ͸3໊ ◦ ϝϯόʔͱग़ࣾ࣌ʹ1on1 ▪ ձ࿩͍ͯ͘͠தͰDatadogͰ౷Ұ͢Δ͜ͱʹͳͬͨ ▪ ΤϥʔτϥοΩϯά͸Sentryͷํ͕͍҆ͨΊܧଓ ▪ APM͸DatadogʹҠߦ • Πϯϑϥ/ΞϓϦέʔγϣϯϦιʔε ◦ ECS(CPU,Memory) ◦ ֎ܗ؂ࢹ(Response Time,Status Code) ◦ CloudFront(5xx,Error Rate) ◦ APM(Error,Latency) ◦ RDS(CPU,Memory,DeadLock,Network,Connection,Select Latency) ◦ Πϕϯτϩά(Error,Fail) ◦ Ξϥʔτ͸શͯTerraformԽɺμογϡϘʔυ͸खಈͰ؅ཧ 16
17. ؂ࢹ/ΦϒβʔόϏϦςΟ 17 ʮීஈݟ͍͑ͯͳ͔ͬͨ෦෼͕ɺΦϒβʔόϏϦςΟͷ ޲্ʹΑͬͯՄࢹԽ͞Εͨʂʯ
18. औΓ૊Μͩ͜ͱ (SLI/SLO) ͦͷᶅ
19. SLI/SLO • SLI/SLOͷࡦఆ ◦ SLI/SLOͷӡ༻͸γϯϓϧͳߏ੒Ͱ࣮ݧ͍ͯ͘͠ ▪ τοϓϖʔδͷͦͷଞͷϖʔδͷද͕ࣔ࣌ؒ2ඵҎ಺Ͱ͋Δׂ߹͕99%Ҏ্ ▪ τοϓϖʔδ΍ͦͷଞͷϖʔδͷϦΫΤετॲཧ੒ޭ཰͕99%Ҏ্ • HTTPεςʔλείʔυ 4xxҎ֎ ▪ ΤϥʔόδΣοτ • 30೔ؒʹ0.1%ͷμ΢ϯλΠϜ͕100%ফඅ͞Εͨ৔߹ ▪ όʔϯϨʔτ • 30೔ؒʹ6͓࣌ؒΑͼաڈ30෼ؒͰ6ഒҎ্ͷ৔߹ ▪ আ֎ • ΠϯϑϥϦιʔε ◦ CPUɺMemoryɺωοτϫʔΫɺσΟεΫ ◦ සൟʹΞϥʔτ͕ग़ΔͨΊαʔϏεͷӨڹʹ͸ͳΒͳ͍ ▪ ৼΓฦΓ • ִिͰSLOͷݟ௚͠Λߦ͏ 19
20. SLI/SLO 20 ʮࠓޙ͸։ൃϝϯόʔ͕ӡ༻Ͱ͖ΔΑ͏ʹSRE͕ ϑΥϩʔ͍ͯ͘͠ʂʯ
21. औΓ૊Μͩ͜ͱ (։ൃ؀ڥͷվળ) ͦͷᶆ
22. ։ൃ؀ڥͷվળ • ։ൃ؀ڥΛJustfileԽͯࣗ͠ಈߏங ◦ ։ൃ؀ڥ ▪ rails server ▪ Node.js(npm run) ▪ MySQL8(docker-compose) ◦ ࠓ·Ͱ͸खॱॻΛݟͳ͕Βߏங͍ͯͨ͠ ▪ खॱ͕ଟ͍ͨΊ࿙Ε͕ൃੜͯ͠͠·͏ ◦ Justfile(Task Runner Tool) ▪ https://github.com/casey/just ▪ Makefileͱൺֱ͢Δͱ • γϯϓϧͰ௚ײతͳߏจ • γΣϧεΫϦϓτʹࣅͯΔ • ґଘؔ܎ͷ؅ཧ͕؆୯ • ֶशίετ͕௿͍ 22
23. ։ൃ؀ڥͷվળ(justfile) 23 ʮ։ൃϝϯόʔ͕εϐʔσΟʔʹߏஙͰ͖ΔΑ͏ʹʂʯ
24. ·ͱΊ/ࠓޙ΍Γ͍ͨ͜ͱ
25. ·ͱΊ/ࠓޙ΍Γ͍ͨ͜ͱ • ৴པੑͱจԽͮ͘Γ͸ձ࿩Ͱ͢ ◦ ີʹؔΘΓͳ͕Βࢧԉ͍ͯ͘͠ • Findy ToolsͰ࣮ݧతʹߦ͍ͬͯΔ؂ࢹपΓ ◦ ૊৫ԣஅʹΑΔϊ΢ϋ΢Λڞ༗ ▪ Findy ▪ Findy Freelance ▪ Findy Team+ • AWSηΩϡϦςΟपΓ޲্ • AWSίετ࡟ݮ • ։ൃϝϯόʔ΁ͷੜ࢈ੑ޲্ ◦ ։ൃ؀ڥ ׬શDockerԽ ◦ ECS ArmҠߦ ◦ Stgෳ਺؀ڥ ࣗಈߏங ◦ σϓϩΠߴ଎Խ 25
26. ࠷ޙʹʂ
27. গ͠Ͱ΋ϑΝΠϯσΟͰಇ͘͜ͱʹ͝ڵຯ͋Ε͹ɺؾܰʹ͝࿈བྷ͍ͩ͘͞ʂ Ͳ͕͜దਖ਼͔Θ͔Βͳ͍ͱ͍͏ํ΋ؚΊͯɺΦʔϓϯϙδγϣϯ(ॻྨબߟ΍໘ஊ࣌ʹϙδγϣϯ͢Γ߹Θͤ)΍ΧδϡΞϧ໘ஊͷਃࠐΈΛߦ͍ͬͯ·͢ʂ 27 ※ืूঢ়گʹΑͬͯมಈ͠·͢ ։ൃνʔϜɾσβΠφʔ • CTOީิ • EM • ϑϩϯτΤϯυ • ػցֶशΤϯδχΞ • όοΫΤϯυ •σʔλΤϯδχΞ • SRE • UIσβΠφʔ Findy Career • ࣄۀ෦௕ީิ • ϚʔέςΟϯά • ࣄ຿Ξγελϯτ • PdM • ΧελϚʔαΫηε ◦ Ϧʔμʔީิ / ϝϯόʔ • ϢʔβʔαΫηε ◦ Ϧʔμʔީิ / ϝϯόʔ Findy Team+ • ৽نࣄۀ։ൃ • ηʔϧε • ΧελϚʔαΫηε • PdM ւ֎ਪਐ • ্ཱͪ͛ϝϯόʔ ◦ ϢʔβʔରԠ ◦ اըରԠ ࣾ௕ࣨ • ࣾ௕ࣨ௕ީิ • ࠾༻૊৫ਓࣄϦʔμʔ • ޿ใ୲౰ ίʔϙϨʔτଞ • CFOީิ • ܦӦاը • ๏຿ • ্৔४උ୲౰ • ࣄۀاը • ܦཧ ืूதͷϙδγϣϯ
28. SREΛେืूதʂ🥹 ઈࢍϩʔυϚοϓΛ࡞੒தͰ͢ʂʂ ڵຯ͋Δํʂͥͻ๻ͱ͓࿩͠·͠ΐ͏ʂʂ🤝 (δϡχΞ΋ҭ੒͠·͢ʂ) \ ಛ ʹ ʂ/
29. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ