たまに起きる外部サービスの障害に備えたり備えなかったりする話

Transcript

1. ͨ·ʹى͖Δ֎෦αʔϏεͷো֐ʹ උ͑ͨΓඋ͑ͳ͔ͬͨΓ͢Δ࿩ 2025/12/12 ΏΔSREษڧձ #14 Sohei Iwahori (GREE, Inc.)
2. who? » Sohei Iwahori (@egmc) » גࣜձࣾάϦʔ ΠϯϑϥετϥΫνϟ෦ γχΞϦʔυΤϯδχΞ » Πϯϑϥͱ؂ࢹγεςϜ » SRE NEXT 2025 Co-ChairʢͰͨ͠ʣ » eBPF Japan MeetupӡӦ
3. Q:ͨ·ʹى͖Δ֎෦αʔϏεͷো֐ is Կ A:PagerDuty͕μ΢ϯͨ͠ɺͱ͔ͦ͏͍͏΍ͭͰ͢
4. ͜ͷτʔΫͰಘΒΕΔ͔΋͠Εͳ͍͜ͱ » ֎෦ͷαʔϏεͷো֐ʹରͯ͠Ͳͷఔ౓ͲͷΑ͏ʹඋ͑Δͷ͔ͷώϯτ » كʹݟམͱ͕ͪ͠ͳܦ࿏ʹ͍ͭͯߟ͑Δ » օ͞ΜͲͷఔ౓Ͳ͏ͯ͠·͢ʁͱ͍͏ͷΛฉ͘ʢࢲ͕ʣ » ʢ֎෦ͷαʔϏε͕μ΢ϯͯ͠΋׬ᘳʹγεςϜΛकΓ·͠ΐ͏ɺͰ͸ͳ ͍ʣ
5. ΞδΣϯμ » ࣄྫΛ࿩͢ » 2021/10 Grafana Cloud » 2025/08 PagerDuty » 2025/11 Cloudflare » ͦͷଞͷώϯτʹ͍ͭͯ࿩͢ » ϩέʔγϣϯΛόϥ͢ઓུ » ೝূج൫ͷαʔϏε͕ར༻ෆՄʹͳͬͨΒʁ » ϝʔϧαʔόΛΦϯϓϨ͔ΒΫϥ΢υ΁Ҡߦͨ࣌͠ͷձ࿩ » ·ͱΊ
6. ࣄྫΛ࿩͢
7. 2021/10 Grafana Cloud » Grafana Cloudͷ2࣌ؒͷμ΢ϯ » ΦϯϓϨଆͷγεςϜଆͰো֐ʹͳͬͨ » SRE NEXT 2022Ͱ࿩ͯ͠·͢1 » ͜Ε͸උ͍͑ͯͳ͔ͬͨέʔε 1 ϓϩμΫγϣϯ؀ڥͷ৴པੑΛଛͶͣ؍ଌ͢Δٕज़ https://sre-next.dev/2022/schedule/#jp32
8. Ͳ͏͢Ε͹Α͔͔ͬͨ » ՄೳͳݶΓࣄલʹྫ֎ܥ΋ಈ͔͓͚ͯ͠ΔͱΑ͍ » ΤʔδΣϯτࣗମͷMonitoring΋Մೳ͕ͩ͜Ε͸͜ΕͰେม » ͳΜΒ͔ผܦ࿏Ͱҟৗݕ஌͕Ͱ͖͍ͯΔͱΑ͍
9. 2025/08 PagerDuty » PagerDutyͷো֐ʹΑΔΞϥʔτ഑ૹ஗Ԇ » 24/365ͷҰ࣍ରԠνʔϜ͕͍ΔͷͰͦͪ ΒͰٵऩ » جຊతʹ͸૝ఆࡁͳͷͰͦͷΑ͏ʹରԠ ͞Εͨ
10. Ͳ͏͍ͯ͠Δ͔ » ಺੡ͷΞϥʔτ؂ࢹγεςϜʢAWSͰ৑௕ߏ੒ͰՔಇʣ͔ΒSlack/ PagerDuty/ͦͷଞͷνϟϯωϧ΁ͷ௨஌ΛAPIܦ༝Ͱߦ͍ͬͯΔ » ΫϦςΟΧϧͳΞϥʔτ௨஌͸2ܥ౷ͷܦ࿏Λ༻ҙ͢ΔΑ͏ʹ͍ͯ͠Δ » ྺ࢙తഎܠͱͯ͠͸ΦϯϓϨͷ࣌୅͔Β24/365ӡ༻νʔϜ͕͍ΔͨΊɺͦͷ ӡ༻Λ૝ఆΛ͍ͯ͠Δ
11. 2025/11 Cloudflare » Cloudflareͷμ΢ϯ » CDNͱͯ͠͸ར༻͍ͯ͠ͳ͍͕Ұ෦ͷίϯςφΠϝʔ δͷऔಘͳͲͰӨڹ » ༧૝ͯ͠ͳ͔ͬͨͱ͜Ζͱͯ͠Grafana CloudͷҰ෦ ͷελοΫ͕ӾཡෆՄʹͳͬͨ
12. Ͳ͏͢Δ΂͖͔ » Πϝʔδܥ͸جຊతʹϓϧεϧʔΩϟογϡಋೖͳͲʢେମ΍ͬͯ͸͍ͨ » SaaS͕࢖ͬͯΔCDN·Ͱ͸ਖ਼௚ҙࣝ͠ͳͯ͘ྑ͍ͱࢥ͏ » ͜Ε͸ϩέʔγϣϯઓུͷํͰ
13. ͦͷଞͷώϯτʹ͍ͭͯ࿩͢
14. ϩέʔγϣϯΛόϥ͢ઓུ » αʔϏεʹΑͬͯ͸ελοΫ͝ͱʹϩέʔγϣϯ΍Ϋϥ΢υϓϩόΠμΛબ ΂Δ » ࣗࣾͷαʔϏεͱಉ͡Ϋϥ΢υϓϩόΠμ΍ϩέʔγϣϯʢϦʔδϣϯʣΛ બ୒͢Δ͜ͱͰPrivateLink͕࢖͑ͨΓసૹྔΛ཈͑ΒΕͨΓ͢ΔͷͰτϨʔ υΦϑ͸͋Δ » ݸਓతʹ͸શ໓͸ਏ͍ͷͰɺڧ͍ཧ༝͕ͳ͚Ε͹ద౓ʹόϥ͢ઓུΛਪͯ͠ ͍Δ
15. ೝূج൫ͷαʔϏε͕ར༻ෆՄʹͳͬͨΒʁ » EntraIDͳͲɺSSOͷج൫͕μ΢ϯ͢Δͱ࡞ۀͦͷ΋ͷ͕Ͱ͖ͳ͘ͳΓେมͭΒ͍ » େࣄͳαʔϏεʹ͸ඇৗޱΛ༻ҙ͓ͯ͘͠ » AWSͰ͋Ε͹MFAઃఆͯ͠ผΞΧ΢ϯτʹඇৗ༻ϢʔβʔΛ࡞͓ͬͯ͘ͱ͔ » αʔϏεʹΑͬͯ͸SAMLͰͷϩάΠϯͷྫ֎ͱͯ͠IDύεϫʔυೝূΛҰ෦ ϢʔβʔʹڐՄ͢ΔɺΈ͍ͨͳ΋ͷ΋͋Δ » ج൫ͷμ΢ϯ͡Όͳͯ͘΋ূ໌ॻͷظݶ੾Ε΍ΦϖϛεʹΑΓೖΕͳ͘ͳΔέʔ ε΋͋Δ
16. ϝʔϧαʔόΛΦϯϓϨ͔ΒΫϥ΢υ΁Ҡߦͨ͠ ࣌ͷձ࿩ » ʮΦϯϓϨͱΫϥ΢υͷμΠϨΫτίωΫτͷ઀ଓ؂ࢹ͸ΦϯϓϨଆͷαʔ όͰ΍ͬͯ·͢ΑͶʯ » ʮͦ͏Ͱ͢Ͷɺ઀ଓஅΛݕ஌ͨ͠৔߹͸ϝʔϧͰ௨஌͍ͯ͠·͢ʯ » ʮϝʔϧαʔό͕Ϋϥ΢υଆʹҠߦ͢ΔͱμΠϨΫτίωΫτ͕੾ΕͨΒϝʔ ϧ͕ಧ͔ͳ͘ͳΔͷͰ͸ʁʯ
17. ·ͱΊ » ֎෦αʔϏε͸جຊతʹΞϯίϯτϩʔϥϒϧͰ͕͢ద౓ʹඋ͑ΒΕΔ͜ͱ΋͋Δ » ࣗࣾͷཁ݅ʹԠͯ͡උ͑·͠ΐ͏ʢ΍Γ͗͢͸ې෺ʣ » උ͑ͷώϯτ » ඞཁʹԠͯ͡ผܦ࿏Λ༻ҙ͢Δ » ՄೳͰ͋Ε͹μ΢ϯ࣌ͷڍಈΛγϛϡϨʔτ͓ͯ͘͠ » Έͳ͞ΜͲ͏͞Εͯ·͔͢ʁ
18. Thank you for listening