SRE本の知られざる名シーン / The Hidden Gems of Google SRE Book

SRE NEXT 2026 の mini LT で発表したときの資料です。
refs: https://sre-next.dev/2026/

Transcript

1. SREຊͷ஌ΒΕ͟Δ໊γʔϯ SRE NEXT mini LT Topotal @nari_ex / @kenta_hi SRE NEXT 2026 mini LT
2. SRE NEXT 2026 mini LT 2
3. 16ষ Outalator — ো֐ͷू໿ͱ෼ੳ SRE NEXT 2026 mini LT 3
4. Outalator: ো֐ͷू໿ͱ෼ੳΛ͢ΔͨΊͷ౔୆ • શΞϥʔτΛड͚औΓɺ஫ऍɾάϧʔϓԽɾ෼ੳ͢ΔπʔϧʢEscalator ͷ্ʹߏஙʣ • incident ΁ͷू໿ • 1ͭͷࣄ৅͕ෳ਺ΞϥʔτΛ໐Β͢ → ·ͱΊͯ 1 incident ʹ • ʮ1೔͋ͨΓΠϯγσϯτ਺ʯͱʮΞϥʔτ਺ʯΛ෼͚ͯޠΕΔ • ࣗ༝ܗࣜλά • ίϩϯͰ֊૚Խɿcause:network:switch / bug:76543 / bogusʢޡݕ஌ʣ → Ξϥʔτ͸ ʮͦͷ৔Ͱফ͢௨஌ʯ Ͱ͸ͳ͘ ʮޙͰ෼ੳͰ͖Δσʔλʯ ʹͳΔ SRE NEXT 2026 mini LT 4
5. Outalator ͕࣮ӡ༻Ͱޮ͍ͨ৔໘ • τϨϯυʗνʔϜؒൺֱ • ͦͷෛՙ͸“௨ৗ”͔ʁ Λʮࠓि͚ͩ3ճʯͳͷ͔ʮલ͸ຖ೔5ճʯͩͬͨͷ͔ɺΛจ຺Ͱ൑அ • ԣஅతͳݪҼಛఆ • ผαʔϏεͷʮݹ͍σʔλʯͱʮߴϨΠςϯγʯ͕ ಉ͡ωοτϫʔΫ᫔᫓ ༝དྷͩͱؾ͚ͮΔ • ΫϩενʔϜՄࢹੑ • ࣗ෼ͷো֐͕ Bigtable ىҼͳͷʹBigtable νʔϜ͸ؾ͍͍ͮͯͳ͍ → ͪ͜Β͔Βୟ͍ͯશମͷ਍அΛՃ଎ • ؂ࠪϩά΁ͷస༻ • ਓʹ͸௨஌͠ͳ͍“μϛʔઃఆ”ͰಛݖΞΧ΢ϯτ࢖༻΍ඇႈ౳δϣϒΛࣗಈه࿥͢Δ → λάΛ͋͑ͯ“ࣗ༝ܗࣜ”ʹͯ͠ɺνʔϜ಺ͰࣗવʹҭͯΔ෼ྨͷํ͕ɺ౷੍ΑΓྑ͍σʔλʹͳΔ SRE NEXT 2026 mini LT 5
6. 25ষ ෛՙάϥϑͷ“ܗ”ΛಡΉ — 3ͭͷయܕύλʔϯ SRE NEXT 2026 mini LT 6
7. ఆظύΠϓϥΠϯ͕ੜΉෛՙͷบ ൜ਓ͸ʮ୯ମͷδϣϒʯͰ͸ͳ͘ʮλΠϛϯάͱ෼෍ʯʹજΉ • Thundering Herd • αΠΫϧຖʹ਺ઍϫʔΧʔ͕ ಉ࣌ʹ ىಈ͠ɺӶ͍εύΠΫ • ϦτϥΠ๫૸΍ʮ஗͍→ϫʔΧʔ૿΍͢ʯͰ૿෯ʢbuggy 10,000 worker jobʣ • Moiré Load Pa2ern • ෳ਺ύΠϓϥΠϯͷҐ૬͕ ࣌ʑॏͳΓɺڞ༗Ϧιʔεʹׯবࣶঢ়ͷϐʔΫ • ୯ମͰ͸ਖ਼ৗɺॏͳͬͨॠ͚ؒͩ௧Ή • Hanging Chunk • ސ٬͝ͱʹσʔλྔ͕ภΓɺ࠷େͷ1݅ ͕શମͷ׬ྃ࣌ؒΛࢧ഑ SRE NEXT 2026 mini LT 7
8. SRE NEXT 2026 mini LT 8
9. ݕग़ͱฏ४Խͷצॴ • ՄࢹԽͯ͠ॏͶ߹ΘͤΛݟΔ • δϣϒ܈ͷىಈ࣌ࠁΛ࣌ܥྻͰฒ΂ɺׯবϐʔΫΛૣظൃݟ • ϦΞϧλΠϜʹଌΔ • ఆظύΠϓϥΠϯ͸ ׬ྃ࣌ʹ͔͠ ౷ܭΛग़͞ͳ͍ • ࣦഊ͢Δͱσʔλ͕ແ͍ • → ࣮ߦதϝτϦΫεΛ࣋ͭ • ฏ४Խ͢Δ • ىಈ࣌ࠁΛͣΒ͢ʗॲཧΛࡉཻ౓ʹׂΔʗܧଓॲཧ΁Ҡߦ SRE NEXT 2026 mini LT 9
10. 28ষ ৽ਓSREΛҭͯΔ — “ࠞಱͰ͸ͳ͘ߏ଄” SRE NEXT 2026 mini LT 10
11. ֶͼͷ౔୆ΛͲ͏࡞Δ͔ “trial by fireʢݱ৔ʹ์ΓࠐΉʣ”Ͱ͸ͳ͘ɺ࣮֬ͳεςοϓͰ৴པͱೳྗΛங͘ • ߏ଄Խ͞Εֶͨशܦ࿏ — σʔλͷྲྀΕʹԊͬͯੵΈ্͛ʢNW → ϑϩϯτ → தؒ૚ → Πϯϑϥ → ౷ ߹σόοάʣ • On-Call Learning Checklist — ֤ஈ֊Ͱʮ஌Δ΂͖͜ͱɾಡΉࢿྉɾཧղ౓Λ໰͏ઃ໰ʯ खॱͷ҉هͰ͸ͳ͘ جຊݪཧ Λ໰͏ • ҭ͍ͯͨ3ͭͷࢿ࣭ • ϦόʔεΤϯδχΞϦϯάʢॳݟͷγεςϜΛਪ࿦͢Δʣ • ౷ܭతࢥߟʢ๲େͳܾఆ໦ΛൺֱͰמΓࠐΉʣ • ଈڵྗʢखॱॻ͕ޮ͔ͳ͍࣌ʹखஈΛ૊Έ߹ΘͤΔʣ SRE NEXT 2026 mini LT 11
12. ஈ֊తʹ࣮ઓ΁دͤΔ4ख๏ • աڈ/Սۭͷো֐Λि࣍ϩʔϧϓϨΠ • GM ͕ঢ়گΛಈతʹग़͠ɺِͷख͕͔ΓʢϛεϦʔυʣͰ༳͞ͿΔ • Shadow On-Call • ϖʔδΛड͚Δͷ͸ ϕςϥϯʢਖ਼ࣜͳΦϯίʔϧʣɻ৽ਓ͸ԣͰ؍࡯͢Δ͚ͩ • ࣌ؒతϓϨογϟʔແ͠ͰରԠ͕ల։͢Δ༷ࢠΛݟͯɺࣄޙʹࢥߟաఔΛڞ༗ • Reverse Shadowʢٯγϟυ΢ʣ • ໾ׂ൓సɻ৽ਓ͕ primary ΦϯίʔϧʹͳΔ • ϕςϥϯ͸Ө͔Β਍அ͢Δ͕ ঢ়ଶ͸ม͑ͳ͍ SRE NEXT 2026 mini LT 12
13. 3ஈ֊Ͱ৽ਓΛҰਓલʹ͢Δ 1. ݟֶͯͿʢShadowʣ 2. ΍ΒͤͯݟकΔʢReverse Shadowʣ 3. ಠΓཱͪ ஈ֊తʹݖݶΛҕৡ͠ɺ৺ཧతѹྗΛ؅ཧ͠ͳ͕Β࣮ઓྗΛཆ͏ SRE NEXT 2026 mini LT 13
14. ·ͱΊɿ ͢΂ͯͷ՝୊͸ ʮ࢓૊ΈͰղ͘ʯ • 16ষ: ΞϥʔτΛ ه࿥ͯ͠෼ੳͰ͖Δσʔλ ʹม͑ͯରࡦΛ͢ Δ࢓૊ΈΛͭ͘Δ • 25ষ: ෛՙͷ܏޲ΛಡΈɺෛՙͷλΠϛϯάͱ෼෍ Λۉ͢ • 28ষ: ҭ੒ΛࠜੑͰͳ͘ ߏ଄ͱϓϩηε Ͱઃܭ͢Δ SRE NEXT 2026 mini LT 14
15. ʮSREΛ͸͡ΊΑ͏ʯͷྠಡ ϙουΩϟετ։࢝ʂ X ΞΧ΢ϯτ: @read_sre_again Ͱ࠷ ৽৘ใΛ౤ߘͯ͠·͢ʂ SRE NEXT 2026 mini LT 15
16. PR: ΋͏Ұ౓ߟ͑ΔSRE #1 SRE ͷ࣮ફࣄྫΛ࣋ͪدΓɺۀքશମͷऔΓ૊ΈΛΑΓΑ͘͢Δ͜ͱΛ໨తͱͨ͠ΦϑϥΠϯษڧձ SRE NEXT 2026 mini LT 16
17. Thank you! SRE NEXT 2026 mini LT 17