How We Foster Reliability in Diversity

SRE NEXT 2022 の基調講演の資料です。
https://sre-next.dev/2022/schedule#kc01

Transcript

7. Motivation • اۀͷઓུ΍αʔϏεɺจԽͳͲͷݻ༗ͷίϯςΩετ͕͋Δ தͰɺͲͷΑ͏ʹ૊৫ʹ SRE Λ࣮ફ͢ΔͱΑ͍͔ • αʔϏεΛऔΓר͘؀ڥͷมԽʹରͯ͠ SRE ͸ͳʹ͕Ͱ͖Δͷ ͔ => ૊৫ʹదͨ͠ SRE Λఆٛ͠ɺҭ͍ͯͯͨ͘ΊͷऔΓ૊ΈΛ঺հ ͠ͳ͕Βɺଟ༷ੑͱͱ΋ʹ SRE ͕ͲͷΑ͏ʹาΜͰ͍͔͘ ʹ͍ͭ ͓ͯ࿩͠·͢ɻ 7
10. ٻΊΒΕΔ SRE ͷଟ༷Խ 10
11. SRE ͕ଟ༷Խ͢Δཧ༝ • ૊৫͝ͱʹ৴པੑͷఆ͕ٛҟͳΔͨΊ • ৴པੑ͸ࣄۀઓུ΍γεςϜಛੑͳͲ༷ʑͳཁૉ͕Өڹ͢Δ • αʔϏεΛऔΓר͘͢΂ͯͷཁૉ͕ಉ͡ʹͳΔ͜ͱ͸ͳ͍ • ৴པੑͷܭଌํ๏΍໨ඪ஋ɺͦͷୡ੒ํ๏ʹ͍ͨΔશ͕ͯಉ ͡ʹͳΔ͜ͱ͸ͳ͍ • → SRE ΛҰ༷ʹ࣮ફ͢Δ͚ͩͰ͸͏·͍͔͘ͳ͍ 11
12. ྫ: ϓϩμΫτͷϑΣʔζʹΑΔ৴པੑͷҧ͍ 12
13. ྫ: γεςϜಛੑʹΑΔ৴པੑͷҧ͍ 13
14. it's a marathon, not a sprint1 1 With SRE, failing to plan is planning to fail 14
15. Why is SRE a marathon? • ٕज़తͳ໘ͱਓؒతͳ໘ʢจԽ΍ϓϩηεͳͲʣͷ՝୊͕͍͘ ͭ΋ંΓॏͳ͍ͬͯΔ • νʔϜϦʔμʔ΍ܦӦ૚Λר͖ࠐΉඞཁ͕͋Δ • ex. Ϧιʔεʢਓ΍͓ۚʣΛ৴པੑ࣮ݱͷͨΊʹׂΓ౰ͯΔ • ex. ࣗ෦໳த৺తͳߟ͑ํΛ୤͠ɺSRE ͷจԽతݪଇΛҭΉ → SRE ͸૊৫ͷมֵ͸൐͏΋ͷͰ͋ΓɺҰேҰ༦Ͱ͸੒͠ಘͳ͍ 15
17. ૊৫ʹదͨ͠ SRE ͷ࣮ફ͸ ͲͷΑ͏ʹߦ͏ͱΑ͍͔ 17
18. SRE ͷ࣮ફʹ͓͚Δॏཁͳ5ͭͷεςοϓ23 1. ࣮ફʹඞཁͳ৘ใΛूΊΔ 2. খ࢝͘͞Ίͯɺ܁Γฦ͢ 3. νʔϜΛࢧԉ͢Δ 4. ֶΜͩ͜ͱΛεέʔϧ͢Δ 5. σʔλυϦϒϯܕͷϚΠϯυηοτΛ۩ମԽ͢Δ => ͍͖ͳΓϓϥΫςΟε࣮ફΛ͢ΔͷͰ͸ͳ͘ɺঢ়گ೺Ѳ͔Β͸͡ΊΔ => ࠷ऴతʹ͸ɺ૊৫͕ࣗ཯తʹ SRE Λ࣮ફͰ͖Δঢ়ଶΛ໨ࢦ͢ 3 Four steps to jumpstarting your SRE practice 2 The Professional Scrum Product Owner Book 18
19. SLI/SLO ʹ͓͚Δεςοϓͷ࣮ફྫ εςοϓ ۩ମྫ ࣮ફʹඞཁͳ৘ใΛूΊΔ ৴པੑʹؔ͢Δ՝୊Λ೺Ѳɺࣄۀ੹೚ऀ΍ΤϯδχΞ Ϧϯά૊৫ͷϦʔμʔΛಛఆ͢Δ খ࢝͘͞Ίͯɺ܁Γฦ͢ ݫີͳ SLI/SLO Λఆٛͤͣɺখ͞ͳαʔϏεɾνʔϜ Λର৅ʹ͸͡ΊͯΈΔ νʔϜΛࢧԉ͢Δ Embbedded SRE Λ༻͍֤ͯνʔϜͰ SLI/SLO Λ࣮ફ͢ Δ ֶΜͩ͜ͱΛεέʔϧ͢Δ ษڧձͷ։࠵ɺSRE Ξϯόαμʔͷ೚໋ͳͲʹΑͬͯ ద༻ൣғΛ֦େ͢Δ σʔλυϦϒϯܕͷϚΠϯυηοτΛ۩ମԽ͢Δ SLI/SLO ͷվળΛ௨ͯ͠ଌఆͷΧϧνϟʔΛৢ੒͢Δ 19
20. 5ͭͷεςοϓʹΑΔ૊৫ͷมԽ • ʮঢ়گ೺Ѳʯˠʮখ࣮͘͞ફʯˠʮࢧԉʯˠʮՁ஋ೝࣝΛΞο ϓσʔτʯˠʮ૊৫શମ͕ೳಈతʹ࣮ફʯͷྲྀΕ • → ૊৫શମͷߦಈ͚ͩͰͳ͘ɺՁ஋؍΋มԽ͍ͯ͠Δ • ࣮ફ͢ΔϓϥΫςΟεʹΑͬͯ͸ɺՁ஋ೝࣝͷΞοϓσʔτҎ ߱ͷ޻ఔ͕ԕ͘ײ͡Δ...... • → ߦಈݪཧͷཧ࿦Λ౰ͯ͸ΊΔ͜ͱͰ൫໘੔ཧ͕Ͱ͖ͦ͏ 20
21. ૊৫ͷණࢁϞσϧ • ߦಈݪཧʹؔ͢ΔණࢁͷϝλϑΝʔ • ໨ʹݟ͍͑ͯΔණΑΓ΋Կഒ΋େ͖͍ණ ͕ਫ໘Լʹଘࡏ͢Δ • Լ૚͸্૚ͷཁҼʹͳ͍ͬͯΔ • ex. ߦಈΛܾΊΔͷ͸ϙϦγʔ • ex. ϙϦγʔΛܾΊΔͷ͸Ձ஋؍ • ্૚͸ม͑΍͘͢ɺԼ૚͸ม͑ʹ͍͘ • ૊৫มֵ͸ɺ্͔Β͸΋ͪΖΜɺԼ͔Βͷ Ξϓϩʔν΋ॏཁ 21
22. SRE ͷϓϥΫςΟεͱණࢁϞσϧ 22
23. SRE ࣮ફʹ͓͚Δ೰Έ • SLI/SLO ͳͲͷϓϥΫςΟεͷ࣮ફ͸ɺLevel 1,2 Λ܁Γฦ͠มߋ͠ͳ͕ Βɺ࠷ऴతʹՁ஋؍ΛΞοϓσʔτ͍ͯ͘͠औΓ૊Έͱ͍͑Δ • Level 1,2 ͷࣄྫ͸૿͖͍࣮͑ͯͯͯફʹऔΓֻ͔Γ΍͍͢ • ͔͠͠ɺ্هͷऔΓ૊Έ͚ͩͰ͸ Level 3 ͷมԽʹ౸ୡ͠ͳ͍͜ͱ͕͋Δ • ೔ৗͷۀ຿͸มΘΔ͕ɺࣗ཯తͳ SRE ࣮ફʹ͸ڑ཭͕͋Δ • => Level 3 ʹରͯ͠ͳʹ͔Ξϓϩʔν͕Ͱ͖ͳ͍͔ 23
24. Level 3 ΁ͷΞϓϩʔν => SRE ͷํ޲ੑɾՁ஋؍Λ໌֬ʹ͢Δ 24
25. ͲͷΑ͏ʹํ޲ੑɾՁ஋؍Λ໌֬ʹ͢Δ͔ • ϑϨʔϜϫʔΫ͸ϛογϣϯɾϏδϣϯɾόϦϡʔΛར༻ • খ͘͞͸͡ΊΔͨΊʹ SREs ͷΈΛର৅ • CTO ΍ EM ͳͲɺ૊৫ͷϦʔμʔΛר͖ࠐΜͰ࣮ࢪ 25
26. SRE ͷϏδϣϯɾϛογϣϯɾόϦϡʔΛఆٛ͢Δ εςοϓ ۩ମྫ ࣮ફʹඞཁͳ৘ใΛूΊΔ اۀɾ૊৫ͷίϯςΩετΛ೺Ѳ͢Δ খ࢝͘͞Ίͯɺ܁Γฦ͢ MVV Λ࡞੒͠ɺSREs ʹߜͬͯӡ༻͠ͳ͕ΒվળΛੵ ΈॏͶΔ νʔϜΛࢧԉ͢Δ Embbedded SRE Λ༻͍ͯɺ֤νʔϜͰ SRE ͷ࣮ફΛ͢ Δ ֶΜͩ͜ͱΛεέʔϧ͢Δ MVV Λϕʔεʹͨ͠Ձ஋؍ͷڞ༗΍ํ޲ੑͷ͢Γ߹Θ ͤΛߦ͏ σʔλυϦϒϯܕͷϚΠϯυηοτΛ۩ମԽ͢Δ SRE ͷ࣮ફʹؔ͢Δ KPI ΛఆΊɺଌఆͷΧϧνϟʔΛ ৢ੒͢Δ 26
27. اۀɾ૊৫ίϯςΩετΛ೺Ѳ͢Δ 27
28. લఏ: ձࣾͱ SREs ͷ MVV Λ੔߹ͤ͞Δ 28
29. ͲͷΑ͏ʹاۀɾ૊৫ίϯςΩετͷ೺Ѳ͢Δ͔ • اۀ΍૊৫Λද͢ม਺Λ͢΂ͯચ͍ग़ͨ͠Γɺܭଌ͢Δ͜ͱ͸ ࠔ೉ • → اۀ׆ಈΛ၆ᛌతʹଊ͑ͳ͕ΒɺSRE ʹӨڹͷ͋Δओཁͳม ਺Λ੔ཧ͢Δ 29
30. اۀ׆ಈͷશମ૾ 30
31. اۀ׆ಈͷશମ૾ 31
32. اۀ׆ಈͷந৅Խ 32
33. ૊৫ͷίϯςΩετʹ͓͚Δओཁͳม਺ 1. اۀํ਑ʹؔ͢ΔίϯςΩετ 2. αʔϏεʹؔ͢ΔίϯςΩετ 3. ૊৫ʹؔ͢ΔίϯςΩετ 33
34. اۀํ਑ͷίϯςΩετͷ೺Ѳ ֬ೝର৅ ۩ମతͳΠϯϓοτྫ ؍఺ ձࣾͷํ޲ੑ ϛογϣϯɺϏδϣ ϯɺόϦϡʔʹؔ͢Δ ࢿྉ Ͳ͜ʹ޲͔͍ͬͯ͘ͷ ͔ɺͳʹΛେ੾ʹͯ͠ ͍Δͷ͔ ࣄۀઓུ IRɺࣾ಺޲͚ͷΩοΫ Φϑࢿྉ ݱࡏͷձࣾͷϑΣʔ ζɺࣄۀͷ੒௕ઓུΛ ཈͑Δ 34
35. αʔϏεͷίϯςΩετͷ೺Ѳ ֬ೝର৅ ۩ମతͳΠϯϓοτྫ ؍఺ αʔϏε಺༰ αʔϏεઆ໌ࢿྉɺ࣮ࡍʹ ࢖ͬͯΈΔ ͲͷΑ͏ͳαʔϏεͳͷ͔ αʔϏεߏ଄ γεςϜߏ੒ਤɺ։ൃϑϩ ʔɺϦϦʔεϓϩηε ͲͷΑ͏ͳ࢓૊Έͳͷ͔ɺ ͲͷΑ͏ʹ։ൃ͞Ε͍ͯΔ ͷ͔ αʔϏε՝୊ Πϯγσϯτͷཤྺɺγε ςϜʹ͓͚Δॏཁͳ՝୊ ͳʹ͕໰୊ʹͳͷ͔ 35
36. ૊৫ͷίϯςΩετͷ೺Ѳ ֬ೝର৅ ۩ମతͳΠϯϓοτྫ ؍఺ ૊৫ߏ଄ ૊৫ਤɺνʔϜͷ໾ׂ આ໌ࢿྉ ͲͷΑ͏ͳνʔϜ͕͋ Δͷ͔ɺΩʔϚϯ͸୭ ͳͷ͔ ৴པੑ΁ͷҙࣝ ϚΠϯυηοτΛௐࠪ ͢Δ ৴པੑ͕Ͳͷ͘Β͍׆ ಈʹӨڹ͕͋Δͷ͔ 36
37. ิ଍: ૊৫ͷ৴པੑͷϚΠϯυηοτ ৴པੑʹؔ͢Δ૊৫ͷϚΠϯυηοτ͸5ͭʹ෼ྨͰ͖Δ4 ϑΣʔζ આ໌ Absent ૊৫ʹͱͬͯ৴པੑ͸ޙճ͠ʹͳ͍ͬͯΔঢ়ଶ Reactive ௚ۙͰੜͨ͡৴པੑͷ໰୊ͷϑΥϩʔ͕ߦΘΕΔ͕ɺγεςϜ΁ͷ௕ظత ͳ౤ࢿ͸΄΅ͳ͍ Proactive ఆظతͳ૊৫ϓϩηεΛ௨ͯ͡જࡏతͳ৴པੑϦεΫ͕ಛఆ͞Εରॲ͞Ε Δ Strategic ΞʔΩςΫνϟɺϓϩμΫτɺϓϩηεΛମܥతʹมߋ͢Δ͜ͱͰϦεΫ ͷΫϥε؅ཧ͢Δ Visionary ৴པੑͷ࠷ߴҐʹ౸ୡ͓ͯ͠Γɺ৴པੑ΁ͷ෯޿͍औΓ૊ΈΛϕετϓϥ ΫςΟεΑͼܦݧʹج͍ͮͯࣾ಺֎ͰਪਐͰ͖Δ 4 What’s your org’s reliability mindset? Insights from Google SREs 37
38. SREs ͷ MVV Λ࡞੒͢Δ 38
39. MVV ࡞੒ͷεςοϓ 1. CTOɺEMɺSREs ΁ͷώΞϦϯά • ແҙࣝతʹ༏ઌ͍ͯ͠Δ͜ͱ • ॏཁʹ͍ͯ͠ΔՁ஋؍ • γεςϜ΍ϫʔΫϑϩʔͷϕετέʔεͷ͢Γ߹Θͤ 2. ͖ͨͨ୆Λ࡞੒ • લஈͰ४උͨ͠ίϯςΩετͱώΞϦϯάΛ΋ͱʹ࡞੒ 3. ϨϏϡʔ & मਖ਼ • Google Docs Λར༻͠ɺSREνʔϜ಺ϨϏϡʔΛඇಉظͰߦ͏ • େ࿮͕Ͱ͖ͨΒɺ࢖͏ݴ༿ͷબఆ΍χϡΞϯεͷ֬ೝΛಉظతʹߦ͏ 39
40. MVV ͷྫ 40
41. Χϧνϟʔͷৢ੒ʹؔ͢Δ KPI ΛఆΊΔ Ωʔϫʔυ KPI ͷྫ ૉૣ͘σϓϩΠ͢Δ CI/CD ࣌ؒͷܭଌ ҆શʹσϓϩΠ͢Δ σϓϩΠޙʹमਖ਼͕ඞཁʹͳΔׂ߹ͷܭଌ Ϣʔβʔ͕҆৺ͯ͠࢖͑Δ γεςϜʹ͓͚ΔηΩϡϦςΟج४ͷୡ੒ ཰ͷܭଌ • ։ൃपΓ͸ Agile KPIs Ͱௐ΂Δͱ஌ݟ͕๛෋ʹग़ͯ͘Δ • ͦͷଞͷ׆ಈ KPI ͱ૊Έ߹Θͤͯɺࣗࣾͷ "SRE KPIs" ΛఆٛͰ͖ΔͱΑ͍ 41
42. ͜͜·Ͱͷ·ͱΊ • SRE ͷ࣮ફ͸ 5 ͭͷεςοϓʹ෼͚Δ͜ͱ͕Ͱ͖Δ • ঢ়گ೺Ѳ͔Β͸͡·Γɺ૊৫ͷϚΠϯυηοτͷมߋ·Ͱߦ͏ • 5 ͭͷεςοϓ͸૊৫มֵͷϓϩηεͳͷͰɺණࢁϞσϧΛద༻ͯ͠੔ཧͰ͖Δ • ණࢁϞσϧͷԼ͔Β্΁Ξϓϩʔν͢Δྫͱͯ͠ SRE ͷ MVV ߏஙΛ঺հ • ํ޲ੑɾՁ஋؍ͷߏங΋ 5 ͭͷεςοϓ͸༗ޮ • ၆ᛌతʹاۀ׆ಈΛଊ͑Δ͜ͱͰɺঢ়گ೺Ѳͷ੾ΓޱΛಛఆ • ํ޲ੑɾՁ஋؍ͷৢ੒ʹ͓͍ͯ΋ɺσʔλυϦϒϯͷϚΠϯυηοτ͸༗ޮ 42
44. ؀ڥͷมԽʹΑͬͯ ద੾ͳ৴པੑ͸มΘ͍ͬͯ͘ • αʔϏεΛऔΓר͘؀ڥ͸ɺ࣌ؒܦաͱ ͱ΋ʹมԽ͠ଓ͚Δ • ಋೖͨ͠΋ͷ͸ɺ؀ڥͷมԽͱͱ΋ʹ࠷ దͰ͸ͳ͘ͳΔ • ؀ڥͷมԽʹରͯ͠ɺͲͷΑ͏ʹཱͪ޲ ͔͑͹Α͍ͷ͔ → มԽͷରԠ͢ΔͨΊͷΑ͍Ξϓϩʔν͸ ͳ͍ͩΖ͏͔ 44
45. μΠφϛοΫέΠύϏϦςΟ • ͳʹ͕ى͜Δ͔Θ͔Βͳ͍࣌୅ͳͷͰԿ͕ى͖ͯ΋ରԠͰ͖ΔΑ͏ʹ͠Α͏ͱ͍͏ߟ͑ํ • ؀ڥ΍ঢ়گ͕ܹ͘͠มԽ͢ΔதͰɺاۀ͕ͦͷมԽʹରԠͯࣗ͠ݾΛมֵ͢Δೳྗ5 • ҎԼͷ3ͭͷೳྗʹ෼ྨͰ͖Δ • ײ஌ʢSensingʣ: ڻҟ΍ةػΛײ஌͢Δೳྗ • ัଊʢSeizingʣɿػձΛଊ͑ɺطଘͷࢿ࢈ɾ஌ࣝɾٕज़Λ࠶ߏ੒ͯ͠ڝ૪ྗΛ֫ಘ͢Δೳྗ • ม༰ʢTransformingʣɿڝ૪ྗΛ࣋ଓతͳ΋ͷʹ͢ΔͨΊʹɺ૊৫શମΛ࡮৽͠ม༰ͤ͞Δ ೳྗ 5 ৽࣌୅ͷܦӦઓུʮμΠφϛοΫɾέΠύϏϦςΟʯͱ͸Կ͔ʁ 45
46. 3ͭͷೳྗ͸SREͷεςοϓʹඥ෇͚Δ͜ͱ͕Ͱ͖Δ 1. ࣮ફʹඞཁͳ৘ใΛूΊΔ => Sensing 2. খ࢝͘͞Ίͯɺ܁Γฦ͢ => Seizing 3. νʔϜΛࢧԉ͢Δ => Transforming 4. ֶΜͩ͜ͱΛεέʔϧ͢Δ => Transforming 5. σʔλυϦϒϯܕͷϚΠϯυηοτΛ۩ମԽ͢Δ => Transforming 46
47. มԽʹΑͬͯੜͨ͡৽͍͠໰୊͸ ࣗ෼͚ͩͰ͸Χόʔ͖͠Εͳ͍ͷͰ͸ͳ͍͔ 47
48. 18.3.5 νʔϜͷྗֶ ࢲͨͪ͸ɺSRE ͷιϑτ΢ΣΞ։ൃϓϩδΣΫτʹ ܞΘΔΤϯδχΞΛબ୒͢Δࡍʹɺ৽͍͠τϐοΫ ʹૉૣ͘ରԠ͍͚ͯ͠ΔθωϥϦετɺ๛෋ͳ஌ࣝ ͱܦݧΛ͍࣋ͬͯΔΤϯδχΞΛ૊Έ߹Θͤͯ࠷ॳ ͷνʔϜΛ্ཱͪ͛Δ͜ͱͰɺେ͖ͳϝϦοτ͕ಘ ΒΕΔ͜ͱʹؾ͖ͮ·ͨ͠ɻ ܦݧͷଟ༷ੑʹΑͬͯ໡఺Λͳ͘͢ͱڞʹɺ͢΂ͯ ͷνʔϜͷϢʔεέʔε͕ࣗ෼ͷνʔϜͷϢʔε έʔεͱಉͩ͡ͱࢥ͍ࠐΜͰ͠·͏མͱ݀͠Λආ͚ Δ͜ͱ͕Ͱ͖·͢ɻ νʔϜʹͱͬͯ͸ɺඞཁͱ͞ΕΔεϖγϟϦετͱ ͷؔ܎ੑΛཱ֬͠ɺΤϯδχΞ͕৽͍͠໰୊ྖҬʹ ৺஍Α͘औΓ૊ΊΔΑ͏ʹ͢Δ͜ͱ͕ॏཁͰ͢ɻ 48
49. มԽͱଟ༷ੑ • 5ͭͷεςοϓΛ܁Γฦ͢͜ͱͰมԽʹରԠͰ͖Δ͕มֵͷ෯ʹ͸ݶք͕͋Δ • ૊৫಺Ͱଟ༷ੑΛ޿͛Δ͜ͱͰɺมԽ΁ͷ଱ੑΛڧԽͰ͖Δ • SRE ຊͰ͸ɺҟͳΔλΠϓͷΤϯδχΞΛ૊Έ߹Θ͍ͤͯͨ • SRE ίϛϡχςΟΛνʔϜͱଊ͑Δͱଟ༷ੑΛ޿͛Δઈ޷ͷػձʹͳΔ • มԽʹର͢Δଟ༷ੑʹΑΔରࡦ͸ɺΞϯνϑϥδϟΠϧͷߟ͑ํͷҰ෦Ͱ͋Δ • ͞ΒʹରࡦΛߟ͑Δ৔߹͸ɺγεςϜ଱ੑͷΞϓϩʔν͕ࢀߟʹͳΓͦ͏ 49
50. ·ͱΊ • SRE ࣮ફΛ͢Δ্Ͱॏཁͳ5ͭͷεςοϓΛ঺հ • ૊৫Λมֵ͸ɺණࢁͷ্ͱԼͷ྆໘͔Βߦ͑ΔͱΑ͍ • SRE ͷํ޲ੑɾՁ஋؍Λ໌֬ʹ͢ΔऔΓ૊ΈΛ঺հ • ؀ڥͷมԽ΁ͷ଱ੑΛอͭʹ͸ɺ૊৫ͷଟ༷ੑ͕໾ཱͭ 50