Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
信頼性を落とさず効果的にオンコールを減らす取り組みを目指して
Search
ryuichi1208
June 27, 2022
0
490
信頼性を落とさず効果的にオンコールを減らす取り組みを目指して
ryuichi1208
June 27, 2022
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
AI前提のサービス運用について再考する
ryuichi1208
6
1.3k
A Shallow Dive into the World of TCP
ryuichi1208
1
580
入門リトライ
ryuichi1208
19
7.3k
超入門SRE 2025
ryuichi1208
4
1.4k
Goで作って学ぶWebSocket
ryuichi1208
5
3.8k
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
20
13k
AI前提のサービス運用ってなんだろう?
ryuichi1208
9
1.9k
入門 バックアップ
ryuichi1208
22
10k
効果的なオンコール対応と障害対応
ryuichi1208
9
3.9k
Featured
See All Featured
A designer walks into a library…
pauljervisheath
207
24k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
185
54k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
The Language of Interfaces
destraynor
160
25k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
Thoughts on Productivity
jonyablonski
69
4.8k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
YesSQL, Process and Tooling at Scale
rocio
173
14k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Speed Design
sergeychernyshev
32
1.1k
Transcript
ΤϯδχΞͷਭ࣌ؒΛकΖ͏ ෦ཾҰ(.01FQBCP *OD $MPVE0QFSBUPS%BZT5PLZP ৴པੑΛམͱͣ͞ޮՌతʹΦϯίʔϧΛݮΒ͢औΓΈΛࢦͯ͠
ΞδΣϯμ ࣗݾհ ຊͷεϥΠυʹ͓͚Δ৴པੑͷఆٛ ॴଐνʔϜͷհ զʑͷνʔϜ๊͕͍͑ͯͨ՝ ΦϯίʔϧΛݮΒ͢औΓΈͱ࣮ͯ͠ࡍʹͬͨ͜ͱ औΓΈͷޮՌͱࠓޙͷ՝ ·ͱΊ
ΞδΣϯμ ࣗݾհ ຊͷεϥΠυʹ͓͚Δ৴པੑͷఆٛ ॴଐνʔϜͷհ զʑͷνʔϜ๊͕͍͑ͯͨ՝ ΦϯίʔϧΛݮΒ͢औΓΈͱ࣮ͯ͠ࡍʹͬͨ͜ͱ औΓΈͷޮՌͱࠓޙͷ՝ ·ͱΊ
43& ෦ཾҰ!SZVJDIJ@ ٕज़෦ϓϥοτϑΥʔϜάϧʔϓ IUUQTSZVJDIJIBUFCMPKQ
৴པੑͷఆٛ
৴པੑ ຊͷൃදʹ͓͚Δ৴པੑ Ϣʔβʔʹਖ਼ৗʹػೳΛఏڙͰ͖͍ͯͨظؒ ͨͩ͠ݫີʹ.553ͳͲΛܭଌΛߦ͍͑ͯͳ͍ͨΊ োൃੜճΛ৴པੑͷҰͭͷࢦඪͱ͢Δ ʮ৴པੑ͕ҡ࣋Ͱ͖͍ͯΔʯͱ ࠓճͷऔΓΈʹΑΓোൃੜճ͕૿͍͑ͯͳ͍͜ͱ
ॴଐνʔϜͷհ
ॴଐ ٕज़෦ϓϥοτϑΥʔϜάϧʔϓ ׂ ϖύϘͷαʔϏεͷՄ༻ੑΛ֬อ͠ɺʹ߹ΘͤͯదͳڥΛఏڙ͢Δάϧʔϓ ϛογϣϯ αʔόʔͷௐୡΩοςΟϯάʹࢭ·Βͣɺ43&ʹΑΔαʔϏεϨϕϧͷ্Ϋϥ υڥͷݕূબఆΛߦ͍ɺඞཁʹԠͯ͡ࣄۀ෦ͷΞϓϦέʔγϣϯͷվળɺ։ൃΛ ௨ͯ͠ࣄۀͷΛࢧ͑Δ
ࢲͷॴଐ͍ͯ͠Δٕज़෦ϓϥοτϑΥʔϜάϧʔϓͰࣄۀ෦Λԣஅͯ͠43&׆ಈΛ࣮ࢪ ࢀߟ ϖύϘͷ43&ʹ͍ͭͯ IUUQTUFDIQFQBCPDPNQEGQFQBCPTSFQEG
ॴଐνʔϜͷհ ۀ༰ͷ֓ཁ ιϑτΣΞɾΤϯδχΞϦϯάΛ༻͍ͨαʔϏεͷӡ༻ޮԽ ϝτϦΫεΛͱʹͨ͠ύϑΥʔϚϯεվળ αʔϏεඪୡΛࢧԉ͢ΔͨΊͷ։ൃνʔϜͱͷ࿈ܞɾڠྗ ΦϯίʔϧରԠຊͪ͜Βʹ͍͓ͭͯ
Φϯίʔϧͱ ଈରԠඞཁͳΞϥʔτͰΤϯδχΞΛݺͼग़͢͜ͱ Φϯίʔϧͷମ੍ ݟ͍ͯΔαʔϏεͭ &$ࢧԉαΠτ શ͍ۙϩʔϧͷ࣍ड͚Λ୲ 43&νʔϜͷϝϯόʔd໊ͰिมΘΓͰରԠΛ࣮ࢪ ఆ࣌Ҏ֎ d
Λ୲ ఆ࣌ d ௨ৗۈ
զʑͷνʔϜ๊͕͍͑ͯͨ՝
՝̍ ۓٸݺͼग़͠ൃੜ͗͢͠
՝̍ ۓٸݺͼग़͠ൃੜ͗͢͠ զʑ͕୲͍ͯ͠Δϩʔϧ͚ͩͰݴ͑Λ͑dʹҰճͷϖʔεͰԿ͔͠Β ͷҟৗ͕ൃੜ͍ͯͨ͠ ଟ͍ͱ͖ͩͱʹճݺͼग़͕͠ൃੜ͠ਭ͕࣌ؒݮΔͱ͍͏ฐ͕͋ͬͨ தଳͷۈͷӨڹܭଌߦ͍ͬͯͳ͔͕ͬͨൃੜ͍ͯͨͣ͠ Ξϥʔτνϟϯωϧ͕͕͋ͬͨৗʹԿ͔͠Β͕ྲྀΕ͍ͯͯॏཁͳΞϥʔτݟಀ͢
՝ ݺͼग़͞ΕΔ͕ରԠ͕Ͱ͖ͳ͍ͷ͕ଟ͗͢
՝ ݺͼग़͞ΕΔ͕ରԠ͕Ͱ͖ͳ͍ͷ͕ଟ͗͢ େنαʔϏεͰ͋Δ͕ނʹͯ͢Λ43&νʔϜͰѲͰ͖͍ͯΔΘ͚Ͱͳ͍ɻҰ ͚࣍ͱͯ͠ରԠͰ͖ͳ͍ݺͼग़͠Ͱ୲͍ͯͨ͠ ରԠͰ͖ͳ͍ͷΛड͚Δͱ.553͕ΤεΧϨʔγϣϯ͢Δ৳ͼͯ͠·͏
ΦϯίʔϧΛݮΒ͢औΓΈͱ࣮ͯ͠ࡍʹͬͨ͜ͱ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛܭଌ Կࣄ·ͣܭଌͱ͍͏͜ͱͰݱঢ়ͷཧ͔Β࣮ࢪ ᶃ1BHFSEVUZͷػೳΛ༻͍ͯۙϲ݄Ͱൃੜͨ͠Φϯίʔϧͷ֓ཁදΛ࡞ ᶄ࡞ͨ֓͠ཁදΛͱʹେ·͔ʹछྨΛ͚Δ ᶅΦϯίʔϧ͝ͱͷൃੜ࣌ͳͲࡉ͔͘ॻ͘ͳͲΛΛߦ͏
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛܭଌ ɹ ྫ ετϨʔδͷṧഭ ɹ ྫ 8FCϖʔδͷେྔΞΫηεʹΑΔϨεϙϯελΠϜͷѱԽ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧΞϥʔτͷઃఆͳͲաڈʹԿ͔͕͔͋ͬͨΒઃఆ͞Ε͍ͯΔ߹͕ଟ͍ ઃఆͨ͠ॳ͔Β͕࣌ؒྲྀΕݱࡏ༗ޮ͔Ͳ͏͔Λۛຯ͢Δ ·ͨɺࢲ͕ࣗνʔϜδϣΠϯ͕ͯ͠ઙ͍ͱ͍͏ͷ͋Γྺ࢙తഎܠͳͲΛֶͿඞཁ͕͋ͬͨ ᶃ ઃఆΛίʔυཧͳͲ͞Ε͍ͯΕ13ͳͲ͔ΒใΛऔಘ͢Δ ᶄ աڈͷϙετϞʔςϜͳͲΛݟͯͦͷ࣌ͷোʹ͍ͭͯௐΔ ᶅ ઃఆ࣌ͷڥͱݱࡏͷڥͰ͕ࠩେ͖͍͔ௐΔ
ᶆ ୲ऀ ୲νʔϜ ͳͲ͋Δఔ໌֬ʹ͓ͯ͘͠ ͋ͱϑΣʔζͰ༗ޮ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ ·ͣɺ༏ઌͷݕ౼Λ࣮ࢪ அ࣠ͱͯ͠ʮϢʔβӨڹͷ༗ແʯɺʮൃੜසʯͳͲΛݩʹܾΊ͍ͯ͘
ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ ࠜຊݪҼͳͲΛಥ͖ࢭΊ͍ͯ͘ϑΣʔζ ԿނͦͷΦϯίʔϧ͕໐ͬͨͷ͔ΛͦΕͧΕௐ͍ͯ͘ ᶃྫ͑֎ܗࢹ͕λΠϜΞτͨ͠߹ͦͷ࣌ͷϦιʔε༻ྔͳͲΛݟΔ Ϧιʔε͕Γ͍ͯͳ͍߹εέʔϧ͢ΔͳΓͷରԠࡦΛݕ౼͓ͯ͘͠ ᶄωοτϫʔΫΛհͨ͠XSJUFͳͲͷࢹΛ͍ͯͯ͠ΦϯίʔϧʹͳΔ߹ ωοτϫʔΫͷԆ͕ͦͷͱ͖ൃੜ͍͔ͯͨ͠ͳͲΛ֬ೝ͢Δ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳϧʔςΟϯά
Φϯίʔϧઃఆͷௐ Φϯίʔϧ͕ઃఆ͞Ε͍ͯΔͱ͍͏͜ͱਓͷ࡞ۀ͕ඞཁͱͳΔͱ͍͏͜ͱ ݪҼௐࠪͰࠜຊରԠ͕Ͱ͖ΔݪҼͩͱ͍͏͜ͱ͕Θ͔͍ͬͯΕରԠ͢Δ Ϧιʔεͷ૿ڧ εέʔϧΞτεέʔϧΞοϓ Ξϥʔτᮢͷௐ ॠஅͰམͪΔΑ͏ͳࢹΦϯίʔϧ·ͰͷճΛௐ ؒͷϓϩηε࠶ىಈͳͲΞϥʔτൃੜ͕ࣄલʹ͔͍ͬͯΔ߹ͦͷ͚࣌ؒͩΦϑʹ͢ΔͳͲ
ௐࠪաఔͰෆཁͱஅͨ͠Ξϥʔτআ͢Δ ։ൃͱӡ༻͕ҧ͏νʔϜͷ߹ͰࣗͨͪͰܾΊΕͳ͍ͷͷ߹ͰεςʔΫϗϧμʔͱ૬ஊͯ͠ ઃఆͷᮢͳͲΛௐΛ࣮ࢪ
Φϯίʔϧઃఆͷௐ ઃఆͷௐͰେࣄͳͷຊʹͦͷઃఆͰαʔϏεͷ৴པੑΛकΕΔ͔Ͳ͏͔ͷධՁ͕ඞཁ 4-0͕ઃఆ͞Ε͍ͯΕͦͷ͕ѱ͘ͳ͍ͬͯͳ͍͜ͱ Ϣʔβ͔Βͷ͍߹Θ͕ͤۃʹ૿͍͑ͯͳ͍͔ͳͲΛৗʹτϥοΩϯά࣮ͯ͠ࢪͯ͘͜͠ͱ͕େࣄ ·ͨɺϢʔβʔӨڹগͳ͍͕ۓٸͷ͍ͷʹ͍ͭͯݺͼग़͠ϧʔϧΛ1BSHFS%VUZͷػೳΛͬ ͯಠࣗʹઃఆ͢ΔͳͲΛߦ͏ ۓٸΛܾΊͯϝϦϋϦΛ͚ͯઃఆΛ࣮ࢪ͍ͯ͘͠
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ ʮϝϞϦ༻͕ߴ͍ʯʮԿ͔͠ΒͷΩϡʔ͕٧·͍ͬͯΔʯͷΑ͏ͳ߹ʹαʔϏεΛ࠶ىಈͨ͠Γ ࣄલʹ༻ҙ͞Ε͍ͯΔ෮چεΫϦϓτΛୟ͘έʔε͕͋Δͱ͢Δ ͜ͷͱ͖ʹਓͷஅ͕ඞཁ͔Ͳ͏͔ͰෆཁͳΒରԠΛࣗಈԽͰ͖ΔαΠϯ ΞϥʔτΛܖػʹΞΫγϣϯΛఆٛͯࣗ͠ಈ෮چͯ͢͠ΔεΫϦϓτΛ࣮
Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ ྫ զʑͷ.BDLFSFMΛ༻͍ͨࢹΛߦ͍ͬͯͨͷͰࣄલઃఆͨ͠ҟ ৗͷൃੜ࣌ʹߦ͍͍ͨΞΫγϣϯΛ ొ͓͚ͯࣗ͠ಈͰಈ͘Α͏ͳΈ͕͋ͬͨɻαʔϏεͷ ࠶ىಈαʔϏε͔ΒͷࣗಈϩʔϧΞτͳͲɻ ྫ ࢦఆͨ͠ϓϩηε͕ଘࡏ͠ͳ͚ΕαʔϏεΛ࠶ىಈ͢Δ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳϧʔςΟϯά
దͳΤεΧϨʔγϣϯ োͳͲΛ௨͢ΔΞϥʔτɺ43&׆ಈʹͱͬͯɺॏཁͳτϦΨʔͷͭ ΞϥʔτͷҰ࣍ड͚Ұׅͯ͠43&νʔϜͰߦ͍ͬͯͨ զʑͷνʔϜͭͷαʔϏεͷӡ༻Λ࣮ࢪ͍ͯͯ͠ର͍ۙϩʔϧʹͳΔ શͯͷΞϥʔτͷରԠΛѲ͓ͯ͘͜͠ͱݱ࣮తͰͳ͍ͱஅ͠Ұ࣍ड͚͢Δͷͱ͠ͳ͍ͷΛ ܾΊ͍ͯ͘׆ಈΛ࣮ࢪͨ͠ Ξϥʔτ͕ग़ͨࡍʹͲͷνʔϜ͕Ұ࣍ड͚͢ΔͱΑΓૣ͘ରԠͰ͖Δ͔Λ֬ೝͦ͠ΕͧΕ ໌֬ͳΤεΧϨʔγϣϯύεͷඋͳͲΛ࣮ࢪ
େࣄͳϙΠϯτ ࠓճڍ͛ͨ༰ؒʹݺͼग़͕͠ൃੜͨ࣍͠ͷӦۀͷ͏ͪʹରԠ͖͠Δͷ͕ॏཁ ଞλεΫͱͷ݉Ͷ߹͍͋Δ͕զʑͷνʔϜͰؒରԠʹΑΔதଳͷੜ࢈ੑ͕Լ͕ΔͷΛ ॏ͘ଊ͑ݪҼௐࠪରԠ·ͰΛ༏ઌ্͛ͯରԠ͢ΔํͰߦͬͨ ಉ͡Α͏ͳݺͼग़͠ઈରʹൃੜͤͯ͞ΔΜ͔ͱ͍͏ࢥ͍͕େࣄɻͦΕͳΓʹ্ख͘ಇ͖ ଓ͚ͯಉ͡Α͏ͳؒରԠ͕ൃੜ͢Δͱ͍͏Α͏ͳࣄ΄΅ͳ͔ͬͨ
औΓΈͷޮՌͱࠓޙͷ՝
ޮՌ Φϯίʔϧͷճ ݄ฏۉdճۙϲ݄ͩͱ݄ճ͘Β͍·ͰݮΒ͢͜ͱ͕Ͱ͖ͨ ΦϯίʔϧͷରԠ࣌ؒ ݄ฏۉ݄࣌ؒฏۉ࣌ؒਭ࣌ؒͷ֬อʹͭͳ͕ͬͨ ͣ
ΤϯδχΞͷਭ࣌ؒΛकΖ͏ ෦ཾҰ(.01FQBCP *OD $MPVE0QFSBUPS%BZT5PLZP ৴པੑΛམͱͣ͞ޮՌతʹΦϯίʔϧΛݮΒ͢औΓΈΛࢦͯ͠
ޮՌ োൃੜճΛ૿͢͜ͱͳ͘ΦϯίʔϧͷճΛݮΒ͢͜ͱʹޭ
औΓΈͷޮՌͱࠓޙͷ՝ ࠓޙͷ՝ ݄ճͰΓ·ͩଟ͍ ʮ43&ͷ୳ٻʯͰͷݴٴ͋Δ͕࢛ظͰdճ͘Β͍Λࢦ͢ ݮΒ͢औΓΈࣗମʹ݁ߏ࣌ؒΛ͔͚ͯ͠·͍ͬͯΔͷͰޮతʹΓ͍ͨ
·ͱΊ
·ͱΊͱڭ܇ ΦϯίʔϧରԠαʔϏεͷ৴པੑͱՄ༻ੑΛอͭͨΊʹߦ͏ աʹΞϥʔτͷઃఆ͗͢͠Δͱӡ༻ෛՙ͕ߴ·ΓΤϯδχΞ ͷੜ࢈ੑͷӨڹΛ༩͑ͯ͠·͏ ΞϥʔτͰਓΛݺͼग़͢ࡍ·ͣࣗಈ෮چΛݕ౼͠ઃఆࣗମ ΛݮΒ͍ͯ͘͜͠ͱͰޮՌతʹ࣮ߦ͍ͯ͘͠
ࢀߟॻ੶ ೖࢹϞμϯͳϞχλϦϯάͷͨΊͷσβΠϯύλʔϯ ΣϒΦϖϨʔγϣϯαΠτӡ༻ཧͷ࣮ફςΫχοΫ 43&αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά(PPHMFͷ৴པੑΛࢧ͑ΔΤϯδχΞϦϯάνʔϜ 43&ͷ୳ٻ༷ʑͳاۀʹ͓͚ΔαΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯάͷಋೖͱ࣮ફ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠