Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
信頼性を落とさず効果的にオンコールを減らす取り組みを目指して
Search
ryuichi1208
June 27, 2022
0
470
信頼性を落とさず効果的にオンコールを減らす取り組みを目指して
ryuichi1208
June 27, 2022
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
超入門SRE 2025
ryuichi1208
2
960
Goで作って学ぶWebSocket
ryuichi1208
3
2.4k
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
20
9k
AI前提のサービス運用ってなんだろう?
ryuichi1208
9
1.7k
入門 バックアップ
ryuichi1208
22
10k
効果的なオンコール対応と障害対応
ryuichi1208
9
3.7k
コロナ禍とその後:地方エンジニアが学んだキャリア戦略の変遷
ryuichi1208
6
420
入門オンコール対応
ryuichi1208
10
3.6k
MySQLのOOMと戦った話
ryuichi1208
7
3.1k
Featured
See All Featured
KATA
mclloyd
29
14k
Why Our Code Smells
bkeepers
PRO
336
57k
Bash Introduction
62gerente
611
210k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Git: the NoSQL Database
bkeepers
PRO
427
65k
We Have a Design System, Now What?
morganepeng
51
7.4k
It's Worth the Effort
3n
184
28k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
500
Transcript
ΤϯδχΞͷਭ࣌ؒΛकΖ͏ ෦ཾҰ(.01FQBCP *OD $MPVE0QFSBUPS%BZT5PLZP ৴པੑΛམͱͣ͞ޮՌతʹΦϯίʔϧΛݮΒ͢औΓΈΛࢦͯ͠
ΞδΣϯμ ࣗݾհ ຊͷεϥΠυʹ͓͚Δ৴པੑͷఆٛ ॴଐνʔϜͷհ զʑͷνʔϜ๊͕͍͑ͯͨ՝ ΦϯίʔϧΛݮΒ͢औΓΈͱ࣮ͯ͠ࡍʹͬͨ͜ͱ औΓΈͷޮՌͱࠓޙͷ՝ ·ͱΊ
ΞδΣϯμ ࣗݾհ ຊͷεϥΠυʹ͓͚Δ৴པੑͷఆٛ ॴଐνʔϜͷհ զʑͷνʔϜ๊͕͍͑ͯͨ՝ ΦϯίʔϧΛݮΒ͢औΓΈͱ࣮ͯ͠ࡍʹͬͨ͜ͱ औΓΈͷޮՌͱࠓޙͷ՝ ·ͱΊ
43& ෦ཾҰ!SZVJDIJ@ ٕज़෦ϓϥοτϑΥʔϜάϧʔϓ IUUQTSZVJDIJIBUFCMPKQ
৴པੑͷఆٛ
৴པੑ ຊͷൃදʹ͓͚Δ৴པੑ Ϣʔβʔʹਖ਼ৗʹػೳΛఏڙͰ͖͍ͯͨظؒ ͨͩ͠ݫີʹ.553ͳͲΛܭଌΛߦ͍͑ͯͳ͍ͨΊ োൃੜճΛ৴པੑͷҰͭͷࢦඪͱ͢Δ ʮ৴པੑ͕ҡ࣋Ͱ͖͍ͯΔʯͱ ࠓճͷऔΓΈʹΑΓোൃੜճ͕૿͍͑ͯͳ͍͜ͱ
ॴଐνʔϜͷհ
ॴଐ ٕज़෦ϓϥοτϑΥʔϜάϧʔϓ ׂ ϖύϘͷαʔϏεͷՄ༻ੑΛ֬อ͠ɺʹ߹ΘͤͯదͳڥΛఏڙ͢Δάϧʔϓ ϛογϣϯ αʔόʔͷௐୡΩοςΟϯάʹࢭ·Βͣɺ43&ʹΑΔαʔϏεϨϕϧͷ্Ϋϥ υڥͷݕূબఆΛߦ͍ɺඞཁʹԠͯ͡ࣄۀ෦ͷΞϓϦέʔγϣϯͷվળɺ։ൃΛ ௨ͯ͠ࣄۀͷΛࢧ͑Δ
ࢲͷॴଐ͍ͯ͠Δٕज़෦ϓϥοτϑΥʔϜάϧʔϓͰࣄۀ෦Λԣஅͯ͠43&׆ಈΛ࣮ࢪ ࢀߟ ϖύϘͷ43&ʹ͍ͭͯ IUUQTUFDIQFQBCPDPNQEGQFQBCPTSFQEG
ॴଐνʔϜͷհ ۀ༰ͷ֓ཁ ιϑτΣΞɾΤϯδχΞϦϯάΛ༻͍ͨαʔϏεͷӡ༻ޮԽ ϝτϦΫεΛͱʹͨ͠ύϑΥʔϚϯεվળ αʔϏεඪୡΛࢧԉ͢ΔͨΊͷ։ൃνʔϜͱͷ࿈ܞɾڠྗ ΦϯίʔϧରԠຊͪ͜Βʹ͍͓ͭͯ
Φϯίʔϧͱ ଈରԠඞཁͳΞϥʔτͰΤϯδχΞΛݺͼग़͢͜ͱ Φϯίʔϧͷମ੍ ݟ͍ͯΔαʔϏεͭ &$ࢧԉαΠτ શ͍ۙϩʔϧͷ࣍ड͚Λ୲ 43&νʔϜͷϝϯόʔd໊ͰिมΘΓͰରԠΛ࣮ࢪ ఆ࣌Ҏ֎ d
Λ୲ ఆ࣌ d ௨ৗۈ
զʑͷνʔϜ๊͕͍͑ͯͨ՝
՝̍ ۓٸݺͼग़͠ൃੜ͗͢͠
՝̍ ۓٸݺͼग़͠ൃੜ͗͢͠ զʑ͕୲͍ͯ͠Δϩʔϧ͚ͩͰݴ͑Λ͑dʹҰճͷϖʔεͰԿ͔͠Β ͷҟৗ͕ൃੜ͍ͯͨ͠ ଟ͍ͱ͖ͩͱʹճݺͼग़͕͠ൃੜ͠ਭ͕࣌ؒݮΔͱ͍͏ฐ͕͋ͬͨ தଳͷۈͷӨڹܭଌߦ͍ͬͯͳ͔͕ͬͨൃੜ͍ͯͨͣ͠ Ξϥʔτνϟϯωϧ͕͕͋ͬͨৗʹԿ͔͠Β͕ྲྀΕ͍ͯͯॏཁͳΞϥʔτݟಀ͢
՝ ݺͼग़͞ΕΔ͕ରԠ͕Ͱ͖ͳ͍ͷ͕ଟ͗͢
՝ ݺͼग़͞ΕΔ͕ରԠ͕Ͱ͖ͳ͍ͷ͕ଟ͗͢ େنαʔϏεͰ͋Δ͕ނʹͯ͢Λ43&νʔϜͰѲͰ͖͍ͯΔΘ͚Ͱͳ͍ɻҰ ͚࣍ͱͯ͠ରԠͰ͖ͳ͍ݺͼग़͠Ͱ୲͍ͯͨ͠ ରԠͰ͖ͳ͍ͷΛड͚Δͱ.553͕ΤεΧϨʔγϣϯ͢Δ৳ͼͯ͠·͏
ΦϯίʔϧΛݮΒ͢औΓΈͱ࣮ͯ͠ࡍʹͬͨ͜ͱ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛܭଌ Կࣄ·ͣܭଌͱ͍͏͜ͱͰݱঢ়ͷཧ͔Β࣮ࢪ ᶃ1BHFSEVUZͷػೳΛ༻͍ͯۙϲ݄Ͱൃੜͨ͠Φϯίʔϧͷ֓ཁදΛ࡞ ᶄ࡞ͨ֓͠ཁදΛͱʹେ·͔ʹछྨΛ͚Δ ᶅΦϯίʔϧ͝ͱͷൃੜ࣌ͳͲࡉ͔͘ॻ͘ͳͲΛΛߦ͏
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛܭଌ ɹ ྫ ετϨʔδͷṧഭ ɹ ྫ 8FCϖʔδͷେྔΞΫηεʹΑΔϨεϙϯελΠϜͷѱԽ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧΞϥʔτͷઃఆͳͲաڈʹԿ͔͕͔͋ͬͨΒઃఆ͞Ε͍ͯΔ߹͕ଟ͍ ઃఆͨ͠ॳ͔Β͕࣌ؒྲྀΕݱࡏ༗ޮ͔Ͳ͏͔Λۛຯ͢Δ ·ͨɺࢲ͕ࣗνʔϜδϣΠϯ͕ͯ͠ઙ͍ͱ͍͏ͷ͋Γྺ࢙తഎܠͳͲΛֶͿඞཁ͕͋ͬͨ ᶃ ઃఆΛίʔυཧͳͲ͞Ε͍ͯΕ13ͳͲ͔ΒใΛऔಘ͢Δ ᶄ աڈͷϙετϞʔςϜͳͲΛݟͯͦͷ࣌ͷোʹ͍ͭͯௐΔ ᶅ ઃఆ࣌ͷڥͱݱࡏͷڥͰ͕ࠩେ͖͍͔ௐΔ
ᶆ ୲ऀ ୲νʔϜ ͳͲ͋Δఔ໌֬ʹ͓ͯ͘͠ ͋ͱϑΣʔζͰ༗ޮ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ ·ͣɺ༏ઌͷݕ౼Λ࣮ࢪ அ࣠ͱͯ͠ʮϢʔβӨڹͷ༗ແʯɺʮൃੜසʯͳͲΛݩʹܾΊ͍ͯ͘
ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ ࠜຊݪҼͳͲΛಥ͖ࢭΊ͍ͯ͘ϑΣʔζ ԿނͦͷΦϯίʔϧ͕໐ͬͨͷ͔ΛͦΕͧΕௐ͍ͯ͘ ᶃྫ͑֎ܗࢹ͕λΠϜΞτͨ͠߹ͦͷ࣌ͷϦιʔε༻ྔͳͲΛݟΔ Ϧιʔε͕Γ͍ͯͳ͍߹εέʔϧ͢ΔͳΓͷରԠࡦΛݕ౼͓ͯ͘͠ ᶄωοτϫʔΫΛհͨ͠XSJUFͳͲͷࢹΛ͍ͯͯ͠ΦϯίʔϧʹͳΔ߹ ωοτϫʔΫͷԆ͕ͦͷͱ͖ൃੜ͍͔ͯͨ͠ͳͲΛ֬ೝ͢Δ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳϧʔςΟϯά
Φϯίʔϧઃఆͷௐ Φϯίʔϧ͕ઃఆ͞Ε͍ͯΔͱ͍͏͜ͱਓͷ࡞ۀ͕ඞཁͱͳΔͱ͍͏͜ͱ ݪҼௐࠪͰࠜຊରԠ͕Ͱ͖ΔݪҼͩͱ͍͏͜ͱ͕Θ͔͍ͬͯΕରԠ͢Δ Ϧιʔεͷ૿ڧ εέʔϧΞτεέʔϧΞοϓ Ξϥʔτᮢͷௐ ॠஅͰམͪΔΑ͏ͳࢹΦϯίʔϧ·ͰͷճΛௐ ؒͷϓϩηε࠶ىಈͳͲΞϥʔτൃੜ͕ࣄલʹ͔͍ͬͯΔ߹ͦͷ͚࣌ؒͩΦϑʹ͢ΔͳͲ
ௐࠪաఔͰෆཁͱஅͨ͠Ξϥʔτআ͢Δ ։ൃͱӡ༻͕ҧ͏νʔϜͷ߹ͰࣗͨͪͰܾΊΕͳ͍ͷͷ߹ͰεςʔΫϗϧμʔͱ૬ஊͯ͠ ઃఆͷᮢͳͲΛௐΛ࣮ࢪ
Φϯίʔϧઃఆͷௐ ઃఆͷௐͰେࣄͳͷຊʹͦͷઃఆͰαʔϏεͷ৴པੑΛकΕΔ͔Ͳ͏͔ͷධՁ͕ඞཁ 4-0͕ઃఆ͞Ε͍ͯΕͦͷ͕ѱ͘ͳ͍ͬͯͳ͍͜ͱ Ϣʔβ͔Βͷ͍߹Θ͕ͤۃʹ૿͍͑ͯͳ͍͔ͳͲΛৗʹτϥοΩϯά࣮ͯ͠ࢪͯ͘͜͠ͱ͕େࣄ ·ͨɺϢʔβʔӨڹগͳ͍͕ۓٸͷ͍ͷʹ͍ͭͯݺͼग़͠ϧʔϧΛ1BSHFS%VUZͷػೳΛͬ ͯಠࣗʹઃఆ͢ΔͳͲΛߦ͏ ۓٸΛܾΊͯϝϦϋϦΛ͚ͯઃఆΛ࣮ࢪ͍ͯ͘͠
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳΤεΧϨʔγϣϯ
Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ ʮϝϞϦ༻͕ߴ͍ʯʮԿ͔͠ΒͷΩϡʔ͕٧·͍ͬͯΔʯͷΑ͏ͳ߹ʹαʔϏεΛ࠶ىಈͨ͠Γ ࣄલʹ༻ҙ͞Ε͍ͯΔ෮چεΫϦϓτΛୟ͘έʔε͕͋Δͱ͢Δ ͜ͷͱ͖ʹਓͷஅ͕ඞཁ͔Ͳ͏͔ͰෆཁͳΒରԠΛࣗಈԽͰ͖ΔαΠϯ ΞϥʔτΛܖػʹΞΫγϣϯΛఆٛͯࣗ͠ಈ෮چͯ͢͠ΔεΫϦϓτΛ࣮
Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ ྫ զʑͷ.BDLFSFMΛ༻͍ͨࢹΛߦ͍ͬͯͨͷͰࣄલઃఆͨ͠ҟ ৗͷൃੜ࣌ʹߦ͍͍ͨΞΫγϣϯΛ ొ͓͚ͯࣗ͠ಈͰಈ͘Α͏ͳΈ͕͋ͬͨɻαʔϏεͷ ࠶ىಈαʔϏε͔ΒͷࣗಈϩʔϧΞτͳͲɻ ྫ ࢦఆͨ͠ϓϩηε͕ଘࡏ͠ͳ͚ΕαʔϏεΛ࠶ىಈ͢Δ
ݱঢ়ͷγεςϜͰΦϯίʔϧͷճΛ؍ܭଌ ΦϯίʔϧΞϥʔτͷઃఆཧ༝ͷௐࠪ ΦϯίʔϧݪҼͷௐࠪΛ༏ઌॱʹ࣮ࢪ Φϯίʔϧઃఆͷௐ Φϯίʔϧʹର͢ΔΞΫγϣϯΛࣗಈԽ దͳϧʔςΟϯά
దͳΤεΧϨʔγϣϯ োͳͲΛ௨͢ΔΞϥʔτɺ43&׆ಈʹͱͬͯɺॏཁͳτϦΨʔͷͭ ΞϥʔτͷҰ࣍ड͚Ұׅͯ͠43&νʔϜͰߦ͍ͬͯͨ զʑͷνʔϜͭͷαʔϏεͷӡ༻Λ࣮ࢪ͍ͯͯ͠ର͍ۙϩʔϧʹͳΔ શͯͷΞϥʔτͷରԠΛѲ͓ͯ͘͜͠ͱݱ࣮తͰͳ͍ͱஅ͠Ұ࣍ड͚͢Δͷͱ͠ͳ͍ͷΛ ܾΊ͍ͯ͘׆ಈΛ࣮ࢪͨ͠ Ξϥʔτ͕ग़ͨࡍʹͲͷνʔϜ͕Ұ࣍ड͚͢ΔͱΑΓૣ͘ରԠͰ͖Δ͔Λ֬ೝͦ͠ΕͧΕ ໌֬ͳΤεΧϨʔγϣϯύεͷඋͳͲΛ࣮ࢪ
େࣄͳϙΠϯτ ࠓճڍ͛ͨ༰ؒʹݺͼग़͕͠ൃੜͨ࣍͠ͷӦۀͷ͏ͪʹରԠ͖͠Δͷ͕ॏཁ ଞλεΫͱͷ݉Ͷ߹͍͋Δ͕զʑͷνʔϜͰؒରԠʹΑΔதଳͷੜ࢈ੑ͕Լ͕ΔͷΛ ॏ͘ଊ͑ݪҼௐࠪରԠ·ͰΛ༏ઌ্͛ͯରԠ͢ΔํͰߦͬͨ ಉ͡Α͏ͳݺͼग़͠ઈରʹൃੜͤͯ͞ΔΜ͔ͱ͍͏ࢥ͍͕େࣄɻͦΕͳΓʹ্ख͘ಇ͖ ଓ͚ͯಉ͡Α͏ͳؒରԠ͕ൃੜ͢Δͱ͍͏Α͏ͳࣄ΄΅ͳ͔ͬͨ
औΓΈͷޮՌͱࠓޙͷ՝
ޮՌ Φϯίʔϧͷճ ݄ฏۉdճۙϲ݄ͩͱ݄ճ͘Β͍·ͰݮΒ͢͜ͱ͕Ͱ͖ͨ ΦϯίʔϧͷରԠ࣌ؒ ݄ฏۉ݄࣌ؒฏۉ࣌ؒਭ࣌ؒͷ֬อʹͭͳ͕ͬͨ ͣ
ΤϯδχΞͷਭ࣌ؒΛकΖ͏ ෦ཾҰ(.01FQBCP *OD $MPVE0QFSBUPS%BZT5PLZP ৴པੑΛམͱͣ͞ޮՌతʹΦϯίʔϧΛݮΒ͢औΓΈΛࢦͯ͠
ޮՌ োൃੜճΛ૿͢͜ͱͳ͘ΦϯίʔϧͷճΛݮΒ͢͜ͱʹޭ
औΓΈͷޮՌͱࠓޙͷ՝ ࠓޙͷ՝ ݄ճͰΓ·ͩଟ͍ ʮ43&ͷ୳ٻʯͰͷݴٴ͋Δ͕࢛ظͰdճ͘Β͍Λࢦ͢ ݮΒ͢औΓΈࣗମʹ݁ߏ࣌ؒΛ͔͚ͯ͠·͍ͬͯΔͷͰޮతʹΓ͍ͨ
·ͱΊ
·ͱΊͱڭ܇ ΦϯίʔϧରԠαʔϏεͷ৴པੑͱՄ༻ੑΛอͭͨΊʹߦ͏ աʹΞϥʔτͷઃఆ͗͢͠Δͱӡ༻ෛՙ͕ߴ·ΓΤϯδχΞ ͷੜ࢈ੑͷӨڹΛ༩͑ͯ͠·͏ ΞϥʔτͰਓΛݺͼग़͢ࡍ·ͣࣗಈ෮چΛݕ౼͠ઃఆࣗମ ΛݮΒ͍ͯ͘͜͠ͱͰޮՌతʹ࣮ߦ͍ͯ͘͠
ࢀߟॻ੶ ೖࢹϞμϯͳϞχλϦϯάͷͨΊͷσβΠϯύλʔϯ ΣϒΦϖϨʔγϣϯαΠτӡ༻ཧͷ࣮ફςΫχοΫ 43&αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά(PPHMFͷ৴པੑΛࢧ͑ΔΤϯδχΞϦϯάνʔϜ 43&ͷ୳ٻ༷ʑͳاۀʹ͓͚ΔαΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯάͷಋೖͱ࣮ફ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠