インシデントレスポンスを自動化で支援する Slack Bot で人機一体なセキュリティ対策を実現する https://event.cloudnativedays.jp/cndt2021/talks/1260
1ΠϯγσϯτϨεϙϯεΛࣗಈԽͰࢧԉ͢Δ4MBDL#PUͰਓػҰମͳηΩϡϦςΟରࡦΛ࣮ݱ͢Δ(.0ϖύϘҏ౻༸$MPVE/BUJWF%BZT5SBDL#20-18:00
View Slide
2ҏ౻༸͍ͱ͏ͻΖ !IJCPNBॴଐ(.0ϖύϘηΩϡϦςΟରࡦࣨ ࡏ৬BUಢݝಹਢԘݪ৬ҐϓϦϯγύϧΤϯδχΞಘҙ-JOVYϨΠϠʔͷτϥϒϧγϡʔςΟϯάϒϩάٕज़ΤϯτϦ2ΠϯτϩμΫγϣϯ: ൃදऀͷհhttps://github.com/hiboma/hibomahttps://hiboma.hatenadiary.jp/
3(.0ϖύϘηΩϡϦςΟରࡦࣨͷϛογϣϯΠϯτϩμΫγϣϯ:ηΩϡϦςΟରࡦࣨͷհग़య: Co3Ͱࢧ͑ΔϖύϘͷηΩϡϦςΟରࡦ ~Communication Completely Continuous(.0ϖύϘͷηΩϡϦςΟରࡦࣨͱใηΩϡϦςΟجຊํΛ९क͓͠٬༷ɺ͓औҾઌ༷ɺैۀһ͔Β༬Δใࢿ࢈Λదʹѻ͑ΔจԽܗɺٕज़తΈΛϦʔυ͢Δ৫ΤϯδχΞϦϯάͷΞϓϩʔνͱซͤͯɺ৫ͰͷจԽͷܒʹίϛοτ͍ͯ͘͠৫Ͱ͢͜ͷεϥΠυͰਓػҰମਓͱػց͕ҰମʹͳΔ4MBDL#PUͷͱซͤͯϚωδϝϯτʹݴٴͨ͠Λ͠·͢
4ຊฤʹઌཱͬͯSection 0
ຊεϥΠυͰʮΠϯγσϯτʯͱ͍͏༻ޠΛ܁Γฦ͠༻͍·͢ɻ(.0ϖύϘͰʮΠϯγσϯτʯͷఆٛͷ௨Γͱ͍ͯ͠·͢ɻຊεϥΠυ͜Εʹ४ͨ͡ఆٛͱ͠·͢5ຊฤʹઌཱͬͯຊεϥΠυͰͷʮΠϯγσϯτʯͷఆ্ٛهͷఆٛʹ४ͯ͡ɺओʹɺՄ༻ੑʹӨڹ͢ΔࣄΛʮোʯͱهࡌ͠·͢શੑɾػີੑʹӨڹ͢ΔࣄΛʮηΩϡϦςΟɾΠϯγσϯτ ʯͱͯ͠هࡌ͠·͢ใࢿ࢈ͷ͏ͪॏཁੑ̍ɺ̎ʹଐ͢Δͷʹ͍ͭͯɺΞΫηεݖݶ͕ͳ͍ਓ͕Ӿཡ͢Δ͜ͱ͕Ͱ͖ͨʢػີੑͷʣॏཁੑηΩϡϦςΟ৵͕ձࣾͷࡒ࢈ɺӦۀॏେͳӨڹΛٴ΅͢ɻॏཁੑηΩϡϦςΟ৵͕ձࣾͷۀࣥߦॏେͳӨڹΛٴ΅͢ɻใࢿ࢈શͯΛରʹͯ͠ɺͳ͘ͳͬͯ͠·ͬͨʢશੑͷʣใࢿ࢈શͯΛରʹվ͟Μ͞Εͯ͠·ͬͨʢશੑͷʣใࢿ࢈શͯΛରʹɺҰ࣌తʹར༻Ͱ͖ͳ͍ঢ়ଶ͕ൃੜ͓͠٬༷ʹӨڹ͕ൃੜͨ͠ʢՄ༻ੑͷʣσΟβελɾϦΧόϦ (ࡂ෮چ) ʹ͍ͭͯ ࡐͷείʔϓ͕͘ͳΓ͗͢ΔͨΊɺຊεϥΠυͰʮΠϯγσϯτʯʹؚΊ͍ͯ·ͤΜ
6Πϯγσϯτආ͚ΒΕͳ͍Section 1
7Πϯγσϯτආ͚ΒΕͳ͍Πϯγσϯτආ͚ΒΕͳ͍$MPVE/BUJWFʹඪޠ͞ΕΔઌਐతͳٕज़ɾΞʔΩςΫνϟͰ࡞ΒΕͨγεςϜ͕ߴ৴པੑΛಘͰ͖ΔҰํͰɺґવͱ༷ͯ͠ʑͳ͕ൃੜ͠ΠϯγσϯτΛҾ͖ى͜͠·͢l୭͕ࣗͷαʔϏε͕ৗʹεϜʔζʹಈ͘͜ͱΛΜͰ͍·͕͢ɺࢲͨͪෆશͳੈքʹੜ͖͍ͯΔͷͰɺো͕ൃੜ͢Δ͜ͱ͋Γ·͢ɻग़య: https://sre.google/workbook/incident-response/ ͷ಄ΛҾ༻ɺDeepL༁ͨ͠
8Πϯγσϯτආ͚ΒΕͳ͍༷ʑͳϗετͷΧʔωϧͷόάɾෛՙϛυϧΣΞͷόάɾෛՙઃఆͷϛεɾෆඋΫϥυɾΠϯϑϥͷ*BB4 1BB4 BB4ͷো%$ɾجװωοτϫʔΫোϋʔυΣΞͷσΟεΫͷނোిݯͷނোωοτϫʔΫػثͷނোΞϓϦέʔγϣϯͷઃܭɾ༷ͷෆඋ࣮ͷόάϦϦʔεͷϛε֎෦͔Βͷ߈ܸෆਖ਼ͳϖΠϩʔυɺ%P4ɺϚϧΣΞ੬ऑੑɾθϩσΠରԠਓؒͷώϡʔϚϯΤϥʔ ΦϖϛεγεςϜͷଐਓԽͦͷଞʹ ͍Ζ͍ΖͳΛڍ͛Δ͜ͱ͕Ͱ͖Δͱࢥ͍·͢ɻϑΟʔυόοΫ͓͓ͪͯ͠Γ·ࣾ͢ձঢ়گͷมԽ๏ɾن੍ͷΞοϓσʔτྙཧɾ९कҙࣝͷมԽ࿈ܞͷ֎෦"1*αʔϏεͷোґଘ͢ΔγεςϜͷো
943&ʹ͓͍ͯΠϯγσϯτରԠΓͤͳ͍ςʔϚʹͳ͍ͬͯΔʰ43&αΠτϥΠΞϏϦςΟΤϯδχΞϦϯάʱ● ষɹޮՌతͳτϥϒϧγϡʔςΟϯά● ষɹۓٸରԠ● ষɹΠϯγσϯτཧ● ষɹϙετϞʔςϜͷจԽɿࣦഊ͔Βͷֶͼ● ষɹαʔϏεোͷʰαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʱ● ষΦϯίʔϧ● ষΠϯγσϯτରԠʰ#VJMEJOH4FDVSF3FMJBCMF4ZTUFNTʱ● %JTBTUFS1MBOOJOH● $SJTJT.BOBHFNFOU● 3FDPWFSZBOE"GUFSNBUISRE ͱΠϯγσϯτରԠΠϯγσϯτආ͚ΒΕͳ͍⚠ 43&ຊͷʮΠϯγσϯτʯɺ͍ΘΏΔʮোʯʹൺॏΛஔ͍ͨදݱ͔͠Εͳ͍͕ɺຊεϥΠυͰηΩϡϦςΟΠϯγσϯτؚΉ͍ղऍͱͨ͠
10ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏Section 2
11৫ͷϨδϦΤϯεΛޠΔ = ϙδςΟϒͳൃ৴ςʔϚʹʙʹॻ͔ΕͨʮোʯʮΠϯγσϯτʯΛࡐͱͨ͠ΞτϓοτΛूΊ·ͨ͠⚠ ཏͰ͖ͣࡌ͍ͤͯͳ͍ΤϯτϦଟʑ͋Δͱࢥ͍·͕͢ɺྃ͝ঝ͍ͩ͘͞ɻʮʓʓͷࣄྫ͕ͳ͍ʯʮ˚˚ࡌͤͯ΄͍͠ʯͷϑΟʔυόοΫ͋Γ·ͨ͠Β!IJCPNBʹڭ͍͑ͯͩ͘͞● Infra Study Meetup #3 LT - Incident Response @tjun ࢯ● ʲ͍ͰΑোରԠଠʳզʑΠϯγσϯτʹͲ͏͖߹͍ͬͯΔͷ͔ | by yoshiken | FiNC Tech Blog | Medium● োൃੜʂશһू߹ʁ ʵ ΦϯίʔϧΞϯνύλʔϯ͔ΒͷҰาલਐ - Cybozu Inside Out | αΠϘζΤϯδχΞͷϒϩά● ॏେࣄނͷ࣌ʹͲ͏͢Δ͔ʁʛmiyasakaʛnote● ࣦഊͯ͠߈Ίଓ͚ΔͨΊʹ - freeeͷΤϯδχΞ͕োରԠͰ࣮ફ͍ͯ͠Δ͜ͱ - freee Developers Blog● SREνʔϜͷηΩϡϦςΟΠϯγσϯτήʔϜσʔ - ϝυϐΞ։ൃऀϒϩά● WebαʔϏεͷোରԠͷͱ͖ͷࢥߟաఔ - ͺ͍ͺ͍ʹ͖ͬ● γεςϜোͱͷ͖߹͍ํ @sinamon129 #tokyogirlsrb - Speaker Dec)● ࠶ൃࢭࡦΛߟ͑Δٕज़ / #phpconsen - Speaker Deck)● োରԠͱϙετϞʔςϜ - Quipper Product Team Blog● ελσΟετʹ͓͚ΔোରԠͷ࣮ફͱࠓޙͷల. #srefukuoka Ͱొஃ͖ͯ͠·ͨ͠ʂελσΟετ։ൃϒϩά | Medium● ʲอଘ൛ʳ౦ژϦʔδϣϯͷ AWS োൃੜ࣌ʹΫϥεϝιουͷςΫχΧϧαϙʔτνʔϜ͕͍ͬͯΔ͜ͱ | DevelopersIO● WebΞϓϦέʔγϣϯͷোରԠʹ͍ͭͯվΊͯҙ͖ࣝ͢ΕΔͱྑ͍͜ͱΛ·ͱΊΔ - stefafafan ͷ fa 3ͭͰ͢● γεςϜোରԠԋशΛ࣮ࢪͨ͠ʛNAVITIME_Techʛnote43&ͷ͕Γͱซͤͯɺ৫ͰͷোτϥϒϧରԠϨδϦΤϯεʹ͍ͭͯͷΞτϓοτ͕૿͑ͨΑ͏ʹࢥ͍·͢ɻUXJUUFSιʔγϟϧϒοΫϚʔΫͰݐઃతɾҙతͳίϝϯτ͕͖ͭɺϙδςΟϒͳςʔϚͱͯ͠ಡ·Ε͍ͯΔۭؾΛײ͡·͢ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏
12৫ͷϨδϦΤϯεΛޠΔ > ҰൠԽɾීวԽ͢ΔઌͷΤϯτϦ܈Ͱɺٕज़ͷ֤ΑΓɺϓϩηεɾίϛϡχέʔγϣϯɾ৫จԽʹϑΥʔΧεͨ͠༰͕ଟ͍○ ϓϩηεͷߏԽ○ ϚχϡΞϧ࡞Γɺϑϩʔͷࡦఆɺׂ୲○ ৫จԽͮ͘Γ○ ࣦഊΛඇ͠ͳ͍จԽ #MBNFMFTTɺ;Γ͔͑ΓϙετϞʔςϜͷจԽ○ ίϛϡχέʔγϣϯπʔϧͷ׆༻○ 4MBDLͷCPU8PSLGMPX׆༻ҟͳΔࣄۀΛӦΉ*5اۀ͕ɺΑ͘ࣅͨϓϥΫςΟεɾΞϯνύλʔϯΛಋ͍͍ͯΔͷ͕ҹతͰ͢ɻ৫Λ͑ͯҰൠԽɾීวԽͯ͠ޠΓ͏ΔࡐͳͷͰ͠ΐ͏ɻٯʹɺϖύϘͷ͕ଞͷ৫ʹڹ͘ͱ͜Ζ͕͋Δ͔ͱࢥ͍·͢ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏
13ٕज़৬Ҏ֎ͷ৬छΠϯγσϯτରԠʹՃΘΔέʔε͋Γ·͢● ΧελϚʔαϙʔτɹ● Ϛωʔδϟʔ● ๏෦● औకΠϯγσϯτରԠͰ৫ͷߏͱ৬छؒΛ͑ͯͷίϥϘϨʔγϣϯ͕ཁٻ͞Ε·͢ ΠϯγσϯτରԠ = ৫ͷॎɾԣͱ৬छΛ͑ͨίϥϘϨʔγϣϯ(.0ϖύϘͰɺࣄۀ෦੍Λෑ͍͓ͯΓɺࣄۀ෦͝ͱʹαʔϏε͕ैଐ͠·͢⚠ ࢲGMOϖύϘҎ֎ͷձࣾʹॴଐͨ͜͠ͱ͕ͳ͍ͨΊɺଞ༷ࣾͰͲͷΑ͏ʹରԠΛߦ͏ͷ͔ɺݟɾܦݧ͕શ͋͘Γ·ͤΜɻϑΟʔυόοΫΛΒ͑Δͱ͍Ͱ͢!ج൫ٕज़ ྫϓϥΠϕʔτΫϥυαʔϏεؔ࿈ܞͰো͕ൃੜͨ͠߹ɺ෦ॺɾαʔϏεؒΛԣஅͯ͠ίϛϡχέʔγϣϯΛͱΔඞཁ͕͋Γ·͢ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏
w େྔͷࢹΞϥʔτ͕ྲྀΕͯಉ྅ͱͷνϟοτ͕͏·͍͔͘ͳ͔ͬͨw ݪҼௐࠪʹ಄͠·͍ɺ؊৺ͷ෮چ࡞ۀ͕Εͨw ͨͩ΅ʔͬͱಉ྅ͷ࡞ۀ νϟοτΛோΊ͍ͯͨw ෮چ࡞ۀʹເதͰؔऀʹ࿈བྷ͕ޙճ͠ʹͳͬͨw هΛ·ͱΊΑ͏ͱ͕ͨ͠ɺϩά͕͍ΖΜͳνϟϯωϧʹࢄҳ͍ͯ͠Δw ϚχϡΞϧϑϩʔ͕͋Δ͕ແࢹɾΕ͕ͪʹ͞ΕΔw োΛಉ྅͕Βͳͯ͘ϔϧϓͯ͠Β͑ͳ͔ͬͨ ͋Δ͍ٯͷཱw ʜFUD14ۓٸ࣌ͷΦϖϨʔγϣϯେม🔥🔔🔥🔥ը૾ͷग़య: http://www.irasutoya.com/ۓٸ࣌ͷΦϖϨʔγϣϯͷલͷͰେมͰ͢ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏
15lػցͱਓؒͷॏཁͳҧ͍ͷҰͭ ػցաෛՙʹͳΔͱಥવఀࢭ͢Δͷʹରͯ͠ ਓؒΏͬ͘ΓͱػೳΛམͱ͢͜ͱͰ͋Δ͜ͷ ਓ͕ؒࠁʑͱ૿େ͢Δใॲཧཁٻʹ໘ͨ͠ࡍʹݦஶͱͳΔग़య:ʰอकࣄނʱ δΣʔϜɾϦʔζϯ (ஶ) P.46ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏
16● ঢ়گɾํ๏ͷෆ࣮֬ੑ͕ߴ͍ঢ়گԼͰ࡞ۀ͢ΔϓϨογϟʔ● ࡞ۀͷർ࿑ۓு͔Β͘Δମɾਫ਼ਆͷετϨε● ଟ༷ͳ৬छؒίϛϡχέʔγϣϯΛ·ͱΊΔΉ͔ͣ͠͞ਓؒʹऻ͍͔͔ΓରԠΛ͛·͢ɻ෮چ࡞ۀͷϛεͰೋ࣍ඃෆ҆Ͱ͢ɻγεςϜΛӡ༻͢Δ৫ʹ͓͍ͯΠϯγσϯτରԠʹཱ͔ͪ͏ਓؒΛࢧԉ͢ΔΈํ๏ΠϯγσϯτϚωδϝϯτ͕ඞཁͰ͢ਓؒେมͩɻΠϯγσϯτϚωδϝϯτ͕ඞཁ͘෮چͯ͠ϏδωεͷӨڹΛ͍͑ͨɺͰɺਓؒʹෛՙ͕͔͔͍ͬͯΔ😩😫😵ආ͚ΒΕͳ͍Πϯγσϯτʹཱ͔ͪ͏
17ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏Section 3
18DevSecOps CycleͱΠϯγσϯτରԠϖύϘͰ DevSecOps Cyclce ͱͯ͠։ൃαΠΫϧΛϞσϧԽ͍ͯ͠·͢Incident Response γϑτϨϑτͷରʹͳΓ·͢● Πϯγσϯτൃੜ࣌ͷϚχϡΞϧɾϑϩʔඋ● ΠϯγσϯτରԠϨϕϧͷΞηεϝϯτͷ࣮ࢪ● ΠϯγσϯτରԠ܇࿅ͷఆظ࣮ࢪ● ڴҖϞσϦϯά● υΩϡϝϯτඋ (γεςϜߏਤɺσʔλϞσϧ )● ΠϯγσϯτϚωδϝϯτͷࢧԉΛ slack bot ͰࣗಈԽಉ྅Ͱ͋Δ @mrtc0 ͕ఏҊɾ࡞ͨ͠Ϟσϧਤग़య: Co3Ͱࢧ͑ΔϖύϘͷηΩϡϦςΟରࡦ ~ Communication Completely Continuous ~ GMOϖύϘ ηΩϡϦςΟରࡦࣨΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
19sssbot ϖύϘͷΠϯγσϯτϚωδϝϯτΛࢧԉ͢ΔTMBDLCPUͰ͢ ΠϯγσϯτରԠϓϩηεͷඪ४Խw ෦ॺɾαʔϏεɾύʔτφʔʹґΒͣ౷Ұͨ͠ϓϩηεΛఏڙ͠·͢ΠϯγσϯτରԠϚχϡΞϧͷ९कw ώϡʔϚϯΤϥʔͷࢭɺಛఆͷਓʹґڌ͠ͳ͍࠶ݱՄೳͳରԠΛ࣮ࢪ͠·͢ΠϯγσϯτରԠͷίϛϡχέʔγϣϯࢧԉw ϑϩʔɾϚχϡΞϧʹ४ͨ͡ࢦࣔग़͠ɺࣾһͷΓͱΓΛϔϧϓ͠·͢Slack bot ͰΠϯγσϯτϚωδϝϯτΛࢧԉ͢ΔΞΠίϯಉ྅ͷ @chocolatina ࡞*1) 2018ޙ͔Β CLI πʔϧͱͯ͠։ൃΛ࢝Ίͯɺঃʑʹ Slack Bot (Application ) ͱͯ͠࡞ΓࠐΜͰ͍ͬͨΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏໊લηΩϡϦςΟΛτϐοΫͱ͢ΔTMBDLνϟϯωϧ໊͕ #sss ʹ༝དྷ͠·͢
20࣌ؒղܾϖύϘͷΠϯγσϯτରԠϓϩηεͷϞσϧਤ✅ൃੜ ݕ Ξϥʔτ ରԠ🚨🔥 🔔 🍵👁🗨෮چ ؇ରԠ࣌ͷΦϖϨʔγϣϯɾίϛϡχέʔγϣϯΛԁʹ͠෮چɾղܾ·ͰΛޮԽ͢ΔΞΫγϣϯΛͱΔΠϯγσϯτϚωδϝϯτͷ࣮ࢪ
21࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯͱ sssbot ͷࢧԉ⌛ ⌛ ⌛ ⌛ΠϯγσϯτͷॳಈΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛
22@sssbot ʹϝϯγϣϯΛඈ͢ͱɺΠϯγσϯτରԠνϟϯωϧ࡞ͷϘλϯ͕ݱΕ·͢💡bot ͷݺͼग़͠؆ܿʹCPUݺͼग़͠ͷίϚϯυΛΈΜͳʹ֮͑ͯΒ͏ͷɺେมͰ͢ɻϝϯγϣϯ͚ͩͰݺͼग़͠·͠ΐ͏ɻબͨ͠ΠϯγσϯτͷྨܕʹΑͬͯɺϚχϡΞϧɾϑϩʔʹͷͬͱΓTTTCPU͕ࢧԉΛͯ͘͠Ε·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏https://example.com/sssbot-no-help
23ϑΥʔϜೖྗͯ͠ରԠνϟϯωϧΛ࡞͠·͢νϟϯωϧ໊ͷॳظsssbot ͕ೖΕͯ͘Ε·͢💡νϟϯωϧ໊ͷنνϟϯωϧ໊ʹنΛઃ͚ͯࣝผͰ͖ΔΑ͏ʹ͠·͢#αʔϏε໊-YYMMDDi (ྫ: #example-20210101i)ϖύϘͰෳͷαʔϏεΛఏڙ͍ͯ͠ΔͨΊɺͦΕͧΕͰνϟϯωϧΛ࡞ΕΔنͱ͠·͢ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
24αʔϏεΛબ͠ɺॳಈରԠνʔϜΛܾఆ͠·͢ɻॳಈରԠνʔϜΠϯγσϯτͷॳಈʹΞαΠϯ͞ΕΔάϧʔϓͰ͢ɻ෦ɺαʔϏε͝ͱʹฤ͞Ε·͢ɻTMBDLͷϢʔβάϧʔϓ ྫ!IPHFJODJEFOUSFTQPOTFͰఆٛ͠·͢ɻΧελϚʔαϙʔτϚωʔδϟʔνʔϜʹೖΓ·͢ɻ🗒 Ϣʔβάϧʔϓ https://github.com/j-o-lantern0422/arisaid Λͬͯ YAML ʹͯ͠όʔδϣϯཧ͍ͯ͠ΔΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
25νϟϯωϧ࡞࣌ͰѲ͍ͯ͠Δঢ়گΛೖྗ͠·͢💡ॳಈରԠνʔϜʹঢ়گΛ͑ΔνϟϯωϧΛ࡞͢Δਓঢ়گΛѲͰ͖͍ͯΔਓͱఆͯ͠ɺαϚϦΛ·ͱΊͯΒ͍·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
26ԹײͰΠϯγσϯτͷॏେ ۓٸΛධՁ͠·͢ɻ💡 ԹײͰʮΈΜͳʯʹʮ͞ʯΛ͑Δνϟϯωϧ࡞ऀ͕Πϯγσϯτͷॏେ͞ɾۓٸΛ͚ͭ·͢ɻײʹͤͨධՁͰΑ͘ɺਖ਼֬͞ॏࢹ͠·ͤΜɻϚωʔδϟʔΧελϚʔαϙʔτͳͲɺٕज़͕Α͔͘Βͳ͍ಉ྅ͷୡखஈͰ͋Γ·͢ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
27ϑΥʔϜೖྗޙɺνϟϯωϧΛηοτΞοϓ͠·͢νϟϯωϧ໊ྫ) #example-20210101i ԹײαϚϦΛνϟϯωϧͷτϐοΫʹઃఆ͢ΔαϚϦԹײΛτοϓʹ௨͢Δ💡 ҰՕॴʹهͱରԠΛूΠϯγσϯτνϟϯωϧʹରԠͱهΛू͠·͠ΐ͏ɻਐߦ͕ෳνϟϯωϧʹ֦ࢄ͢ΔͷΛආ͚ɺҰݩԽ͠·͢ɻΞϥʔτ͕େྔʹྲྀΕΔνϟϯωϧɺεϨουͷਐߦΞϯνύλʔϯͱ ͍ͯ͠·͢⚠ ΞϥʔτͰରԠϩάεϨου͕ྲྀΕͯ͠·͏ɺεϨουʹεϨου͕࡞Εͳ͍ɺεϨουͷݕࡧ͕ࡶɺτϐοΫͷϝλσʔλΛ͑ͳ͍ʑͷཧ༝Ͱ͢ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
ΠϯγσϯτΛએݴɾใ͢Δ28࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯͱ sssbot ͷࢧԉ⌛ ⌛ ⌛ ⌛ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛📣
29νϟϯωϧ࡞ޙɺΠϯγσϯτͷൃੜΛએݴ͠·͢💡 ΠϯγσϯτΛએݴ͢ΔʮେʯΛ͋͛ͯΈΜͳʹΠϯγσϯτͷൃੜΛೝࣝͯ͠Β͍·͢ɻ4MBDLͷνϟϯωϧ࡞҉తͰؾ͕͖ʹ͍͘ͷΛղܾ͢Δ6*69ͱߟ͍͑ͯ·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
30ΠϯγσϯτͷએݴෳͷνϟϯωϧʹϒϩʔυΩϟετ͞Ε·͢💡৫ߏ (νϟϯωϧ) Λԣஅͯ͠એݴ͢ΔϖύϘͷTMBDLνϟϯωϧ ࣄۀ෦ɾαʔϏεɾ৬छ ୯ҐͰ͔Ε͍ͯ·͢ɻ։ൃऀνϟϯωϧɺϚωʔδϟʔνϟϯωϧɺΧελϚʔαϙʔτνϟϯωϧʹ௨Λग़͠·͢ɻCPUͷϚϧνϙετগʑ͏Δ͍͞Ͱ͕͢ɺසͷগͳ͍௨Ͱ͢͠ɺؾ͕͔ͭͳ͍ΑΓͣͬͱΑ͍͜ͱͰ͠ΐ͏ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
31࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ⌛ ⌛ ⌛ ⌛ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛ॳಈରԠνʔϜΛݺͼग़͢
32ΠϯγσϯτରԠνϟϯωϧʹॳಈରԠνʔϜΛJOWJUF͠·͢💡 ඞͣݺͿਓ bot ʹͤΔΠϯγσϯτͷॳಈʹ͍ΔνʔϜΛTTTCPU͕ࣗಈͰݺͼग़͠·͢ɻ$50 71P& ηΩϡϦςΟରࡦࣨݺͼग़ͯ͠ॏେͳΠϯγσϯτͷݟಀ͠Λ͗·͢ɻͨ͘͞ΜͷʮਓΛݺͼग़͢ʯͷ໘Ͱ৺ཧతোนͷߴ͍࡞ۀͰ͢ɻCPUʹͤͯ͠·͍·͠ΐ͏ɻॳಈରԠνʔϜΛinvite ͢ΔCTO VPoEʑ invite ͢ΔCTOfoobarfoobarΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏#example-20210101i#example-20210101i@example-incident-response
33࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ⌛ ⌛ ⌛ ⌛ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛❓ ❓❓ঢ়گΛಉظ͢Δ
34νϟϯωϧ࡞ऀʹϝϯγϣϯΛඈ͠ʮ͍·͍·ͷঢ়گʯΛॻ͘Α͏ʹଅ͠·͢ɻ💡 ·ͣঢ়گΛ͑ͯɺΈΜͳͰฒΈΛἧ͑Δಥɺνϟϯωϧʹݺͼग़͞ΕΔॳಈରԠνʔϜɺͦͦԿ͕ى͖ͨͷ͔͢ΒѲ͍ͯ͠ͳ͍ਓ͍·͢ɻνϟϯωϧΛ࡞ͨ͠ਓΛɺॳಈͷ࣌Ͱঢ়گΛཧղ͍ͯ͠Δਓͱఆͯ͠ɺCPU͔Βঢ়گઆ໌Λଅ͠·͢ɻ💡 ආ͚͍ͨΞϯνύλʔϯʮνϟϯωϧ࡞ऀ͕ɺঢ়گΛઆ໌ͤͣʹ෮چ࡞ۀʹ͍ΓɺपғΛஔ͍͖ͯ΅Γʹ͢Δʯʮٕज़৬αϚϦΛಡΜͰঢ়گΛཧղ͕ͨ͠ɺΧελϚʔαϙʔτϚωʔδϟʔΒ༻ޠ͕͔ΒͣཧղͰ͖͍ͯͳ͍ʯΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
35࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ⌛ ⌛ ⌛ ⌛ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛ϋϯυϥʔΛืΔ
36💡 ϋϯυϥʔΛͨͯͯରԠ͢ΔϖύϘͰ Πϯγσϯτϋϯυϥʔ(≒ΠϯγσϯτίϚϯμʔ) ΛͨͯͯਐߦΛҕͶ·͢ɻϋϯυϥʔʹίϛϡχέʔγϣϯΛҾಋ͢ΔϦʔμʔγοϓΛൃشͯ͠Β͍·͢νϟϯωϧ࡞ޙ͔Β͢ΔͱTTTCPU͕ΠϯγσϯτϋϯυϥʔͷܾఆΛଅ͠·͢ϋϯυϥʔʹࢦࣔग़͠Λߦ͍·͢ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏https://example.com/slack/p1634721688039800
37࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ⌛ ⌛ ⌛ ⌛λΠϜϚωʔδϝϯτΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛
38͝ͱʹλΠϜΩʔύʔ͕ىಈͯ͠ܦա࣌ؒΛΒͤ·͢💡࣌ݶͷΠϕϯτͰհೖ͢ΔΠϯγσϯτ͕ରԠਂࠁԽɾظԽ͢Δͱɺർ࿑ϓϨογϟʔॏͳΓ࣌ؒΛࣦ೦͕ͪ͠Ͱ͢ɻఆظతͳঢ়گஅɾҙࢥܾఆΛଅͨ͢ΊʹɺλΠϜΩʔύʔ͕հೖ͠ɺ࣌ؒΛ͑·͢ɻ💡 15ͳͷԿނ͔?ʮোใͷܝࡌɺ֎෦৫ͷఆظ࿈བྷΛߦ͏ࡍʹΛ۠Γʹͯ͠ΞΫγϣϯΛͱΔ͜ͱ͕ଟ͘पظͰௐͷΞΫγϣϯΛͱΔͱͪΐ͏Ͳ͍͍ʯͱɺࣾϑΟʔυόοΫΛड͚ͨઃఆͰ͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
39λΠϜΩʔύʔίϚϯυ࣮ߦͷ6*Λඋ͑·͢💡 ίϚϯυϨεͰݺͼग़ͤΔλΠϜΩʔύʔʹίϚϯυ࣮ߦͷμογϡϘʔυ6*Λ͍ͨͤͯ·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
40ࣄϨϕϧ Λܾఆ͢ΔͱɺTTTCPUϨϕϧʹԠͨ͡ϚχϡΞϧΛࢦࣔ͠·͢ɻ💡ఆܕͷࢦࣔग़͠ bot ʹݴΘͤΔϚχϡΞϧʹԊͬͨࢦࣔग़͠ɺਓ͕ؒߦ͏ͱΘ͍͠ͷͰ͢ɻϘοτʹͤͯ͠·͍·͠ΐ͏ɻΕ͕ͪͳλεΫϘοτʹϦϚΠϯυͯ͠Β͍·͠ΐ͏ɻϋϯυϥʔʹࢦࣔग़͠Λ͠·͢(.0ϖύϘͷΠϯγσϯτରԠϚχϡΞϧʹͯΠϯγσϯτͷنʹԠͨ͡ࣄϨϕϧΛ͚Δ͜ͱ͕ఆΊΒΕ͍ͯΔΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
41ࣄϨϕϧͷܾఆෳνϟϯωϧʹϒϩʔυΩϟετ͠·͢💡 ใࠂΛ bot ʹͤΔ։ൃऀνϟϯωϧɺΧελϚαϙʔτνϟϯωϧͳͲʹϚϧνϙετ͢Δ࡞ۀΛCPUʹͤ·͢ɻϚωʔδϟʔɾϦʔμʔɾऔక͕͍ΔQSJWBUFνϟϯωϧʹ௨͕ඈͼ·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
42࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ⌛ ⌛ ⌛ ⌛෮چ(؇) Λએݴ͢ΔΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛
43Πϯγσϯτ͔Β෮چ ؇ͨ͠ΒએݴΛϒϩʔυΩϟετ͠·͢💡 ෮چͷએݴΛग़͠ɺରԠͷ༏ઌΛԼ͛ΔΠϯγσϯτରԠඇৗʹߴ͍༏ઌͰׂΓࠐΉλεΫͱΈͳͤ·͢ɻରԠ͕ͻͱஈམͨ͠Β෮چΛએݴͯ͠ɺରԠͷ༏ઌΛԼ͛·͠ΐ͏ɻ·ͨɺએݴΛϒϩʔυΩϟετ͢Δ͜ͱͰʮνϟϯωϧͷਓ͚͕ؒͩ෮چΛೝ͍ࣝͯͨ͠ʯͱ͍͏ΞϯνύλʔϯΛආ͚·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
44࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ⌛ ⌛ ⌛ ⌛࣍ͷΞΫγϣϯʹܨ͛ΔΠϯγσϯτϚωδϝϯτͷ࣮ࢪ⌛
45TTTCPUϙετϞʔςϜͷ࡞ࢧԉ͠·͢ɻ1VMM3FRVFTUࣗಈ࡞Ͱ͖·͢ɻ💡 υΩϡϝϯτͷςϯϓϨʔτΛ PR ͢ΔTTTCPU͕هͨ͠αʔϏε໊ɺαϚϦɺΠϕϯτൃੜͷ࣌ࠁΛຒΊಘͨNBSLEPXOͷςϯϓϨʔτΛ13͠·͢ϙετϞʔςϜ ͷQVMMSFRVFTUΛ࡞͠ɺ;Γ͔͑ΓɾࠜຊݪҼੳɾ࠶ൃࢭͷݕ౼ɾ࣮ࢪͱͭͳ͛·͢ɻϙετϞʔςϜͷϑΥʔϚοτʰSRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯάʱΛϕʔεʹ͍ͯ͠·͢ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏postmoreten ͷ࡞ͦͦ͜͜ͷෛ୲ʹͳΓ·͢ɻܰඍͳোͰ postmortem ͷ࡞Λল͘ͷΑ͍ͱࢥ͍·͢ ( SLI/SLO Ճຯͯ͠ධՁ͢Δ)example.com/postmoretem/1
46νϟϯωϧΛಈతʹ࡞ΔͷͰQPTUNPSUFNϦϙδτϦ͔ΒΠϯγσϯτνϟϯωϧʹXFCIPPL௨͢Δʹ͕ඞཁͰ͢JTTVF13λΠτϧʹνϟϯωϧ໊Λॻ͘ͱҙͷνϟϯωϧʹ௨Ͱ͖ΔΞϓϦΛ࡞ͬͯղܾ͍ͯ͠·͢QPTUNPSUFNͷ1VMM3FRVFTUʹ͍ͭͨϨϏϡʔɾίϝϯτΠϯγσϯτνϟϯωϧʹ௨ͯ͠ࣄޙରԠͷίϛϡχέʔγϣϯνϟϯωϧʹू͠·͢webhookredireoct#example-20210101iλΠτϧ: #example-20210101iϦμΠϨΫτ#example-w HJUQVTIͰCSBODI໊͔Βνϟϯωϧ໊Λఆͯ͠ϦμΠϨΫτ͢Δ PSJHJOBFYBNQMFJw (JU)VCͷ௨ΛϦμΠϨΫτ͢ΔͷͰSFEJSFDUPDUPQVTSFEJSFPDUͰ͢ɻ4JOBUSBͰ࡞Γ·ͨ͠ɻ
47࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ⌛ ⌛ ⌛ ⌛ղܾʢྃ) Λએݴ͢Δ⌛
48QPTUNPSUFN࠶ൃࢭͷྃޙɺରԠνϟϯωϧΛBSDIJWFͯ͠ɺղܾ ྃͷએݴΛϒϩʔυΩϟετ͠·͢💡શͯͷ࡞ۀΛऴ͑ͨΒɺએݴ͢Δ෮چޙͷ࡞ۀظԽ͘͢͠ɺ͕࣌ؒܦաͯ͠Πϯγσϯτͷଘࡏ͔ΒΕΒΕ͕ͪʹͳΓ·͢ɻ࠷ޙ·Ͱ࡞ۀͯ͘͠Εͨਓʹ͓ർΕ༷ͷ͔͚ͯ͋͛·͠ΐ͏#example-20210101i#example-#example-20210101iΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
49ΠϯγσϯτͷղܾνϟϯωϧΛBSDIJWF͢Δ·ͰΛޙԡ͢͠ΔϦϚΠϯυػೳ࣮͍ͯ͠·͢νϟϯωϧͷϝοηʔδ͕Ұϲ్݄ؒઈ͍͑ͯͨΒϦϚΠϯυΛೖΕΔΑ͏ʹ͍ͯ͠·͢💡ղܾ = νϟϯωϧͷΞʔΧΠϒ·ͰΛਪ͠ਐΊΔΠϯγσϯτʹΑͬͯ࡞ۀͰɺϲ݄Λཁͯ͠ظԽ͢Δέʔε͕͋ΓɺϑΥϩʔ͠·͢୯ʹɺνϟϯωϧͷBSDIJWFΛΕ͍ͯΔ͚ͩͳΒBSDIJWF͢ΔΑ͏ʹଅ͠·͢foobarΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
50࣌ؒൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ⌛ ⌛ ⌛ ⌛هͱੳ⌛
51Πϯγσϯτൃੜ࣌ʹࣗಈͰJTTVFΛ࡞͠ɺΠϯγσϯτͷهΛͱ͍ͬͯ·͢4MBDLͷݕࡧ6*ͰΠϯγσϯτରԠνϟϯωϧΛΓѲ͢ΔͷগʑࡶͰ͢ɻ(JU)VC&OUFSQSJTFͷJTTVFʹετοΫܕͷσʔλͱͯͯ͠͠ɺࢀর͘͢͠͠·͢ɻαʔϏε໊ɺࣄϨϕϧɺΠϯγσϯτͷྨܕͰϥϕϧΛ͚ͯɺྨࣗಈԽ͍ͯ͠·͢ɻΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
52TTTCPUͷهΛੳɾՄࢹԽʹ༻͍Δ͜ͱ͕Ͱ͖·͢ରԠʙ෮چ ʹཁͨ࣌ؒ͠ΛՄࢹԽͨ͠ྫͰ͢ 'PVSLFZTͷαʔϏε෮ݩ࣌ؒʹ૬͢ΔΠϯγσϯτͷϨϕϧԹײɺରԠͨ͠ਓһ νϟοτྔͳͲ֤छϝλσʔλΛ࠾औͯ͠͞ΒʹԠ༻͕Ͱ͖ͦ͏Ͱ͢ͶμογϡϘʔυฐࣾͷσʔλج൫νʔϜ͕࣮ͯ͘͠Ε·ͨ͠ࢀߟ: ΤϦʔτ DevOps νʔϜͰ͋Δ͜ͱΛ Four Keys ϓϩδΣΫτͰ֬ೝ͢Δ | Google Cloud Blog#example-2022010ΠϯγσϯτʹΤϯδχΞϦϯάͰཱ͔ͪ͏
53ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿSection 3
54ΠϯγσϯτͷࡍʹʮΑ͍ʯߦಈΛͱΕΔΑ͏ɺઌਓɾઐՈ͔ΒϞσϧɾϓϥΫςΟεΛֶͼऔΓ·͠ΐ͏ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿϞσϧɾϓϥΫςΟεΛಋೖ͢Δઌʹհͨ͠TTTCPUɺ͜ΕΒͷϞσϧϓϥΫςΟεΛେ͍ʹࢀߟʹ͍ͯ͠·ࣗ͢ಈԽʹར༻ͤͣͱɺಉ྅ͱͷֶशࡐͱͯ͠සൟʹҾ༻ɾࢀর͍ͯ͠·͢🤔 ???
55ফୂ͔ΒֶΜͩݟΛ*5ΠϯγσϯτʹԠ༻͢Δ͜ͱקΊ͍ͯΔϓϥΫςΟεू● ΠϯγσϯτίϚϯυγεςϜͷಋೖ● ฏৗ࣌ͱۓٸ࣌ͷΦϖϨʔγϣϯΛ͚ͯଊ͑Δ● lઐ༻ͷνϟϯωϧΛ࡞Δ● λΠϜϥΠϯϞσϧ● l܇࿅ɺ܇࿅ɺ܇࿅ɺ͞Βʹɺ܇࿅z● ʜFUD͙͢ʹ׆༻Ͱ͖ΔUJQT͔ΒϚωδϝϯτ৫จԽʹݴٴ͢Δॆ࣮ͨ͠༰Ͱ͢ϖʔδ͋Γཁͯ͠հ͖͠Εͳ͍ͷͰ͍͔ͭ͘ϐοΫΞοϓͯ͠Έ·͢ʰIncident Command for ITʱ by Brent Chapman (*)ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf
56● ฏ࣌ͱผͷΠϯγσϯτઐ༻νϟϯωϧΛͭ͘Δ● νϟϯωϧ໊Λઆ໌తʹ͢Δ● ঢ়گεςʔλευΩϡϝϯτͷϦϯΫΛషΔղܾ͢ΔΞϯνύλʔϯ● Ξϥʔτ͕ҲΕΔνϟϯωϧͰରԠΛਐΊͯ͠·͏● ͲͷνϟϯωϧͰରԠͯ͠Δͷ͔͔Βͳ͍͜ͱ͕͋Δ● ରԠͷه͕ࢄҳͯ͠͠·͏͜ͱ͕͋ΔࣗಈԽͱ૬ੑ͕͍͍ϓϥΫςΟεͰ͢"ઐ༻ͷνϟϯωϧΛͭ͘Δ"ΠϯγσϯτରԠઐ༻ͷνϟϯωϧΛ࡞Δ͜ͱΛઆ͍͍ͯ·͢ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf
57● ਓؒͷϝϯλϧϞσϧʹ͢Δ● ࣗಈԽͷઃܭ࣮ͷϞσϧʹ͢Δར༻ͷྫ● ৫Ͱ༻ޠɾ֓೦ͷ౷Ұ○ ྫʮ"MFSUʙ3FTQPOEͷ͕࣌ؒϘτϧωοΫ͔ͩΒվળ͠Α͏ʯ● ࣗಈԽʹ͔ͭ͏ͱϢϏΩλεݴޠ"λΠϜϥΠϯ"ͷϞσϧΛಋೖ͢Δग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdfઌͷ1%'ʹܝࡌ͞Ε͍ͯΔλΠϜϥΠϯͷϞσϧͰ͢ɻΠϯγσϯτͷϓϩηεΛߏԽ͢Δͷʹཱͪ·͢ɻΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ
58
59࣌ؒ৫ͷӨڹϢʔβͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠൃੜ ݕ Ξϥʔτ ରԠ ෮چ؇ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ : ϖύϘ༁൛⚠ ϖύϘͰՄ༻ੑɾશੑɾػີੑΛճ෮ͨ࣌͠ʹʮ෮چʯͱݺͿਓ͕ଟ͍ͷͰ؇ͷΘΓʹ༻͍͍ͯΔ
60ΠϯγσϯτཧʹΑͬͯεύϯͷ࣌ؒॖ͕ॏཁͩͱλΠϜϥΠϯϞσϧͰઆ͍͍ͯΔ
61࣌ؒ৫ͷӨڹϢʔβͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcൃੜ ݕ Ξϥʔτ ରԠ ෮چ ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ෮چ ղܾTime is Money 💰ࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠ
62࣌ؒձࣾͷӨڹϢʔβͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠൃੜ ݕ Ξϥʔτ ରԠsssbot ΠϕϯτυϦϒϯΞϓϦέʔγϣϯ⌛ ⌛ ⌛ ⌛৫ͷӨڹϢʔβͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠ ෮چ؇ղܾBSDIJWF⌛λΠϜΩʔύʔͷΠϕϯτ
63λΠϜϥΠϯͷϞσϧʰ4FFLJOH43&ʱʹࡌ͍ͬͯ·͢Seeking SRE ͷλΠϜϥΠϯϞσϧग़య: https://learning.oreilly.com/library/view/seeking-sre/9781491978856/ch04.htmlઌͷϞσϧͱ༻ޠͷҧ͍͋Γ·͕͢ɺϑΣʔζͷ۠ΓํΑ͘ࣅ͍ͯ·͢ɻ৫ͰͷΓ͔ͨࣗಈԽʹΑ͘Ϛον͢ΔϞσϧΛબ͢ΔͱΑ͍Ͱ͠ΐ͏ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ
64ΠϯγσϯτͰ͋Δ͜ͱΛ໌֬ʹએݴ͢Δͱ͍͏ϓϥΫςΟεͰ͢● ةػΛએݴ͠ɺରԠͷ༏ઌΛ্͛Δ● ฏ࣌ͱۓٸ࣌Λ໌֬ʹ͚Δ● ةػ͕ա͗ͨ͜ͱએݴ͠ɺ༏ઌΛԼ͛Δղܾ͢Δঢ়● ಉ྅͕Πϯγσϯτͷൃੜɾ෮چΛೝ͍ͯ͠ͳ͍● ෮چͨ͠ͷ͔Ͳ͏͔͔ΒͣରԠͷ༏ઌ͕ᐆດʹͳΔCPUͷ௨Ͱ࣮Ͱ͖ΔϓϥΫςΟεͰ͢"ةػΛએݴ͢Δ"ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf
651BHFS%VUZࣾͷΠϯγσϯτϨεϙϯεͷυΩϡϝϯτͰ͢ରԠશൠͷɺτϨʔχϯάɺϙετϞʔςϜɺϓϥΫςΟεΞϯνύλʔϯͳͲ1BHFS%VUZࣾͰഓΘΕͨϓϥΫςΟε͕ΓࢁͷυΩϡϝϯτͰ͢ɻຊυΩϡϝϯτΛࢀߟʹ͍ͯ͠Δهࣄɺ֤ॴͰݟ͔͚·͢ɻTMBDLίϚϯυͰରԠνʔϜΛݺͼग़͢Γํॻ͍ͯ͋Γ·͢༗ࢤͷํ͕༁Λग़ͯͩͬͨ͘͠͞ͷͰνʔϜͰͷಡΈ߹ΘͤʹΑ͍ςΩετͰ͢ͶPagerDuty Incident Responseͷ༁൛Λެ։͠·ͨ͠ - FolioscopePagerDuty Incident Responseग़య: https://response.pagerduty.com,ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ
66վΊͯհ͢Δ·Ͱͳ͍Ͱ͕͢ɺΈΜͳͰಡΜͰ͓͖͍ͨॻ੶Ͱ͢ͶɻຊॻΛݺΜͰΠϯγσϯτରԠΛݟͨ͠ɺ;Γ͔͑ΓQPTUNPSUFNΛ࢝Ίͨͱ͍͏৫ଟ͍ͷͰͳ͍Ͱ͠ΐ͏͔ɻϖύϘͰ݄͝Ζ͔ΒQPTUNPSUFNͷऔΓΈΛ࢝Ί·ͨ͠ɻຊॻΛࢀߟʹͯ͠QPTUNPSUFNͷςϯϓϨʔτΛ࡞ΓɺNBSLEPXOԽ͍ͯ͠·͢ɻޙʹɺTTTCPUͰࣗಈͰQPTUNPSUFN ͷԼॻ͖Λ࡞ΕΔΑ͏͠·ͨ͠SRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯάग़య: https://www.oreilly.co.jp/books/9784873117911/ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ
67ݩফ͕࢜ࡂͷݱͰഓͬͨܦݧɾํ๏Λ*5ΠϯγσϯτϚωδϝϯτಋೖΛઆ͘ॻ੶● ৫ͷΠϯγσϯτରԠΛΞηεϝϯτ͢Δ࣭ू● 1FBDFUJNF8BSUJNFͷ৫ߏ● *ODJEFOU$PNNBOE4ZTUFNͷԠ༻● ΠϯγσϯτରԠΛεέʔϧͤ͞Δํ๏● 4FSWFSJUZΛΠϯγσϯτͷࢦඪͱ͢Δ● ʜFUDTTTCPUͰ4FSWFSJUZʮԹײʯͱͯ͠6*69ʹऔΓࠐΈ·ͨ͠ɻਓ໋ٹॿʹܞΘ͍ͬͯΔํͳͷͰʮQPTUNPSUFNʯͰͳ͘ʮ"GUFS"DUJPO3FWJFXʯͱݺͿ͜ͱΛקΊΔͩ͘ΓͰϋͬͱؾ͕͖͕͋Γ·ͨ͠ɻIncident Management For OperationsImage: https://www.oreilly.com/library/view/incident-management-for/9781491917619/ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ
68Peacetime ͷ৫ / Wartime ͷ৫1FBDFUJNFฏ࣌ϏδωεΛਐΊΔ৫ͱ8BSUJNFΠϯγσϯτରԠ࣌ͷ৫ͷߟ͑ํ͕ॻ͍ͯ͋Γ·͢ɻ IUUQTXXXQBHFSEVUZDPNCMPHQFBDFUJNFXBSUJNFEFWPQTʹಉ༷ͷ͕ࡌ͍ͬͯΔɻ͔Β͢Δͱͪ͜Β͕ݪయ͔͠Εͳ͍ɻ 1FBDFUJNFͱ8BSUJNFͷΛ͡ΔͨΊʹग़ͨ͠ʮձࣾʯͷϞσϧͰͰ͢ΠϯγσϯτϋϯυϥʔΠϯϑϥΤϯδχΞɹ ΧελϚʔαϙʔτ1FBDFUJNFͷ৫Ϟσϧ 8BSUJNFͷ৫ϞσϧܦӦɾϛυϧɾݱ / ৬Ґɾ৬ೳͰͷ֊ (*)੩తͳ৫ߏ / தɾظతͳࣄۀඪΛ༏ઌ͢ΔҙࢥܾఆΠϯγσϯτϋϯυϥʔΛච಄ʹϩʔϧͰߏςϯϙϥϦͳ৫ߏ / ෮چ = ظΛ࠷༏ઌ͢ΔҙࢥܾఆΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿϚωʔδϟʔΞϓϦέʔγϣϯΤϯδχΞސ٬࿈བྷ෦࿈བྷΦϖϨʔγϣϯϋϯυϥʔ
69ຊεϥΠυʹॻ͔Ε͍ͯΔϞσϧϓϥςΟΫε·ͰؚΊͯཏతʹʮোରԠʯΛମܥԽͨ͠ॻ੶Ͱ͢ɻຊޠͰಡΊΔͷخ͍͠Ͱ͢Ͷ(.0ϖύϘͰຊॻͷʮΠϯγσϯτϨϕϧͷΞηεϝϯτʯΛऔΓࠐΈ·ͨ͠ɻQPTUNPSUFNޙͷରԠ ΠϯγσϯτରԠ܇࿅ʹΞηεϝϯτධՁΛߦ͍·͢ɻΞηεϝϯτΛͱʹରԠϨϕϧͷධՁɺ܇࿅ܭըͷཱҊɺ;Γ͔͑Γͷࡐͱ͠·͢γεςϜোରԠͷڭՊॻΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿग़య: https://gihyo.jp/book/2020/978-4-297-11265-3
70ອըʰΞϑϩాதʱͷπΠʔτΛಡΜͰ؍ऀޮՌΛཧղ͠·͠ΐ͏Րࣄ͕ى͖͍ͯΔͷʹ୭ফंΛݺΜͰ͍ͳ͍ͱ͍͏ҰίϚͰ͢● ؍ऀޮՌΛආ͚Α͏○ ʮো ୭͔͕ରԠͯ͠ΔͩΖ͏ʯ○ ʮΞϥʔτ ͖ͬͱ୭͔ؾ͕ͭͩ͘Ζ͏ʯ○ ʜ͋ͳ͕ͨʮফंΛղܾͰ͖ΔਓʯΛʹͳΖ͏ݺͼ·͠ΐ͏৽͘͠ೖࣾ͞Εͨಉ྅͚ͷΦϯϘʔσΟϯάͰອըΛಡΜͰΒͬͯʢস͑ͳ͍͚Ͳɺস͍ͳ͕ΒΠϯγσϯτରԠͷϚΠϯυΛܒ͠·͢🔥 ୭… ফंΛݺΜͰ͍ͳ͍ͷͰ͋Δ!!!ը૾ͷग़య: @zenbutukawarete ͞ΜͷπΠʔτ https://twitter.com/zenbutukawarete/status/1097360604178767872ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ (൪֎ฤ)
71Πϯγσϯτʹཱ͔ͪ͏৫ͮ͘ΓSection 4
72Πϯγσϯτʹཱ͔ͪ͏৫࡞ΓਓػҰମ = ৫จԽ + ٕज़TTTCPUΛ௨ͯ͡ୡ͍ͨ͜͠ͱɺࣗಈԽͨ͠ΠϯγσϯτϚωδϝϯτࢧԉΛ༻͍ͯɺ͍ͪ͘αʔϏεͷةػΛΓӽ͑Δ͜ͱͰ͔͢͠͠ͳ͕ΒɺࣗಈԽͰͰ͖Δ͜ͱʹݶք͕͋Δͷ͕࣮Ͱ͢ɻ৫Ͱܧଓతͳֶशɾ܇࿅ɾܒΛଓ͚͍ͯ͘͜ͱͰΑΓɺٯڥʹڧ͍৫Λͭ͘Γ͋͛ϨδϦΤϯεΛ֫ಘͰ͖Δͱߟ͍͑·͢
73CPU͕ࢧԉͰ͖Δͷϓϩηεࢧԉʹཹ·Γ·͢ɻΠϯγσϯτͷٕज़త·ͰʮࣗಈͰղܾ͢ΔʯͷࠔͰ͢ ○ ͕ղܾ͞Εͳ͚ΕɺΠϯγσϯτ͔Β෮چͰ͖ͳ͍● ղܾٕज़ऀʹҕͶΒΕΔ (*)● ٕज़ऀΠϯγσϯτରԠͰϦʔμʔγοϓ(*) ΛͱΔΛෛ͏8BSUJNFͷ৫ϞσϧͰɺΠϯγσϯτϋϯυϥʔʹՃٕ͑ͯज़ऀϦʔμʔγοϓΛൃش͢Δ͜ͱ͕ॏཁͩͱߟ͍͑ͯ·͢ɻ࣋: ΠϯγσϯτରԠͱٕज़ऀͷϦʔμʔγοϓը૾: https://www.irasutoya.com/2018/09/blog-post_136.html1) ࣗಈͰղܾͰ͖Δ γεςϜʹ͋Β͔͡Ίઃܭɾ࣮ͯ͠ରԠ͢Δ2) ηΩϡϦςΟΠϯγσϯτ(ͷ͍͕ٙ͋Δࣄ) ͰɺΧελϚʔαϙʔτ৬͕Ϣʔβ༷ͱͷΓऔΓΛਐΊͯϦʔυ͢Δࣄྫ͋Γ·͢3) ϦʔμʔγοϓͱݴͬͯΧϦεϚੑɾӳ༤૾ΛٻΊΔͱ͍ͬͨͰͳ͍ɻʮೳಈతʹΛղܾ͠Α͏ͱΞΫγϣϯΛىͯ͜͠ଞͷਓΛͻͬͺΔʯͱ͍͏χϡΞϯεͰ͢8BSUJNFͷ৫ϞσϧΠϯγσϯτϋϯυϥʔΠϯϑϥΤϯδχΞɹ ΧελϚʔαϙʔτ ϚωʔδϟʔΞϓϦέʔγϣϯΤϯδχΞސ٬࿈བྷ෦࿈བྷΦϖϨʔγϣϯϋϯυϥʔ💪 💪ΠϯγσϯτϚωδϝϯτΛઌਓɾઐՈʹֶͿ💪
74ϦʔμʔγοϓϨδϦΤϯεͷϚΠϯυηοτ৫จԽҰேҰ༦Ͱ࡞ΒΕ·ͤΜ%FW4FD0QT$ZDMFͱใηΩϡϦςΟϚωδϝϯτซͤͯΠϯγσϯτʹඋ͑·͢● Πϯγσϯτϋϯυϥʔͷษڧձ● ΠϯγσϯτରԠ܇࿅● ηΩϡϦςΟରࡦࣨͷΦϯϘʔσΟϯά TTTCPUνϡʔτϦΞϧ● ώϠϦϋοτڞ༗ձ● 1FQBCP5FDI'SJEBZ ٕࣾज़.5(Ͱͷએ● ڴҖϞσϦϯάฏ͔࣌Βͷֶशɾ܇࿅ɾܒΠϯγσϯτʹཱ͔ͪ͏৫࡞Γ
75ΠϯγσϯτରԠ܇࿅Λఆظతʹ࣮ࢪ͍ͯ͠·͢ɻαʔϏε͝ͱʹγφϦΦΛߟ࣮͑ͯࢪ͠·͢ɻTTTCPUຊ൪ಉ༷ʹ༻͍·͢ɻΠϯγσϯτϋϯυϥʔΛ࿅श͢ΔػձʹͳΓ·͢ɻΠϯγσϯτରԠ܇࿅Πϯγσϯτʹཱ͔ͪ͏৫࡞Γ🔗 ϩϦϙοϓʹରͯ͠Πϯγσϯτ܇࿅Λߦ͍·ͨ͠ - ϖύϘςοΫϒϩά
76த్Ͱೖࣾ͞Εͨํ͚ʹɺηΩϡϦςΟରࡦࣨͰΦϯϘʔσΟϯάΛߦ͍·͢ ִ݄։࠵ηΩϡϦςΟରࡦࣨͷϛογϣϯͷઆ໌͔Β࢝·ΓɺTTTCPUͷνϡʔτϦΞϧ ࣮ࡍʹಈ͔ͯ͠Β͏Γ·͢SSS Tuesday ʙηΩϡϦςΟରࡦࣨͷΦϯϘʔσΟϯάΠϯγσϯτʹཱ͔ͪ͏৫࡞Γ4445VFTEBZɺηΩϡϦςΟΛτϐοΫͱ͢Δ4MBDLνϟϯωϧ͕TTTͰ͋Δ͜ͱͱɺ1BUDI5VFTEBZΛ໊ͬͨ͡લͰ͢
77ϖύϘͰʮΠϯγσϯτରԠϚχϡΞϧʯ ͕ଘࡏ͠·͢ɻηΩϡϦςΟରࡦ͕ࣨใηΩϡϦςΟϚωδϝϯτͷҰ؏Ͱ࡞͍ͯ͠·͢● Πϯγσϯτͷఆٛ● Πϯγσϯτൃੜ࣌ͷରԠϑϩʔ● ॳಈରԠνʔϜͷൃ● ৫֎ͷ࿈བྷϑϩʔ● FUDͦͦTTTCPU͕ຊϚχϡΞϧΛͳͧΔΑ͏ʹ࡞͞ΕͨͷͳͷͰͨࣗ͠ಈԽγεςϜΛϚχϡΞϧɾنఆɾ੍ͱ߹ੑΛอͭΑ͏ʹͯ͠ϚωδϝϯταΠυͱฒͨ͠ར༻Λࢦ͠·͢τοϓμϯͷϚωδϝϯτ: ϚχϡΞϧͷ࡞Πϯγσϯτʹཱ͔ͪ͏৫࡞Γ
78ʰγεςϜোରԠͷڭՊॻʱͷʮΠϯγσϯτରԠϨϕϧͷΞηεϝϯτʯΛϖύϘ༻ޠʹॻ͖ͨ͠ΞηεϝϯτΛ࡞͍ͬͯ·͢QPTUNPSUFNΠϯγσϯτରԠ܇࿅ͷλΠϛϯάͰΞηεϝϯτͷ࣮ࢪΛનΊ͍ͯ·͢τοϓμϯͷϚωδϝϯτ: Ξηεϝϯτͷ࡞ʰγεςϜোରԠͷڭՊॻʱ 7ষ - ৫ͷোରԠ্ͱମ੍ͮ͘ΓͷΞηεϝϯτΛجʹͨ͠ɻ༻ޠϨϕϧͰϖύϘ༻ʹվగΛೖΕͨ (ྫΠϯγσϯτίϚϯμʔ -> Πϯγσϯτϋϯυϥʔ)Πϯγσϯτʹཱ͔ͪ͏৫࡞Γ
79τοϓμϯͷϚωδϝϯτ: ධՁʹΈೖΕΔϖύϘͷΤϯδχΞ৬ͷධՁ੍ͰɺઐੑΛධՁ͢Δ࣠ͱͯ͠ɺҎԼͷࡾͭͷྗ Λܝ͍͛ͯ·͢● ࡞Γ্͛Δྗ● ઌΛݟ௨͢ྗ● ӨڹΛ͛Δྗ࣍ظͷվఆͰɺྫ֎తࣄଶͷରԠ ྫΠϯγσϯτʹରԠͰ͖Δ͜ͱΛධՁཁ݅ʹΓࠐΉ͜ͱΛܭը͍ͯ͠·͢ɻݱߦͷ੍ʹ͍ͭͯϖύϘͷΤϯδχΞͷ֤छ੍ՆϖύϘςοΫϒϩάΛࢀর͍ͯͩ͘͠͞͞Βʹ 9߲ʹࡉԽ͞ΕͨධՁ࣠ଘࡏ͢ΔɻڃʹΑͬͯద༻͕ҟͳΔΠϯγσϯτʹཱ͔ͪ͏৫࡞Γ3) ैདྷͷධՁ࣠ʹྫ֎తࣄଶͷରԠ͕Ճ͞Εͯ ઐੑͷओு͕֦࣠ு͞ΕΔͷͰ͋Δ ɻབྷతʹʮΠϯγσϯτରԠΛ͠ͳ͚ΕධՁ͕Լ͕Δʯͱଊ͑ΔͷͰͳ͍
80Ξτϓοτʹঢ՚͢Δٕज़తͳқͷߴ͔ͬͨΠϯγσϯτͰɺΛநग़ɾҰൠԽͯ͠Ξτϓοτͱ͠ɺֶͼʹঢ՚͠·͢τϥϒϧγϡʔςΟϯάΛϖύϘςοΫϒϩάͷࡐʹॻ͘ͷɺࠓͷͱ͜ΖࢲݸਓͰͷऔΓΈʹͱͲ·Γ·͢QPTUNPSUFNΛԆͨ͠ͱͯ͠ΞΫγϣϯͱͯ͠·ͬͯ͘ΕΔͱ͍͍ͳͱࢥ͍ͬͯ·͢༨ஊͰ͕͢ɺ࠷ۙத్Ͱೖࣾͯ͘͠Εͨಉ྅͔Βʮೖࣾલʹ͜ͷΤϯτϦಡΈ·ͨ͠ʯͱϑΟʔυόοΫ͕͋Γ·ͨ͠ɻخ͍͠ΤϐιʔυͰ͢Πϯγσϯτʹཱ͔ͪ͏৫࡞Γ🔗 ϖύϘςοΫϒϩά - τϥϒϧγϡʔςΟϯάͷΤϯτϦ
81վΊͯ43&ຊΛݟͯ͠ʮਓؒʯʹϑΥʔΧεͨ͠ষΛ࠶ൃݟ͠·͠ΐ͏● ষɹޮՌతͳτϥϒϧγϡʔςΟϯά● ষɹۓٸରԠ● ষɹΠϯγσϯτཧ● ষɹϙετϞʔςϜͷจԽɿࣦഊ͔Βͷֶͼ● ষɹαʔϏεোͷ(PPHMFͷΑ͏͍ߴ͍ٕज़ΛͭΤϯδχΞϦϯάνʔϜ͕ΠϯγσϯτϚωδϝϯτΛߦ͍ͬͯΔ͜ͱΛᢸ͍ͨ͠RE: SRE ͷॻ੶Πϯγσϯτʹཱ͔ͪ͏৫࡞Γ
82లͱ՝Section 5
83లͱ՝ࠓޙͷల՝TTTCPUΛ࡞͔ͬͯΒ΄Ͳܦա͍ͯ͠·͕͢ɺΓ͍ͨ͜ͱ՝༷ʑ͕͍͋ͬͯ·͢● 43&ͷऔΓΈΛࢧԉ͍ͨ͠● 4-"4-*4-0ͷܭଌʹԠ༻͢Δ● ΠϯςάϨʔγϣϯΛॆ࣮͍ͤͨ͞● 1BHFS%VUZ %BUB%PHͷ4BB4ͱ࿈ܞ● γεςϜͷϝτϦΫε 1SPNFUIFVTͱ࿈ܞ● 4MBDL6*Λͬͱ׆༻͍ͨ͠● ྫνΣοΫϦετ6*ͰϓϩηεͷਐߦΛѲͰ͖Δͱ͔● FUDޙड़͢Δ43&*ODJEFOU3FTQPOTF1MBUGPSNΛఏڙ͢Δ4BB4ग़͓ͯΓͰͲ͜·Ͱ։ൃ͢Δ͔·͍͠ͱ͜ΖͰ͢
84ւ֎ͷ SRE / Incident Response ͷ SaaS͜ͷଞʹαʔϏε͕͋Γ·ͨ͠ΒϑΟʔυόοΫΛ͍͚ͨͩΔͱ͍Ͱ͢ւ֎Ͱ43&ΠϯγσϯτରԠʹϑΥʔΧεͨ͠4BB4ొ͍ͯ͠Δhttps://rootly.io/ https://www.blameless.com/Πϯγσϯτʹؔ͢ΔϓϥοτϑΥʔϜ
851) σϞΛோΊ͚ͨͩͰɺ࣮ࡍʹৄࡉѲ͓ͯͯ͠Γ·ͤΜɻར༻͍ͯ͠Δํ͕͍Βͬ͠ΌͨΒϑΟʔυόοΫΛ͍͚ͨͩΔͱ͍Ͱ͢ւ֎ͷ SRE / Incident Response ͷ SaaS4MBDLΠϯςάϨʔγϣϯΛඋ͑ɺΠϯγσϯτରԠͷϓϩηεΛࣗಈͰࢧԉ͢Δ6*69ఏڙ͢Δhttps://rootly.io/ https://www.blameless.com/Πϯγσϯτʹؔ͢ΔϓϥοτϑΥʔϜ2)Severity ΛೖΕΔͷͲ͜࠾༻͍ͯ͠ΔϓϥΫςΟεʹͳ͍ͬͯΔɻਅࣅͨ͠Θ͚Ͱͳ͍ͷͰҰԠ
86ऴΘΓ🍵ΤϯδχΞϦϯά͔ΒϚωδϝϯτ·ͰςʔϚΛ͛ͨ(.0ϖύϘͷࣄྫͰͨ͠*5اۀͰͷΠϯγσϯτରԠʹ·ͭΘΔΛ͞ΒʹΦʔϓϯʹσΟεΧογϣϯ͍͖ͯ͠·͠ΐ͏
87Appendix96ըͷࡍʹܝࡌΛݟૹͬͨϖʔδͰ͢
88sssbot νϟϯωϧΛ࡞Δ͚ͩͷ؆ૉͳ CLI πʔϧ͔Βঃʑʹ slack app ʹ࡞ΓࠐΜͰ͍ͬͨ● ࣾͰલΓͰͬͯ͘ΕΔਓʹϑΟʔυόοΫΛΒ͏● ϖύϘͷࡏ੶͕͘ ୭ʹצॴ͕ར͍ͨͱ͍͏໘͋Δ͔ͱࢥ͏● πʔϧͷਐԽͱͱʹɺैདྷͷΓํΛঃʑʹม͍͑ͯ͘Α͏ʹΊͨ·ͨɺπʔϧͷ։ൃɾීٴͱ߹Θͤͯ ηΩϡϦςΟରࡦνʔϜͱͯ͠৴པΛ֫ಘʹΊͯ·ͨ͠● શͯͷΠϯγσϯτରԠνϟϯωϧʹ join ͢Δ○ CTO, VPoE, ηΩϡϦςΟରࡦνʔϜඞͣ invite ͞ΕΔ● ͕ࣗτϥϒϧղܾͰ͖ΔػձΛर͍ͬͯ͘ΠϯγσϯτରԠπʔϧΛҰؾʹಋೖͯͨ͠ͱ͜ΖͰɺϞσϧϓϥΫςΟεؚΊͯΊ͍͚͔ͯͨ ɺ͋Δ͍ࢲֶ͕ࣗͼಘ͍͔ͯͨɺߟ͑ͯ͠·͏ͱ͜Ζ͕͋Γ·͢ɻΠϯγσϯτࣗಈԽͷઌsssbot ։ൃ͔Βීٴ·Ͱ
࣌ؒ৫ͷӨڹސ٬ͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠൃੜʙݕࢹγεςϜͰҟৗΛଊ͑ΒΕ͍ͯͳ͍ސ٬ӨڹΛड͚͍ͯΔΠϯγσϯτରԠͷλΠϜϥΠϯൃੜ ෮چ؇ղܾ
࣌ؒ৫ͷӨڹސ٬ͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠݕɾΞϥʔτϑΣʔζ• ࢹγεςϜ͕ݕɾΞϥʔτ͕௨• Ϣʔβ͔Βͷ͓߹ΘͤͰݕ• ୲νʔϜʹΤεΧϨʔγϣϯൃੜ ෮چ؇ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ
࣌ؒ৫ͷӨڹސ٬ͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠରԠϑΣʔζͷ։࢝• ॳಈରԠνʔϜΛটू• ίϛϡχέʔγϣϯͷཱ֬ (νϟωϧ࡞)ൃੜ ෮چ؇ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ
࣌ؒ৫ͷӨڹސ٬ͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠରԠʙ෮چϑΣʔζ• ௐࠪɾ෮چ࡞ۀ͢Δ• Ϣʔβ͚ͷରԠΛͱΔ• ৫֎࿈བྷ͢Δൃੜ ෮چ؇ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ
࣌ؒ৫ͷӨڹސ٬ͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠ෮چ(؇)• ͷ੩ԽɾΞϥʔτͷऩଋ• ෮چΛએݴ͢Δ• ϢʔβରԠ (͓͍߹ΘͤɺSNSࠂ )ൃੜ ෮چ؇ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ
࣌ؒ৫ͷӨڹސ٬ͷӨڹΠϯγσϯτϚωδϝϯτࢹcΞϥʔτcରԠݕ Ξϥʔτ ରԠղܾ• postmortem ͷ࣮ࢪ• ࠶ൃࢭɾΞΫγϣϯΞΠςϜͷݕ౼/࣮ࢪ• ϨϏϡʔɾੳൃੜ ෮چ؇ղܾΠϯγσϯτରԠͷλΠϜϥΠϯ
95ΠϯγσϯτϚωδϝϯτࣗಈԽͷϙΠϯτ : ϓϥΫςΟεͷಋೖ(ิ) Brent Chapman ͞Μ“GoogleࣾͷઆతͳSRE৫ʹॴଐ͍ͯͨ͠ͱ͖ɺIncident Management at Google (IMAG)γεςϜΛߏஙɾ্ཱͪ͛ɺݱࡏશࣾతʹۓٸࣄଶཧʹ༻͞Ε͍ͯΔɻ”"ϒϨϯτ·ͨɺݩߤۭࡧٹॿύΠϩοτ͓Αͼࣄ݅ࢦشɺओཁͳܳज़͓ΑͼԻָࡇ͓ΑͼΠϕϯτͷۓٸݣ͓ΑͼݣಜऀɺͳΒͼʹίϛϡχςΟۓٸରԠνʔϜʢCERTʣͷϝϯόʔ͓ΑͼΠϯετϥΫλʔͰ͋Γ·͢ɻ”“MajordomoʢੈքதͷԿेສͷαΠτͰ༻͞Ε͍ͯΔϝʔϦϯάϦετཧιϑτΣΞʣ … ͳͲͷΦʔϓϯιʔειϑτΣΞͷ։ൃऀͰ͋Δɻݱࡏ Slack ͷΠϯγσϯτϚωδϝϯτܞΘ͍ͬͯΔΑ͏Ͱ͢ɻSlack ʹ͍ͭͯΛͨ͠ SRECon21 ͷಈը͕ 2021/10/15͚Ͱެ։͞Ε͍ͯ·͢ग़య: https://greatcircle.com/im/ग़య: https://www.youtube.com/watch?v=FYYTglQoS3w
96lγεςϜઃܭ͕ΑΓෳࡶʹͳΓɺ༷ʑͳλΠϓͷઐՈͷڠௐͱ౷߹͕ඞཁʹͳΔʹͭΕͯɺγεςϜͷಈ࡞ߦಈΛཧղ͠ɺ݁ՌΛ༧͢Δ͜ͱ·͢·͢ࠔʹͳ͖ͬͯͨzʰηʔϑΣΞʱNancye Leveson
97lࣗಈԽʹΑͬͯΦϖϨʔλͷΤϥʔͷϦεΫݮ͞ΕΔͱࢥ͏͔͠Εͳ͍͕ɺอकमཧͱ͍ͬͨۀγϑτͨ͠ΓɺΑΓߴͳࢹ੍ޚҙࢥܾఆͱγϑτ͍ͯ͠Δʹա͗ͣɺࣗಈԽʹΑͬͯγεςϜ͔Βਓ͕͍ؒͳ͘ͳΔ͜ͱͳ͍ͱ͍͏ͷ͕ਅ࣮Ͱ͋ΔzʰηʔϑΣΞʱNancye Leveson
98lઃܭऀɺγεςϜͷಛੑΛશʹཧղͰ͖ͳ͍͔ɺγεςϜ͕Քಇ͖͢ڥ݅Λશʹ༧Ͱ͖ͳ͍͜ͱ͕͋Δɻࣄ͕༧ݟͰ͖ͳ͔͔ͬͨɺෆదʹѻΘΕ͔ͨɺ·ͨઃܭऀͷΓࣺͯϨϕϧҎԼͰ͋ͬͨͨΊʹɺීஈ͕͍֬ࣄ͕ɺࣗಈԽγεςϜ͕ޚાஔΛߨ͡ͳ͍··͞ΕΔͩΖ͏zʰηʔϑΣΞʱNancye Leveson
99lΦϖϨʔλɺى͜ΓಘΔۓٸࣄଶͷࠀΛظ͞ΕΔ͚ͩͰͳ͘ɺޭ͠ͳ͍߹ͷӨڹ͕ॏେʹͳΓಘΔ߹ɺ͠͠γεςϜ͕ରԠͰ͖Δۃݶঢ়ଶͰͷհೖ͕ٻΊΒΕΔɻۓٸࣄଶʹઃܭऀ͕ఆ͠ͳ͔ͬͨঢ়گɺΦϖϨʔλͷ܇࿅ͰରॲͰ͖ͳ͍ঢ়گؚ͕·ΕΔɻzΦϖϨʔλ͠͠ۃݶঢ়ଶͰհೖͤͶͳΒͳ͍ (1)ʰηʔϑΣΞʱNancye Leveson
100lΦϖϨʔλɺঢ়گΛ͔ʹஅ͠ରԠͤͶͳΒͳ͍͚ͩͰͳ͘ɺۃͷۓுͷԼͰɺγεςϜͷঢ়ଶʹ͍ͭͯݶΒΕͨใ͔͠ͳ͍ঢ়گԼͰɺੑͱͷ࠽Λ༻͍ͯͦΕΛΒͳ͚ΕͳΒͳ͍ɻΘΕΘΕɺ൴Β͕ࣦഊͨ࣌͠ʹڻ͘ͷͰͳ͘ɺ͜͏ͨ͠ঢ়گͷԼͰɺਓ͕͖ؒ͠͠ΘΊͯ͏·͍ͬͯ͘Δ͜ͱʹڻ୰͖͢ͳͷͰ͋ΔɻzΦϖϨʔλ͠͠ۃݶঢ়ଶͰհೖͤͶͳΒͳ͍ (1)ʰηʔϑΣΞʱNancye Leveson
101ᶃΊͬͨʹى͜Βͳ͍ࣄͷ֬ΛධՁ͢Δͷ͕͍͜͠ͱᶄઌೖ؍Λ࣋ͬͯ෭࡞༻ʹ͍ͭͯߟ͑Δ͜ͱᶅۮൃࣄΛݟམͱ͕͋͢Δ͜ͱᶆγεςϜͷݶΒΕͨͷ؍͚ͩʹूதͯ͠ෳࡶ͞Λ͑Δ͕͋ΔᶇෳࡶͳؔΛѲ͢Δೳྗʹݶք͕͋Δ͜ͱࣗಈԽγεςϜʹ͓͚ΔਓؒͷඞཁੑʰηʔϑΣΞʱNancye Leveson
102lࣗಈԽʹΑͬͯΦϖϨʔλͷΤϥʔͷϦεΫݮ͞ΕΔͱࢥ͏͔͠Εͳ͍͕ɺอकमཧͱ͍ͬͨۀγϑτͨ͠ΓɺΑΓߴͳࢹ੍ޚҙࢥܾఆͱγϑτ͍ͯ͠Δʹա͗ͣɺࣗಈԽʹΑͬͯγεςϜ͔Βਓ͕͍ؒͳ͘ͳΔ͜ͱͳ͍ͱ͍͏ͷ͕ਅ࣮Ͱ͋ΔzʰηʔϑΣΞʱNancye Leveson
103lઃܭऀɺγεςϜͷಛੑΛશʹཧղͰ͖ͳ͍͔ɺγεςϜ͕Քಇ͖͢ڥ݅Λશʹ༧Ͱ͖ͳ͍͜ͱ͕͋Δɻࣄ͕༧ݟͰ͖ͳ͔͔ͬͨɺෆదʹѻΘΕ͔ͨɺ·ͨઃܭऀͷΓࣺͯϨϕϧҎԼͰ͋ͬͨͨΊʹɺීஈ͕͍֬ࣄ͕ɺࣗಈԽγεςϜ͕ޚાஔΛߨ͡ͳ͍··͞ΕΔͩΖ͏zʰηʔϑΣΞʱNancye Leveson
hiboma
linedevth
edwardkenfox
kentosuzuki
defaultcf
guchey
egmc
huffon
revcomm_inc
kawajiritakayuki
yoshiitaka
non97
hansolo21
scottboms
colly
vanstee
bermonpainter
jennybc
tenderlove
smashingmag
zakiwarfel
lauravandoore
bkeepers
paulrobertlloyd
kevinliebholz