インシデントレスポンスを自動化で支援する Slack Bot で人機一体なセキュリティ対策を実現する

1 ΠϯγσϯτϨεϙϯεΛࣗಈԽͰࢧԉ͢Δ 4MBDL#PUͰਓػҰମͳηΩϡϦςΟରࡦΛ࣮ݱ͢Δ (.0ϖύϘҏ౻༸໵ $MPVE/BUJWF%BZT5SBDL#20-18:00

2 ҏ౻༸໵͍ͱ͏ͻΖ΍ !IJCPNB ॴଐ(.0ϖύϘηΩϡϦςΟରࡦࣨ ࡏ৬೥໨ BUಢ໦ݝಹਢԘݪ ৬ҐϓϦϯγύϧΤϯδχΞ ಘҙ-JOVY௿ϨΠϠʔͷτϥϒϧγϡʔςΟϯά ϒϩάٕज़ΤϯτϦ
2 ΠϯτϩμΫγϣϯ: ൃදऀͷ঺հ https://github.com/hiboma/hiboma https://hiboma.hatenadiary.jp/

3 (.0ϖύϘηΩϡϦςΟରࡦࣨͷϛογϣϯ ΠϯτϩμΫγϣϯ:ηΩϡϦςΟରࡦࣨͷ঺հ ग़య: Co3Ͱࢧ͑ΔϖύϘͷηΩϡϦςΟରࡦ ~Communication Completely Continuous (.0ϖύϘͷηΩϡϦςΟରࡦࣨͱ͸৘ใηΩϡϦςΟجຊํ਑Λ९क͠ ͓٬༷ɺ͓औҾઌ༷ɺैۀһ͔Β༬Δ৘ใࢿ࢈Λద੾ʹѻ͑Δ
จԽܗ੒ɺٕज़త࢓૊ΈΛϦʔυ͢Δ૊৫ ΤϯδχΞϦϯάͷΞϓϩʔνͱซͤͯɺ૊৫಺ͰͷจԽͷܒ໤ʹ΋ίϛοτ͍ͯ͘͠૊৫Ͱ͢ ͜ͷεϥΠυͰ΋ਓػҰମਓͱػց͕ҰମʹͳΔ4MBDL#PUͷ࿩ͱซͤͯϚωδϝϯτʹ΋ݴٴͨ͠࿩Λ͠·͢

4 ຊฤʹઌཱͬͯ Section 0

ຊεϥΠυͰʮΠϯγσϯτʯͱ͍͏༻ޠΛ܁Γฦ͠༻͍·͢ɻ (.0ϖύϘͰ͸ʮΠϯγσϯτʯͷఆٛͷ௨Γͱ͍ͯ͠·͢ɻຊεϥΠυ΋͜Εʹ४ͨ͡ఆٛͱ͠·͢ 5 ຊฤʹઌཱͬͯ ຊεϥΠυͰͷʮΠϯγσϯτʯͷఆٛ ্هͷఆٛʹ४ͯ͡ɺओʹɺՄ༻ੑʹӨڹ͢Δࣄ৅Λʮো֐ʯͱهࡌ͠·͢ ׬શੑɾػີੑʹӨڹ͢Δࣄ৅ΛʮηΩϡϦςΟɾΠϯγσϯτ ʯͱͯ͠هࡌ͠·͢ ৘ใࢿ࢈ͷ͏ͪॏཁੑ̍ɺ̎ʹଐ͢Δ΋ͷʹ͍ͭͯɺΞΫηεݖݶ͕ͳ͍ਓ͕Ӿཡ͢Δ͜ͱ͕Ͱ͖ͨʢػີੑͷ໰୊ʣ ॏཁੑηΩϡϦςΟ৵֐͕ձࣾͷࡒ࢈ɺӦۀ౳΁ॏେͳӨڹΛٴ΅͢ɻ
ॏཁੑηΩϡϦςΟ৵֐͕ձࣾͷۀ຿ࣥߦ౳΁ॏେͳӨڹΛٴ΅͢ɻ ৘ใࢿ࢈શͯΛର৅ʹͯ͠ɺͳ͘ͳͬͯ͠·ͬͨʢ׬શੑͷ໰୊ʣ ৘ใࢿ࢈શͯΛର৅ʹվ͟Μ͞Εͯ͠·ͬͨʢ׬શੑͷ໰୊ʣ ৘ใࢿ࢈શͯΛର৅ʹɺҰ࣌తʹར༻Ͱ͖ͳ͍ঢ়ଶ͕ൃੜ͓͠٬༷ʹӨڹ͕ൃੜͨ͠ʢՄ༻ੑͷ໰୊ʣ σΟβελɾϦΧόϦ (ࡂ֐෮چ) ʹ͍ͭͯ͸ ୊ࡐͷείʔϓ͕޿͘ͳΓ͗͢ΔͨΊɺຊεϥΠυͰ͸ʮΠϯγσϯτʯʹؚΊ͍ͯ·ͤΜ

6 Πϯγσϯτ͸ආ͚ΒΕͳ͍ Section 1

7 Πϯγσϯτ͸ආ͚ΒΕͳ͍ Πϯγσϯτ͸ආ͚ΒΕͳ͍ $MPVE/BUJWFʹඪޠ͞ΕΔઌਐతͳٕज़ɾΞʔΩςΫνϟͰ࡞ΒΕͨγεςϜ͕ߴ৴པ ੑΛಘͰ͖ΔҰํͰɺґવͱ༷ͯ͠ʑͳ໰୊͕ൃੜ͠ΠϯγσϯτΛҾ͖ى͜͠·͢ l୭΋͕ࣗ෼ͷαʔϏε͕ৗʹεϜʔζʹಈ͘͜ͱΛ๬ΜͰ͍· ͕͢ɺࢲͨͪ͸ෆ׬શͳੈքʹੜ͖͍ͯΔͷͰɺো֐͕ൃੜ͢ Δ͜ͱ΋͋Γ·͢ɻ ग़య: https://sre.google/workbook/incident-response/
ͷ๯಄ΛҾ༻ɺDeepL຋༁ͨ͠

8 Πϯγσϯτ͸ආ͚ΒΕͳ͍ ༷ʑͳ໰୊ ϗετͷ໰୊ Χʔωϧͷόάɾෛՙ ϛυϧ΢ΣΞͷόάɾෛՙ ઃఆͷϛεɾෆඋ Ϋϥ΢υɾΠϯϑϥͷ໰୊ *BB4 1BB4
BB4ͷো֐ %$ɾجװωοτϫʔΫো֐ ϋʔυ΢ΣΞͷ໰୊ σΟεΫͷނো ిݯͷނো ωοτϫʔΫػثͷނো ΞϓϦέʔγϣϯͷ໰୊ ઃܭɾ࢓༷ͷෆඋ ࣮૷ͷόά ϦϦʔεͷϛε ֎෦͔Βͷ߈ܸ ෆਖ਼ͳϖΠϩʔυɺ%P4ɺϚϧ΢ΣΞ ੬ऑੑɾθϩσΠରԠ ਓؒͷ໰୊ ώϡʔϚϯΤϥʔ Φϖϛε γεςϜͷଐਓԽ ͦͷଞʹ΋ ͍Ζ͍Ζͳ໰୊Λڍ͛Δ͜ͱ͕Ͱ͖Δͱࢥ͍·͢ɻϑΟʔυόοΫ͓଴͓ͪͯ͠Γ·͢ ࣾձঢ়گͷมԽ ๏཯ɾن੍ͷΞοϓσʔτ ྙཧɾ९कҙࣝͷมԽ ࿈ܞͷ໰୊ ֎෦"1*αʔϏεͷো֐ ґଘ͢ΔγεςϜͷো֐

9 43&ʹ͓͍ͯ΋ΠϯγσϯτରԠ͸੾Γ཭ͤͳ͍ςʔϚʹͳ͍ͬͯΔ ʰ43&αΠτϥΠΞϏϦςΟΤϯδχΞϦϯάʱ • ষɹޮՌతͳτϥϒϧγϡʔςΟϯά • ষɹۓٸରԠ • ষɹΠϯγσϯτ؅ཧ •
ষɹϙετϞʔςϜͷจԽɿࣦഊ͔Βͷֶͼ • ষɹαʔϏεো֐ͷ௥੻ ʰαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʱ • ষΦϯίʔϧ • ষΠϯγσϯτରԠ ʰ#VJMEJOH4FDVSF3FMJBCMF4ZTUFNTʱ • %JTBTUFS1MBOOJOH • $SJTJT.BOBHFNFOU • 3FDPWFSZBOE"GUFSNBUI SRE ͱΠϯγσϯτରԠ Πϯγσϯτ͸ආ͚ΒΕͳ͍ ⚠ 43&ຊͷʮΠϯγσϯτʯ͸ɺ͍ΘΏΔʮো֐ʯʹൺॏΛஔ͍ͨදݱ͔΋͠Εͳ͍͕ɺຊεϥΠυͰ͸ηΩϡϦςΟΠϯγσϯτ΋ؚΉ޿͍ղऍͱͨ͠

10 ආ͚ΒΕͳ͍Πϯγσϯτʹ ཱͪ޲͔͏ Section 2

11 ૊৫ͷϨδϦΤϯεΛޠΔ = ϙδςΟϒͳൃ৴ςʔϚʹ ʙ೥ʹॻ͔Εͨʮো֐ʯʮΠϯγσϯτʯΛ୊ࡐͱͨ͠Ξ΢τϓοτΛूΊ·ͨ͠ ⚠ ໢ཏͰ͖ͣࡌ͍ͤͯͳ͍ΤϯτϦ΋ଟʑ͋Δͱࢥ͍·͕͢ɺྃ͝ঝ͍ͩ͘͞ɻʮʓʓͷࣄྫ͕ͳ͍ʯʮ˚˚΋ࡌͤͯ΄͍͠ʯ౳ͷϑΟʔυόοΫ͋Γ·ͨ͠Β!IJCPNBʹڭ͍͑ͯͩ͘͞ • Infra Study
Meetup #3 LT - Incident Response @tjun ࢯ • ʲ͍ͰΑো֐ରԠଠ࿠ʳզʑ͸ΠϯγσϯτʹͲ͏޲͖߹͍ͬͯΔͷ͔ | by yoshiken | FiNC Tech Blog | Medium • ো֐ൃੜʂશһू߹ʁ ʵ ΦϯίʔϧΞϯνύλʔϯ͔ΒͷҰาલਐ - Cybozu Inside Out | αΠϘ΢ζΤϯδχΞͷϒϩά • ॏେࣄނͷ࣌ʹͲ͏͢Δ͔ʁʛmiyasakaʛnote • ࣦഊͯ͠߈Ίଓ͚ΔͨΊʹ - freeeͷΤϯδχΞ͕ো֐ରԠͰ࣮ફ͍ͯ͠Δ͜ͱ - freee Developers Blog • SREνʔϜͷηΩϡϦςΟΠϯγσϯτήʔϜσʔ - ϝυϐΞ։ൃऀϒϩά • WebαʔϏεͷো֐ରԠͷͱ͖ͷࢥߟաఔ - ͺ͍ͺ͍ʹ͖ͬ • γεςϜো֐ͱͷ޲͖߹͍ํ @sinamon129 #tokyogirlsrb - Speaker Dec) • ࠶ൃ๷ࢭࡦΛߟ͑Δٕज़ / #phpconsen - Speaker Deck) • ো֐ରԠͱϙετϞʔςϜ - Quipper Product Team Blog • ελσΟετʹ͓͚Δো֐ରԠͷ࣮ફͱࠓޙͷల๬. #srefukuoka Ͱొஃ͖ͯ͠·ͨ͠ʂελσΟετ։ൃϒϩά | Medium • ʲอଘ൛ʳ౦ژϦʔδϣϯͷ AWS ো֐ൃੜ࣌ʹΫϥεϝιουͷςΫχΧϧαϙʔτνʔϜ͕΍͍ͬͯΔ͜ͱ | DevelopersIO • WebΞϓϦέʔγϣϯͷো֐ରԠʹ͍ͭͯվΊͯҙࣝ͢΂͖఺΍΍ΕΔͱྑ͍͜ͱΛ·ͱΊΔ - stefafafan ͷ fa ͸3ͭͰ͢ • γεςϜো֐ରԠԋशΛ࣮ࢪͨ͠࿩ʛNAVITIME_Techʛnote 43&ͷ޿͕Γͱซͤͯɺ૊৫Ͱͷো֐΍τϥϒϧରԠϨδϦΤϯεʹ͍ͭͯͷΞ΢τϓοτ͕૿͑ͨΑ͏ʹࢥ͍·͢ɻ UXJUUFS΍ιʔγϟϧϒοΫϚʔΫͰ΋ݐઃతɾ޷ҙతͳίϝϯτ͕͖ͭɺϙδςΟϒͳςʔϚͱͯ͠ಡ·Ε͍ͯΔۭؾΛײ͡·͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

12 ૊৫ͷϨδϦΤϯεΛޠΔ > ҰൠԽɾීวԽ͢Δ ઌͷΤϯτϦ܈Ͱ͸ɺٕज़ͷ֤࿦ΑΓɺϓϩηεɾίϛϡχέʔγϣϯɾ૊৫จԽʹϑΥʔΧεͨ͠಺༰͕ଟ͍ ◦ ϓϩηεͷߏ଄Խ ◦ ϚχϡΞϧ࡞Γɺϑϩʔͷࡦఆɺ໾ׂ෼୲ ◦
૊৫จԽͮ͘Γ ◦ ࣦഊΛඇ೉͠ͳ͍จԽ #MBNFMFTT ɺ;Γ͔͑ΓϙετϞʔςϜͷจԽ ◦ ίϛϡχέʔγϣϯπʔϧͷ׆༻ ◦ 4MBDLͷCPU΍8PSLGMPX׆༻ ҟͳΔࣄۀΛӦΉ*5اۀ͕ɺΑ͘ࣅͨϓϥΫςΟεɾΞϯνύλʔϯΛಋ͍͍ͯΔͷ͕ҹ৅తͰ͢ɻ ૊৫Λ௒͑ͯҰൠԽɾීวԽͯ͠ޠΓ͏Δ୊ࡐͳͷͰ͠ΐ͏ɻٯʹɺϖύϘͷ࿩͕ଞͷ૊৫ʹڹ͘ͱ͜Ζ͕͋Δ͔ͱࢥ͍·͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

13 ٕज़৬Ҏ֎ͷ৬छ΋ΠϯγσϯτରԠʹՃΘΔέʔε΋͋Γ·͢ • ΧελϚʔαϙʔτɹ • Ϛωʔδϟʔ • ๏຿෦ • औక໾
ΠϯγσϯτରԠͰ͸૊৫ͷߏ଄ͱ৬छؒΛ௒͑ͯͷίϥϘϨʔγϣϯ͕ཁٻ͞Ε·͢ ΠϯγσϯτରԠ = ૊৫ͷॎɾԣͱ৬छΛ௒͑ͨίϥϘϨʔγϣϯ (.0ϖύϘͰ͸ɺࣄۀ෦੍Λෑ͍͓ͯΓɺࣄۀ෦͝ͱʹαʔϏε͕ैଐ͠·͢ ⚠ ࢲ͸GMOϖύϘҎ֎ͷձࣾʹॴଐͨ͜͠ͱ͕ͳ͍ͨΊɺଞ༷ࣾͰ͸ͲͷΑ͏ʹରԠΛߦ͏ͷ͔ɺ஌ݟɾܦݧ͕શ͋͘Γ·ͤΜɻϑΟʔυόοΫΛ΋Β͑Δͱ޾͍Ͱ͢! ج൫ٕज़ ྫϓϥΠϕʔτΫϥ΢υ ΍αʔϏεؔ࿈ܞͰো֐͕ൃੜͨ͠৔߹͸ɺ ෦ॺɾαʔϏεؒΛԣஅͯ͠ίϛϡχέʔγϣϯΛͱΔඞཁ͕͋Γ·͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

w େྔͷ؂ࢹΞϥʔτ͕ྲྀΕͯಉ྅ͱͷνϟοτ͕͏·͍͔͘ͳ͔ͬͨ w ݪҼௐࠪʹ຅಄͠·͍ɺ؊৺ͷ෮چ࡞ۀ͕஗Εͨ w ͨͩ΅ʔͬͱಉ྅ͷ࡞ۀ νϟοτ ΛோΊ͍ͯͨ w ෮چ࡞ۀʹເதͰؔ܎ऀʹ࿈བྷ͕ޙճ͠ʹͳͬͨ
w ه࿥Λ·ͱΊΑ͏ͱ͕ͨ͠ɺϩά͕͍ΖΜͳνϟϯωϧʹࢄҳ͍ͯ͠Δ w ϚχϡΞϧ΍ϑϩʔ͕͋Δ͕ແࢹɾ๨Ε͕ͪʹ͞ΕΔ w ো֐Λಉ྅͕஌Βͳͯ͘ϔϧϓͯ͠΋Β͑ͳ͔ͬͨ ͋Δ͍͸ٯͷཱ৔ w ʜFUD 14 ۓٸ࣌ͷΦϖϨʔγϣϯ͸େม 🔥 🔔 🔥 🔥 ը૾ͷग़య: http://www.irasutoya.com/ ۓٸ࣌ͷΦϖϨʔγϣϯ͸໨ͷલͷ໰୊ͰେมͰ͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

15 lػցͱਓؒͷॏཁͳҧ͍ͷҰͭ͸ ػց͸աෛՙʹͳΔ ͱಥવఀࢭ͢Δͷʹରͯ͠ ਓؒ͸Ώͬ͘ΓͱػೳΛམ ͱ͢͜ͱͰ͋Δ͜ͷ܏޲͸ ਓ͕ؒࠁʑͱ૿େ͢Δ৘ใ ॲཧཁٻʹ௚໘ͨ͠ࡍʹݦஶͱͳΔ ग़య:ʰอकࣄނʱ δΣʔϜɾϦʔζϯ
(ஶ) P.46 ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

16 • ঢ়گɾํ๏ͷෆ࣮֬ੑ͕ߴ͍ঢ়گԼͰ࡞ۀ͢ΔϓϨογϟʔ • ࡞ۀͷർ࿑΍ۓு͔Β͘Δ਎ମɾਫ਼ਆ΁ͷετϨε • ଟ༷ͳ৬छؒίϛϡχέʔγϣϯΛ·ͱΊΔΉ͔ͣ͠͞ ਓؒʹऻ͍͔͔ΓରԠΛ๦͛·͢ɻ෮چ࡞ۀͷϛεͰೋ࣍ඃ֐΋ෆ҆Ͱ͢ɻ γεςϜΛӡ༻͢Δ૊৫ʹ͓͍ͯ͸ΠϯγσϯτରԠʹཱͪ޲͔͏ ਓؒΛࢧԉ͢Δ࢓૊Έ΍ํ๏࿦ΠϯγσϯτϚωδϝϯτ͕ඞཁͰ͢
ਓؒ΋େมͩɻΠϯγσϯτϚωδϝϯτ͕ඞཁ ͸΍͘෮چͯ͠Ϗδωε΁ͷӨڹΛ཈͍͑ͨɺͰ΋ɺਓؒʹ΋ෛՙ͕͔͔͍ͬͯΔ 😩 😫 😵 ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

17 Πϯγσϯτʹ ΤϯδχΞϦϯάͰཱͪ޲͔͏ Section 3

18 DevSecOps CycleͱΠϯγσϯτରԠ ϖύϘͰ͸ DevSecOps Cyclce ͱͯ͠։ൃαΠΫϧΛϞσϧԽ͍ͯ͠·͢ Incident Response ΋γϑτϨϑτͷର৅ʹͳΓ·͢
• Πϯγσϯτൃੜ࣌ͷϚχϡΞϧɾϑϩʔ੔උ • ΠϯγσϯτରԠϨϕϧͷΞηεϝϯτͷ࣮ࢪ • ΠϯγσϯτରԠ܇࿅ͷఆظ࣮ࢪ • ڴҖϞσϦϯά • υΩϡϝϯτ੔උ (γεςϜߏ੒ਤɺσʔλϞσϧ ) • ΠϯγσϯτϚωδϝϯτͷࢧԉΛ slack bot ͰࣗಈԽ ಉ྅Ͱ͋Δ @mrtc0 ͕ఏҊɾ࡞੒ͨ͠Ϟσϧਤ ग़య: Co3Ͱࢧ͑ΔϖύϘͷηΩϡϦςΟରࡦ ~ Communication Completely Continuous ~ GMOϖύϘ ηΩϡϦςΟରࡦࣨ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

19 sssbot ͸ϖύϘͷΠϯγσϯτϚωδϝϯτΛࢧԉ͢ΔTMBDLCPUͰ͢ ΠϯγσϯτରԠϓϩηεͷඪ४Խ w ෦ॺɾαʔϏεɾύʔτφʔʹґΒͣ౷Ұͨ͠ϓϩηεΛఏڙ͠·͢ ΠϯγσϯτରԠϚχϡΞϧͷ९क w ώϡʔϚϯΤϥʔͷ๷ࢭɺಛఆͷਓʹґڌ͠ͳ͍࠶ݱՄೳͳରԠΛ࣮ࢪ͠·͢ ΠϯγσϯτରԠͷίϛϡχέʔγϣϯࢧԉ
w ϑϩʔɾϚχϡΞϧʹ४ͨ͡ࢦࣔग़͠ɺࣾһͷ΍ΓͱΓΛϔϧϓ͠·͢ Slack bot ͰΠϯγσϯτϚωδϝϯτΛࢧԉ͢Δ ΞΠίϯ͸ಉ྅ͷ @chocolatina ࡞੒ *1) 2018೥ޙ൒͔Β CLI πʔϧͱͯ͠։ൃΛ࢝Ίͯɺঃʑʹ Slack Bot (Application ) ͱͯ͠࡞ΓࠐΜͰ͍ͬͨ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ ໊લ͸ηΩϡϦςΟΛτϐοΫͱ͢ΔTMBDLνϟϯωϧ໊͕ #sss ʹ༝དྷ͠·͢

20 ࣌ؒ ղܾ ϖύϘͷΠϯγσϯτରԠϓϩηεͷϞσϧਤ ✅ ൃੜ ݕ஌ Ξϥʔτ ରԠ 🚨
🔥 🔔 🍵 👁🗨 ෮چ ؇࿨ ରԠ࣌ͷΦϖϨʔγϣϯɾίϛϡχέʔγϣϯΛԁ׈ʹ͠ ෮چɾղܾ·ͰΛޮ཰Խ͢ΔΞΫγϣϯΛͱΔ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ

21 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯͱ sssbot
ͷࢧԉ ⌛ ⌛ ⌛ ⌛ Πϯγσϯτͷॳಈ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

22 @sssbot ʹϝϯγϣϯΛඈ͹͢ͱɺΠϯγσϯτରԠνϟϯωϧ࡞੒ͷϘλϯ͕ݱΕ·͢ 💡bot ͷݺͼग़͠͸؆ܿʹ CPUݺͼग़͠ͷίϚϯυΛΈΜͳʹ֮͑ͯ΋Β͏ͷ͸ɺେมͰ͢ɻϝϯγϣϯ͚ͩͰݺͼग़͠·͠ΐ͏ɻ બ୒ͨ͠ΠϯγσϯτͷྨܕʹΑͬͯɺϚχϡΞϧɾϑϩʔʹͷͬͱΓTTTCPU͕ࢧԉΛͯ͘͠Ε·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ https://example.com/sssbot-no-help

23 ϑΥʔϜೖྗͯ͠ରԠνϟϯωϧΛ࡞੒͠·͢ νϟϯωϧ໊ͷॳظ஋͸ sssbot ͕ೖΕͯ͘Ε·͢ 💡νϟϯωϧ໊ͷن໿ νϟϯωϧ໊ʹن໿Λઃ͚ͯࣝผͰ͖ΔΑ͏ʹ͠·͢#αʔϏε໊-YYMMDDi (ྫ: #example-20210101i) ϖύϘͰ͸ෳ਺ͷαʔϏεΛఏڙ͍ͯ͠ΔͨΊɺͦΕͧΕͰνϟϯωϧΛ࡞ΕΔن໿ͱ͠·͢
ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

24 αʔϏεΛબ୒͠ɺॳಈରԠνʔϜΛܾఆ͠·͢ɻ ॳಈରԠνʔϜ͸ΠϯγσϯτͷॳಈʹΞαΠϯ͞ΕΔάϧʔϓͰ͢ɻ෦໳ɺαʔϏε͝ͱʹฤ੒͞Ε·͢ɻ TMBDLͷϢʔβάϧʔϓ ྫ!IPHFJODJEFOUSFTQPOTF Ͱఆٛ͠·͢ɻΧελϚʔαϙʔτ΍Ϛωʔδϟʔ΋νʔϜʹೖΓ·͢ɻ 🗒 Ϣʔβάϧʔϓ͸ https://github.com/j-o-lantern0422/arisaid Λ࢖ͬͯ
YAML ʹͯ͠όʔδϣϯ؅ཧ͍ͯ͠Δ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

25 νϟϯωϧ࡞੒࣌఺Ͱ೺Ѳ͍ͯ͠Δঢ়گΛೖྗ͠·͢ 💡ॳಈରԠνʔϜʹঢ়گΛ఻͑Δ νϟϯωϧΛ࡞੒͢Δਓঢ়گΛ೺ѲͰ͖͍ͯΔਓͱ૝ఆͯ͠ɺαϚϦΛ·ͱΊͯ΋Β͍·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

26 Թ౓ײͰΠϯγσϯτͷॏେ౓ ۓٸ౓ ΛධՁ͠·͢ɻ 💡 Թ౓ײͰʮΈΜͳʯʹʮ΍͹͞ʯΛ఻͑Δ νϟϯωϧ࡞੒ऀ͕Πϯγσϯτͷॏେ͞ɾۓٸ౓Λ͚ͭ·͢ɻ௚ײʹ೚ͤͨධՁͰΑ͘ɺਖ਼֬͞͸ॏࢹ͠·ͤΜɻ Ϛωʔδϟʔ΍ΧελϚʔαϙʔτͳͲɺٕज़͕Α͘෼͔Βͳ͍ಉ྅΁ͷ఻ୡखஈͰ΋͋Γ·͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

27 ϑΥʔϜೖྗޙɺνϟϯωϧΛηοτΞοϓ͠·͢ νϟϯωϧ໊ ྫ) #example-20210101i Թ౓ײ΍αϚϦΛ νϟϯωϧͷτϐοΫʹઃఆ͢Δ αϚϦ΍Թ౓ײΛτοϓʹ௨஌͢Δ 💡 ҰՕॴʹه࿥ͱରԠΛू໿
ΠϯγσϯτνϟϯωϧʹରԠͱه࿥Λू໿͠·͠ΐ͏ɻਐߦ͕ෳ਺νϟϯωϧʹ֦ࢄ͢ΔͷΛආ͚ɺҰݩԽ͠·͢ɻ Ξϥʔτ͕େྔʹྲྀΕΔνϟϯωϧ΍ɺεϨουͷਐߦ͸Ξϯνύλʔϯͱ ͍ͯ͠·͢ ⚠ ΞϥʔτͰରԠϩά΍εϨου͕ྲྀΕͯ͠·͏ɺεϨου಺ʹεϨου͕࡞Εͳ͍ɺεϨουͷݕࡧ͕൥ࡶɺτϐοΫ౳ͷϝλσʔλΛ࢖͑ͳ͍౳ʑͷཧ༝Ͱ͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

ΠϯγσϯτΛએݴɾ޿ใ͢Δ 28 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯͱ
sssbot ͷࢧԉ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ 📣

29 νϟϯωϧ࡞੒ޙɺΠϯγσϯτͷൃੜΛએݴ͠·͢ 💡 ΠϯγσϯτΛએݴ͢Δ ʮେ੠ʯΛ͋͛ͯΈΜͳʹΠϯγσϯτͷൃੜΛೝࣝͯ͠΋Β͍·͢ɻ 4MBDLͷνϟϯωϧ࡞੒͸҉໧తͰؾ͕෇͖ʹ͍͘ͷΛղܾ͢Δ6*69ͱߟ͍͑ͯ·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

30 Πϯγσϯτͷએݴ͸ෳ਺ͷνϟϯωϧʹϒϩʔυΩϟετ͞Ε·͢ 💡૊৫ߏ଄ (νϟϯωϧ) Λԣஅͯ͠એݴ͢Δ ϖύϘͷTMBDLνϟϯωϧ͸ ࣄۀ෦ɾαʔϏεɾ৬छ ୯ҐͰ෼͔Ε͍ͯ·͢ɻ ։ൃऀνϟϯωϧɺϚωʔδϟʔνϟϯωϧɺΧελϚʔαϙʔτνϟϯωϧʹ௨஌Λग़͠·͢ɻ CPUͷϚϧνϙετ͸গʑ͏Δ͍͞Ͱ͕͢ɺස౓ͷগͳ͍௨஌Ͱ͢͠ɺؾ͕͔ͭͳ͍ΑΓͣͬͱΑ͍͜ͱͰ͠ΐ͏

31 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot
ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ ॳಈରԠνʔϜΛݺͼग़͢

32 ΠϯγσϯτରԠνϟϯωϧʹॳಈରԠνʔϜΛJOWJUF͠·͢ 💡 ඞͣݺͿਓ΋ bot ʹ೚ͤΔ Πϯγσϯτͷॳಈʹ͸͍ΔνʔϜΛTTTCPU͕ࣗಈͰݺͼग़͠·͢ɻ $50 71P& ηΩϡϦςΟରࡦࣨ΋ݺͼग़ͯ͠ॏେͳΠϯγσϯτͷݟಀ͠Λ๷͗·͢ɻ
ͨ͘͞ΜͷʮਓΛݺͼग़͢ʯͷ͸໘౗Ͱ৺ཧతোนͷߴ͍࡞ۀͰ͢ɻCPUʹ೚ͤͯ͠·͍·͠ΐ͏ɻ ॳಈରԠνʔϜΛ invite ͢Δ CTO ΍ VPoE ౳ʑ΋ invite ͢Δ CTO foobar foobar ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ #example-20210101i #example-20210101i @example-incident-response

ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ ❓ ❓ ❓ ঢ়گΛಉظ͢Δ

34 νϟϯωϧ࡞੒ऀʹϝϯγϣϯΛඈ͹͠ʮ͍·͍·ͷঢ়گʯΛॻ͘Α͏ʹଅ͠·͢ɻ 💡 ·ͣ͸ঢ়گΛ఻͑ͯɺΈΜͳͰ଍ฒΈΛἧ͑Δ ಥ೗ɺνϟϯωϧʹݺͼग़͞ΕΔॳಈରԠνʔϜ͸ɺͦ΋ͦ΋Կ͕ى͖ͨͷ͔͢Β೺Ѳ͍ͯ͠ͳ͍ਓ΋͍·͢ɻ νϟϯωϧΛ࡞੒ͨ͠ਓΛɺॳಈͷ࣌఺Ͱঢ়گΛཧղ͍ͯ͠Δਓͱ૝ఆͯ͠ɺCPU͔Βঢ়گઆ໌Λଅ͠·͢ɻ 💡 ආ͚͍ͨΞϯνύλʔϯ ʮνϟϯωϧ࡞੒ऀ͕ɺঢ়گΛઆ໌ͤͣʹ෮چ࡞ۀʹ͸͍ΓɺपғΛஔ͍͖ͯ΅Γʹ͢Δʯ ʮٕज़৬͸αϚϦΛಡΜͰঢ়گΛཧղ͕ͨ͠ɺΧελϚʔαϙʔτ΍ϚωʔδϟʔΒ͸༻ޠ͕෼͔ΒͣཧղͰ͖͍ͯͳ͍ʯ

ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ ϋϯυϥʔΛืΔ

36 💡 ϋϯυϥʔΛͨͯͯରԠ͢Δ ϖύϘͰ͸ Πϯγσϯτϋϯυϥʔ(≒ΠϯγσϯτίϚϯμʔ) ΛͨͯͯਐߦΛҕͶ·͢ɻ ϋϯυϥʔʹίϛϡχέʔγϣϯΛҾಋ͢ΔϦʔμʔγοϓΛൃشͯ͠΋Β͍·͢ νϟϯωϧ࡞੒ޙ͔Β਺෼͢ΔͱTTTCPU͕ΠϯγσϯτϋϯυϥʔͷܾఆΛଅ͠·͢ ϋϯυϥʔʹ ࢦࣔग़͠Λߦ͍·͢
ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ https://example.com/slack/p1634721688039800

ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ λΠϜϚωʔδϝϯτ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

38 ෼͝ͱʹλΠϜΩʔύʔ͕ىಈͯ͠ܦա࣌ؒΛ஌Βͤ·͢ 💡࣌ݶͷΠϕϯτͰհೖ͢Δ Πϯγσϯτ͕ରԠਂࠁԽɾ௕ظԽ͢Δͱɺർ࿑΍ϓϨογϟʔ΋ॏͳΓ࣌ؒΛࣦ೦͕ͪ͠Ͱ͢ɻ ఆظతͳঢ়گ൑அɾҙࢥܾఆΛଅͨ͢ΊʹɺλΠϜΩʔύʔ͕հೖ͠ɺ࣌ؒΛ఻͑·͢ɻ 💡 15෼ͳͷ͸Կނ͔? ʮো֐৘ใͷܝࡌɺ֎෦૊৫΁ͷఆظ࿈བྷΛߦ͏ࡍʹ෼Λ۠੾Γʹͯ͠ ΞΫγϣϯΛͱΔ͜ͱ͕ଟ͘෼पظͰௐ੔ͷΞΫγϣϯΛͱΔͱͪΐ͏Ͳ͍͍ʯͱɺࣾ಺ϑΟʔυόοΫΛड͚ͨઃఆͰ͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

39 λΠϜΩʔύʔ͸ίϚϯυ࣮ߦͷ6*Λඋ͑·͢ 💡 ίϚϯυϨεͰݺͼग़ͤΔ λΠϜΩʔύʔʹίϚϯυ࣮ߦͷμογϡϘʔυ6*Λ΋͍ͨͤͯ·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

40 ࣄ৅Ϩϕϧ Λܾఆ͢ΔͱɺTTTCPU͸ϨϕϧʹԠͨ͡ϚχϡΞϧΛࢦࣔ͠·͢ɻ 💡ఆܕͷࢦࣔग़͠͸ bot ʹݴΘͤΔ ϚχϡΞϧʹԊͬͨࢦࣔग़͠͸ɺਓ͕ؒߦ͏ͱ൥Θ͍͠΋ͷͰ͢ɻϘοτʹ೚ͤͯ͠·͍·͠ΐ͏ɻ ๨Ε͕ͪͳλεΫ΋ϘοτʹϦϚΠϯυͯ͠΋Β͍·͠ΐ͏ɻ ϋϯυϥʔʹ ࢦࣔग़͠Λ͠·͢
஫ (.0ϖύϘͷΠϯγσϯτରԠϚχϡΞϧʹͯΠϯγσϯτͷن໛ʹԠͨ͡ࣄ৅ϨϕϧΛ෇͚Δ͜ͱ͕ఆΊΒΕ͍ͯΔ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

41 ࣄ৅Ϩϕϧͷܾఆ΋ෳ਺νϟϯωϧʹϒϩʔυΩϟετ͠·͢ 💡 ใࠂΛ bot ʹ೚ͤΔ ։ൃऀνϟϯωϧɺΧελϚαϙʔτνϟϯωϧͳͲʹϚϧνϙετ͢Δ࡞ۀΛCPUʹ೚ͤ·͢ɻ ϚωʔδϟʔɾϦʔμʔɾऔక໾͕͍ΔQSJWBUFνϟϯωϧʹ΋௨஌͕ඈͼ·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

42 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ ⌛
⌛ ⌛ ⌛ ෮چ(؇࿨) Λએݴ͢Δ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

43 Πϯγσϯτ͔Β෮چ ؇࿨ ͨ͠ΒએݴΛϒϩʔυΩϟετ͠·͢ 💡 ෮چͷએݴΛग़͠ɺରԠͷ༏ઌ౓ΛԼ͛Δ ΠϯγσϯτରԠ͸ඇৗʹߴ͍༏ઌ౓ͰׂΓࠐΉλεΫͱΈͳͤ·͢ɻ ରԠ͕ͻͱஈམͨ͠Β෮چΛએݴͯ͠ɺରԠͷ༏ઌ౓ΛԼ͛·͠ΐ͏ɻ ·ͨɺએݴΛϒϩʔυΩϟετ͢Δ͜ͱͰʮνϟϯωϧ಺ͷਓ͚͕ؒͩ෮چΛೝ͍ࣝͯͨ͠ʯͱ͍͏ΞϯνύλʔϯΛආ͚·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

44 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ ⌛
⌛ ⌛ ⌛ ࣍ͷΞΫγϣϯʹܨ͛Δ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

45 TTTCPU͸ϙετϞʔςϜͷ࡞੒΋ࢧԉ͠·͢ɻ1VMM3FRVFTU΋ࣗಈ࡞੒Ͱ͖·͢ɻ 💡 υΩϡϝϯτͷςϯϓϨʔτΛ PR ͢Δ TTTCPU͕ه࿥ͨ͠αʔϏε໊ɺαϚϦɺΠϕϯτൃੜͷ࣌ࠁΛຒΊಘͨNBSLEPXOͷςϯϓϨʔτΛ13͠·͢ ϙετϞʔςϜ ͷQVMMSFRVFTUΛ࡞੒͠ɺ;Γ͔͑ΓɾࠜຊݪҼ෼ੳɾ࠶ൃ๷ࢭͷݕ౼ɾ࣮ࢪ΁ͱͭͳ͛·͢ɻ
ϙετϞʔςϜͷϑΥʔϚοτ͸ʰSRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯάʱΛϕʔεʹ͍ͯ͠·͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ postmoreten ͷ࡞੒͸ͦͦ͜͜ͷෛ୲ʹͳΓ·͢ɻܰඍͳো֐Ͱ͸ postmortem ͷ࡞੒Λল͘ͷ΋Α͍ͱࢥ͍·͢ ( SLI/SLO ౳΋Ճຯͯ͠ධՁ͢Δ) example.com/postmoretem/1

46 νϟϯωϧΛಈతʹ࡞ΔͷͰQPTUNPSUFNϦϙδτϦ͔ΒΠϯγσϯτνϟϯωϧʹXFCIPPL௨஌͢Δʹ͸޻෉͕ඞཁͰ͢ JTTVF13λΠτϧʹνϟϯωϧ໊Λॻ͘ͱ೚ҙͷνϟϯωϧʹ௨஌Ͱ͖ΔΞϓϦΛ࡞ͬͯղܾ͍ͯ͠·͢ QPTUNPSUFNͷ1VMM3FRVFTUʹ͍ͭͨϨϏϡʔɾίϝϯτ΋Πϯγσϯτνϟϯωϧʹ௨஌ͯ͠ ࣄޙରԠͷίϛϡχέʔγϣϯ΋νϟϯωϧʹू໿͠·͢ webhook redireoct #example-20210101i λΠτϧ: #example-20210101i
ϦμΠϨΫτ #example- w HJUQVTIͰ͸CSBODI໊͔Βνϟϯωϧ໊Λ൑ఆͯ͠ϦμΠϨΫτ͢Δ PSJHJOBFYBNQMFJ w (JU)VCͷ௨஌ΛϦμΠϨΫτ͢ΔͷͰSFEJSFDU PDUPQVTSFEJSFPDUͰ͢ɻ4JOBUSBͰ࡞Γ·ͨ͠ɻ

ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ղܾʢ׬ྃ) Λએݴ͢Δ ⌛

48 QPTUNPSUFN΍࠶ൃ๷ࢭͷ׬ྃޙ͸ɺରԠνϟϯωϧΛBSDIJWFͯ͠ɺղܾ ׬ྃ ͷએݴΛϒϩʔυΩϟετ͠·͢ 💡શͯͷ࡞ۀΛऴ͑ͨΒɺએݴ͢Δ ෮چޙͷ࢒࡞ۀ͸௕ظԽ͠΍͘͢ɺ͕࣌ؒܦաͯ͠Πϯγσϯτͷଘࡏ͔Β๨ΕΒΕ͕ͪʹͳΓ·͢ɻ ࠷ޙ·Ͱ࡞ۀͯ͘͠Εͨਓʹ͓ർΕ༷ͷ੠΋͔͚ͯ͋͛·͠ΐ͏ #example-20210101i #example- #example-20210101i

49 ΠϯγσϯτͷղܾνϟϯωϧΛBSDIJWF͢Δ·ͰΛޙԡ͢͠ΔϦϚΠϯυػೳ΋࣮૷͍ͯ͠·͢ νϟϯωϧͷϝοηʔδ͕Ұϲ్݄ؒઈ͍͑ͯͨΒϦϚΠϯυΛೖΕΔΑ͏ʹ͍ͯ͠·͢ 💡ղܾ = νϟϯωϧͷΞʔΧΠϒ·ͰΛਪ͠ਐΊΔ ΠϯγσϯτʹΑͬͯ͸࢒࡞ۀͰɺ਺ϲ݄Λཁͯ͠௕ظԽ͢Δέʔε͕͋ΓɺϑΥϩʔ͠·͢ ୯ʹɺνϟϯωϧͷBSDIJWFΛ๨Ε͍ͯΔ͚ͩͳΒBSDIJWF͢ΔΑ͏ʹଅ͠·͢ foo bar

ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ه࿥ͱ෼ੳ ⌛

51 Πϯγσϯτൃੜ࣌ʹࣗಈͰJTTVFΛ࡞੒͠ɺΠϯγσϯτͷه࿥Λͱ͍ͬͯ·͢ 4MBDLͷݕࡧ6*ͰΠϯγσϯτରԠνϟϯωϧΛ૎Γ೺Ѳ͢Δͷ͸গʑ൥ࡶͰ͢ɻ (JU)VC&OUFSQSJTFͷJTTVFʹετοΫܕͷσʔλͱͯ͠࢒ͯ͠ɺࢀর͠΍͘͢͠·͢ɻ αʔϏε໊ɺࣄ৅ϨϕϧɺΠϯγσϯτͷྨܕͰϥϕϧΛ෇͚ͯɺ෼ྨ΋ࣗಈԽ͍ͯ͠·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

52 TTTCPUͷه࿥Λ෼ੳɾՄࢹԽʹ༻͍Δ͜ͱ͕Ͱ͖·͢ ରԠʙ෮چ ౳ʹཁͨ࣌ؒ͠ΛՄࢹԽͨ͠ྫͰ͢ 'PVSLFZTͷαʔϏε෮ݩ࣌ؒʹ૬౰͢Δ ΠϯγσϯτͷϨϕϧԹ౓ײ΍ɺରԠͨ͠ਓһ νϟοτྔ ͳͲ֤छϝλσʔλΛ࠾औͯ͠͞ΒʹԠ༻͕Ͱ͖ͦ͏Ͱ͢Ͷ μογϡϘʔυ͸ฐࣾͷσʔλج൫νʔϜ͕࣮૷ͯ͘͠Ε·ͨ͠ ࢀߟ:
ΤϦʔτ DevOps νʔϜͰ͋Δ͜ͱΛ Four Keys ϓϩδΣΫτͰ֬ೝ͢Δ | Google Cloud Blog #example-2022010 ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

53 ΠϯγσϯτϚωδϝϯτΛ ઌਓɾઐ໳ՈʹֶͿ Section 3

54 ΠϯγσϯτͷࡍʹʮΑ͍ʯߦಈΛͱΕΔΑ͏ɺઌਓɾઐ໳Ո͔ΒϞσϧɾϓϥΫςΟεΛֶͼऔΓ·͠ΐ͏ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ϞσϧɾϓϥΫςΟεΛಋೖ͢Δ ઌʹ঺հͨ͠TTTCPU͸ɺ͜ΕΒͷϞσϧ΍ϓϥΫςΟεΛେ͍ʹࢀߟʹ͍ͯ͠·͢ ࣗಈԽʹར༻ͤͣͱ΋ɺಉ྅ͱͷֶश୊ࡐͱͯ͠΋සൟʹҾ༻ɾࢀর͍ͯ͠·͢ 🤔 ???

55 ফ๷ୂ͔ΒֶΜͩ஌ݟΛ*5ΠϯγσϯτʹԠ༻͢Δ͜ͱקΊ͍ͯΔϓϥΫςΟεू • ΠϯγσϯτίϚϯυγεςϜͷಋೖ • ฏৗ࣌ͱۓٸ࣌ͷΦϖϨʔγϣϯΛ෼͚ͯଊ͑Δ • lઐ༻ͷνϟϯωϧΛ࡞Δ • λΠϜϥΠϯϞσϧ
• l܇࿅ɺ܇࿅ɺ܇࿅ɺ͞Βʹɺ܇࿅z • ʜFUD ͙͢ʹ΋׆༻Ͱ͖ΔUJQT͔ΒϚωδϝϯτ΍૊৫จԽʹ΋ݴٴ͢Δॆ࣮ͨ͠಺༰Ͱ͢ ϖʔδ΋͋Γཁ໿ͯ͠঺հ͖͠Εͳ͍ͷͰ͍͔ͭ͘ϐοΫΞοϓͯ͠Έ·͢ ʰIncident Command for ITʱ by Brent Chapman (*) ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf

56 • ฏ࣌ͱ͸ผͷΠϯγσϯτઐ༻νϟϯωϧΛͭ͘Δ • νϟϯωϧ໊Λઆ໌తʹ͢Δ • ঢ়گ΍εςʔλευΩϡϝϯτ΁ͷϦϯΫΛషΔ ղܾ͢ΔΞϯνύλʔϯ • Ξϥʔτ͕ҲΕΔνϟϯωϧͰରԠΛਐΊͯ͠·͏
• ͲͷνϟϯωϧͰରԠͯ͠Δͷ͔෼͔Βͳ͍͜ͱ͕͋Δ • ରԠͷه࿥͕ࢄҳͯ͠͠·͏͜ͱ͕͋Δ ࣗಈԽͱ΋૬ੑ͕͍͍ϓϥΫςΟεͰ͢ "ઐ༻ͷνϟϯωϧΛͭ͘Δ" ΠϯγσϯτରԠઐ༻ͷνϟϯωϧΛ࡞Δ͜ͱΛઆ͍͍ͯ·͢ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf

57 • ਓؒͷϝϯλϧϞσϧʹ͢Δ • ࣗಈԽͷઃܭ࣮૷ͷϞσϧʹ͢Δ ར༻ͷྫ • ૊৫಺Ͱ༻ޠɾ֓೦ͷ౷Ұ ◦ ྫʮ"MFSUʙ3FTQPOEͷ͕࣌ؒϘτϧωοΫ͔ͩΒվળ͠Α͏ʯ
• ࣗಈԽʹ͔ͭ͏ͱϢϏΩλεݴޠ "λΠϜϥΠϯ"ͷϞσϧΛಋೖ͢Δ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf ઌͷ1%'ʹܝࡌ͞Ε͍ͯΔλΠϜϥΠϯͷϞσϧͰ͢ɻ ΠϯγσϯτͷϓϩηεΛߏ଄Խ͢Δͷʹ໾ཱͪ·͢ɻ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

59 ࣌ؒ ૊৫΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ൃੜ ݕ஌ Ξϥʔτ ରԠ
෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ : ϖύϘ຋༁൛ ⚠ ϖύϘͰ͸Մ༻ੑɾ׬શੑɾػີੑΛճ෮ͨ࣌͠ʹʮ෮چʯͱݺͿਓ͕ଟ͍ͷͰ؇࿨ͷ୅ΘΓʹ༻͍͍ͯΔ

60 Πϯγσϯτ؅ཧʹΑͬͯ εύϯͷ࣌ؒ୹ॖ͕ॏཁͩͱ λΠϜϥΠϯϞσϧͰઆ͍͍ͯΔ

61 ࣌ؒ ૊৫΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτc ൃੜ ݕ஌ Ξϥʔτ ରԠ
෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ ෮چ ղܾ Time is Money 💰 ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ

62 ࣌ؒ ձࣾ΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ൃੜ ݕ஌ Ξϥʔτ ରԠ
sssbot ͸ΠϕϯτυϦϒϯΞϓϦέʔγϣϯ ⌛ ⌛ ⌛ ⌛ ૊৫΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ෮چ ؇࿨ ղܾ BSDIJWF ⌛ λΠϜΩʔύʔͷΠϕϯτ

63 λΠϜϥΠϯͷϞσϧ͸ʰ4FFLJOH43&ʱʹ΋ࡌ͍ͬͯ·͢ Seeking SRE ͷλΠϜϥΠϯϞσϧ ग़య: https://learning.oreilly.com/library/view/seeking-sre/9781491978856/ch04.html ઌͷϞσϧͱ༻ޠͷҧ͍͸͋Γ·͕͢ɺϑΣʔζͷ۠੾Γํ͸Α͘ࣅ͍ͯ·͢ɻ ૊৫Ͱͷ΍Γ͔ͨ΍ࣗಈԽʹΑ͘Ϛον͢ΔϞσϧΛબ୒͢ΔͱΑ͍Ͱ͠ΐ͏ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

64 ΠϯγσϯτͰ͋Δ͜ͱΛ໌֬ʹએݴ͢Δͱ͍͏ϓϥΫςΟεͰ͢ • ةػΛએݴ͠ɺରԠͷ༏ઌ౓Λ্͛Δ • ฏ࣌ͱۓٸ࣌Λ໌֬ʹ෼͚Δ • ةػ͕ա͗ͨ͜ͱ΋એݴ͠ɺ༏ઌ౓ΛԼ͛Δ ղܾ͢Δ঱ঢ় •
ಉ྅͕Πϯγσϯτͷൃੜɾ෮چΛೝ஌͍ͯ͠ͳ͍ • ෮چͨ͠ͷ͔Ͳ͏͔෼͔ΒͣରԠͷ༏ઌ౓͕ᐆດʹͳΔ CPUͷ௨஌Ͱ࣮૷Ͱ͖ΔϓϥΫςΟεͰ͢ "ةػΛએݴ͢Δ" ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf

65 1BHFS%VUZࣾͷΠϯγσϯτϨεϙϯεͷυΩϡϝϯτͰ͢ ରԠશൠͷ࿩ɺτϨʔχϯάɺϙετϞʔςϜɺϓϥΫςΟε΍ΞϯνύλʔϯͳͲ 1BHFS%VUZࣾͰഓΘΕͨϓϥΫςΟε͕੝Γ୔ࢁͷυΩϡϝϯτͰ͢ɻ ຊυΩϡϝϯτΛࢀߟʹ͍ͯ͠Δهࣄ͸ɺ֤ॴͰݟ͔͚·͢ɻ TMBDLίϚϯυͰରԠνʔϜΛݺͼग़͢΍Γํ΋ॻ͍ͯ͋Γ·͢ ༗ࢤͷํ͕๜༁Λग़ͯͩͬͨ͘͠͞ͷͰνʔϜͰͷಡΈ߹Θͤʹ΋Α͍ςΩετͰ͢Ͷ PagerDuty Incident Responseͷ๜༁൛Λެ։͠·ͨ͠
- Folioscope PagerDuty Incident Response ग़య: https://response.pagerduty.com, ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

66 վΊͯ঺հ͢Δ·Ͱ΋ͳ͍Ͱ͕͢ɺΈΜͳͰಡΜͰ͓͖͍ͨॻ੶Ͱ͢Ͷɻ ຊॻΛݺΜͰΠϯγσϯτରԠΛݟ௚ͨ͠ɺ;Γ͔͑Γ΍QPTUNPSUFNΛ࢝Ίͨ ͱ͍͏૊৫͸ଟ͍ͷͰ͸ͳ͍Ͱ͠ΐ͏͔ɻ ϖύϘͰ͸೥݄͝Ζ͔ΒQPTUNPSUFNͷऔΓ૊ΈΛ࢝Ί·ͨ͠ɻ ຊॻΛࢀߟʹͯ͠QPTUNPSUFNͷςϯϓϨʔτΛ࡞ΓɺNBSLEPXOԽ͍ͯ͠·͢ɻ ޙʹɺTTTCPUͰࣗಈͰQPTUNPSUFN ͷԼॻ͖ Λ࡞ΕΔΑ͏͠·ͨ͠ SRE
αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά ग़య: https://www.oreilly.co.jp/books/9784873117911/ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

67 ݩফ๷͕࢜ࡂ֐ͷݱ৔Ͱഓͬͨܦݧɾํ๏࿦Λ*5ΠϯγσϯτϚωδϝϯτ΁ಋೖΛઆ͘ॻ੶ • ૊৫ͷΠϯγσϯτରԠΛΞηεϝϯτ͢Δ࣭໰ू • 1FBDFUJNF8BSUJNFͷ૊৫ߏ଄ • *ODJEFOU$PNNBOE4ZTUFNͷԠ༻ • ΠϯγσϯτରԠΛεέʔϧͤ͞Δํ๏
• 4FSWFSJUZΛΠϯγσϯτͷࢦඪͱ͢Δ • ʜFUD TTTCPUͰ͸4FSWFSJUZʮԹ౓ײʯͱͯ͠6*69ʹऔΓࠐΈ·ͨ͠ɻ ਓ໋ٹॿʹܞΘ͍ͬͯΔํͳͷͰʮQPTUNPSUFNʯͰͳ͘ʮ"GUFS"DUJPO3FWJFXʯͱݺͿ͜ͱΛ קΊΔͩ͘ΓͰ΋ϋͬͱؾ͕෇͖͕͋Γ·ͨ͠ɻ Incident Management For Operations Image: https://www.oreilly.com/library/view/incident-management-for/9781491917619/ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

68 Peacetime ͷ૊৫ / Wartime ͷ૊৫ 1FBDFUJNFฏ࣌ϏδωεΛਐΊΔ૊৫ͱ 8BSUJNFΠϯγσϯτରԠ࣌ͷ૊৫ͷߟ͑ํ͕ॻ͍ͯ͋Γ·͢ɻ IUUQTXXXQBHFSEVUZDPNCMPHQFBDFUJNFXBSUJNFEFWPQTʹ΋ಉ༷ͷ࿩͕ࡌ͍ͬͯΔɻ೔෇͔Β͢Δͱͪ͜Β͕ݪయ͔΋͠Εͳ͍ɻ
1FBDFUJNFͱ8BSUJNFͷ࿩Λ࿦͡ΔͨΊʹग़ͨ͠ʮձࣾʯͷϞσϧͰͰ͢ Πϯγσϯτϋϯυϥʔ ΠϯϑϥΤϯδχΞ ɹ ΧελϚʔαϙʔτ 1FBDFUJNFͷ૊৫Ϟσϧ 8BSUJNFͷ૊৫Ϟσϧ ܦӦ૚ɾϛυϧɾݱ৔ / ৬Ґɾ৬ೳͰͷ֊૚ (*) ੩తͳ૊৫ߏ଄ / தɾ௕ظతͳࣄۀ໨ඪΛ༏ઌ͢Δҙࢥܾఆ ΠϯγσϯτϋϯυϥʔΛච಄ʹϩʔϧͰߏ੒ ςϯϙϥϦͳ૊৫ߏ଄ / ෮چ = ௒୹ظΛ࠷༏ઌ͢Δҙࢥܾఆ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ Ϛωʔδϟʔ ΞϓϦέʔγϣϯΤϯδχΞ ސ٬࿈བྷ ෦಺࿈བྷ ΦϖϨʔγϣϯ ϋϯυϥʔ

69 ຊεϥΠυʹ΋ॻ͔Ε͍ͯΔϞσϧ΍ϓϥςΟΫε·Ͱ΋ؚΊͯ໢ཏతʹʮো֐ରԠʯ ΛମܥԽͨ͠ॻ੶Ͱ͢ɻ೔ຊޠͰಡΊΔͷ΋خ͍͠Ͱ͢Ͷ (.0ϖύϘͰ͸ຊॻͷʮΠϯγσϯτϨϕϧͷΞηεϝϯτʯΛऔΓࠐΈ·ͨ͠ɻ QPTUNPSUFNޙͷରԠ ΠϯγσϯτରԠ܇࿅ʹΞηεϝϯτධՁΛߦ͍·͢ɻ ΞηεϝϯτΛ΋ͱʹରԠϨϕϧͷධՁ΍ɺ܇࿅ܭըͷཱҊɺ;Γ͔͑Γͷ୊ࡐͱ͠·͢ γεςϜো֐ରԠͷڭՊॻ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య:
https://gihyo.jp/book/2020/978-4-297-11265-3

70 ອըʰΞϑϩాதʱͷπΠʔτΛಡΜͰ๣؍ऀޮՌΛཧղ͠·͠ΐ͏ Րࣄ͕ى͖͍ͯΔͷʹ୭΋ফ๷ंΛݺΜͰ͍ͳ͍ͱ͍͏ҰίϚͰ͢ • ๣؍ऀޮՌΛආ͚Α͏ ◦ ʮো֐ ୭͔͕ରԠͯ͠ΔͩΖ͏ʯ ◦ ʮΞϥʔτ
͖ͬͱ୭͔ؾ͕ͭͩ͘Ζ͏ʯ ◦ ʜ ͋ͳ͕ͨʮফ๷ं໰୊ΛղܾͰ͖ΔਓʯΛʹͳΖ͏ݺͼ·͠ΐ͏ ৽͘͠ೖࣾ͞Εͨಉ྅޲͚ͷΦϯϘʔσΟϯάͰອըΛಡΜͰ΋Βͬͯ ʢস͑ͳ͍͚Ͳɺস͍ͳ͕Β ΠϯγσϯτରԠͷϚΠϯυΛܒ໤͠·͢ 🔥 ୭΋… ফ๷ंΛݺΜͰ͍ͳ͍ͷͰ͋Δ!!! ը૾ͷग़య: @zenbutukawarete ͞ΜͷπΠʔτ https://twitter.com/zenbutukawarete/status/1097360604178767872 ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ (൪֎ฤ)

71 Πϯγσϯτʹ ཱͪ޲͔͏૊৫ͮ͘Γ Section 4

72 Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ ਓػҰମ = ૊৫จԽ + ٕज़ TTTCPUΛ௨ͯ͡ୡ੒͍ͨ͜͠ͱ͸ɺࣗಈԽͨ͠ΠϯγσϯτϚωδϝϯτࢧԉΛ ༻͍ͯɺ͍ͪ͸΍͘αʔϏεͷةػΛ৐Γӽ͑Δ͜ͱͰ͢ ͔͠͠ͳ͕ΒɺࣗಈԽͰͰ͖Δ͜ͱʹ΋ݶք͕͋Δͷ͕࣮৘Ͱ͢ɻ
૊৫಺Ͱܧଓతͳֶशɾ܇࿅ɾܒ໤Λଓ͚͍ͯ͘͜ͱͰΑΓɺٯڥʹڧ͍૊৫Λͭ͘Γ ͋͛ϨδϦΤϯεΛ֫ಘͰ͖Δͱߟ͍͑·͢

73 CPU͕ࢧԉͰ͖Δͷ͸ϓϩηεࢧԉʹཹ·Γ·͢ɻ Πϯγσϯτͷٕज़త໰୊·ͰʮࣗಈͰղܾ͢Δʯͷ͸ࠔ೉Ͱ͢ ◦ ໰୊͕ղܾ͞Εͳ͚Ε͹ɺΠϯγσϯτ͔Β෮چͰ͖ͳ͍ • ໰୊ղܾ͸ٕज़ऀʹҕͶΒΕΔ (*) •
ٕज़ऀ͸ΠϯγσϯτରԠͰϦʔμʔγοϓ(*) ΛͱΔ੹຿Λෛ͏ 8BSUJNFͷ૊৫ϞσϧͰ͸ɺΠϯγσϯτϋϯυϥʔʹՃ͑ͯ ٕज़ऀ΋ϦʔμʔγοϓΛൃش͢Δ͜ͱ͕ॏཁͩͱߟ͍͑ͯ·͢ɻ ࣋࿦: ΠϯγσϯτରԠͱٕज़ऀͷϦʔμʔγοϓ ը૾: https://www.irasutoya.com/2018/09/blog-post_136.html 1) ࣗಈͰղܾͰ͖Δ໰୊͸ γεςϜʹ͋Β͔͡Ίઃܭɾ࣮૷ͯ͠ରԠ͢Δ 2) ηΩϡϦςΟΠϯγσϯτ(ͷ͍͕ٙ͋Δࣄ৅) Ͱ͸ɺΧελϚʔαϙʔτ৬͕Ϣʔβ༷ͱͷ΍ΓऔΓΛਐΊͯϦʔυ͢Δࣄྫ΋͋Γ·͢ 3) Ϧʔμʔγοϓͱݴͬͯ΋ΧϦεϚੑɾӳ༤૾ΛٻΊΔͱ͍ͬͨ࿩Ͱ͸ͳ͍ɻʮೳಈతʹ໰୊Λղܾ͠Α͏ͱΞΫγϣϯΛىͯ͜͠ଞͷਓΛͻͬͺΔʯͱ͍͏χϡΞϯεͰ͢ 8BSUJNFͷ૊৫Ϟσϧ Πϯγσϯτϋϯυϥʔ ΠϯϑϥΤϯδχΞ ɹ ΧελϚʔαϙʔτ Ϛωʔδϟʔ ΞϓϦέʔγϣϯΤϯδχΞ ސ٬࿈བྷ ෦಺࿈བྷ ΦϖϨʔγϣϯ ϋϯυϥʔ 💪 💪 ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ 💪

74 Ϧʔμʔγοϓ΍ϨδϦΤϯεͷϚΠϯυηοτ૊৫จԽ͸ҰேҰ༦Ͱ࡞ΒΕ·ͤΜ %FW4FD0QT$ZDMFͱ৘ใηΩϡϦςΟϚωδϝϯτ΋ซͤͯΠϯγσϯτʹඋ͑·͢ • Πϯγσϯτϋϯυϥʔͷษڧձ • ΠϯγσϯτରԠ܇࿅ • ηΩϡϦςΟରࡦࣨͷΦϯϘʔσΟϯά TTTCPUνϡʔτϦΞϧ
• ώϠϦϋοτڞ༗ձ • 1FQBCP5FDI'SJEBZ ࣾ಺ٕज़.5( Ͱͷએ఻ • ڴҖϞσϦϯά ฏ͔࣌Βͷֶशɾ܇࿅ɾܒ໤ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

75 ΠϯγσϯτରԠ܇࿅Λఆظతʹ࣮ࢪ͍ͯ͠·͢ɻαʔϏε͝ͱʹγφϦΦΛߟ࣮͑ͯࢪ͠·͢ɻ TTTCPU΋ຊ൪ಉ༷ʹ༻͍·͢ɻΠϯγσϯτϋϯυϥʔΛ࿅श͢Δػձʹ΋ͳΓ·͢ɻ ΠϯγσϯτରԠ܇࿅ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 🔗 ϩϦϙοϓʹରͯ͠Πϯγσϯτ܇࿅Λߦ͍·ͨ͠ - ϖύϘςοΫϒϩά

76 த్Ͱೖࣾ͞Εͨํ޲͚ʹɺηΩϡϦςΟରࡦࣨͰΦϯϘʔσΟϯάΛߦ͍·͢ ִ݄։࠵ ηΩϡϦςΟରࡦࣨͷϛογϣϯͷઆ໌͔Β࢝·ΓɺTTTCPUͷνϡʔτϦΞϧ ࣮ࡍʹಈ͔ͯ͠΋Β͏ ΋΍Γ·͢ SSS Tuesday ʙηΩϡϦςΟରࡦࣨͷΦϯϘʔσΟϯά
Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 4445VFTEBZ͸ɺηΩϡϦςΟΛτϐοΫͱ͢Δ4MBDLνϟϯωϧ͕TTTͰ͋Δ͜ͱͱɺ1BUDI5VFTEBZΛ΋໊ͬͨ͡લͰ͢

77 ϖύϘͰ͸ʮΠϯγσϯτରԠϚχϡΞϧʯ ಺੡ ͕ଘࡏ͠·͢ɻ ηΩϡϦςΟରࡦ͕ࣨ৘ใηΩϡϦςΟϚωδϝϯτͷҰ؏Ͱ࡞੒͍ͯ͠·͢ • Πϯγσϯτͷఆٛ • Πϯγσϯτൃੜ࣌ͷରԠϑϩʔ •
ॳಈରԠνʔϜͷൃ଍ • ૊৫಺֎΁ͷ࿈བྷϑϩʔ • FUD ͦ΋ͦ΋TTTCPU͕ຊϚχϡΞϧΛͳͧΔΑ͏ʹ࡞੒͞Εͨ΋ͷͳͷͰͨ͠ ࣗಈԽγεςϜΛϚχϡΞϧɾنఆɾ੍౓ͱ੔߹ੑΛอͭΑ͏ʹͯ͠ ϚωδϝϯταΠυͱฒ૸ͨ͠ར༻Λ໨ࢦ͠·͢ τοϓμ΢ϯͷϚωδϝϯτ: ϚχϡΞϧͷ࡞੒ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

78 ʰγεςϜো֐ରԠͷڭՊॻʱͷʮΠϯγσϯτରԠϨϕϧͷΞηεϝϯτʯΛϖύϘ༻ޠʹॻ͖௚ͨ͠ΞηεϝϯτΛ࡞͍ͬͯ·͢ QPTUNPSUFN΍ΠϯγσϯτରԠ܇࿅ͷλΠϛϯάͰΞηεϝϯτͷ࣮ࢪΛનΊ͍ͯ·͢ τοϓμ΢ϯͷϚωδϝϯτ: Ξηεϝϯτͷ࡞੒ ʰγεςϜো֐ରԠͷڭՊॻʱ 7ষ - ૊৫ͷো֐ରԠ޲্ͱମ੍ͮ͘ΓͷΞηεϝϯτΛجʹͨ͠ɻ༻ޠϨϕϧͰϖύϘ༻ʹվగΛೖΕͨ (ྫΠϯγσϯτίϚϯμʔ
-> Πϯγσϯτϋϯυϥʔ) Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

79 τοϓμ΢ϯͷϚωδϝϯτ: ධՁʹ૊ΈೖΕΔ ϖύϘͷΤϯδχΞ৬ͷධՁ੍౓Ͱ͸ɺઐ໳ੑΛධՁ͢Δ࣠ͱͯ͠ɺ ҎԼͷࡾͭͷྗ Λܝ͍͛ͯ·͢ • ࡞Γ্͛Δྗ • ઌΛݟ௨͢ྗ
• ӨڹΛ޿͛Δྗ ࣍ظͷվఆͰ͸ɺྫ֎తࣄଶ΁ͷରԠ ྫΠϯγσϯτʹରԠͰ͖Δ͜ͱ Λ ධՁཁ݅ʹ੝ΓࠐΉ͜ͱΛܭը͍ͯ͠·͢ɻ ݱߦͷ੍౓ʹ͍ͭͯ͸ϖύϘͷΤϯδχΞͷ֤छ੍౓ՆϖύϘςοΫϒϩάΛࢀর͍ͯͩ͘͠͞ ͞Βʹ 9߲໨ʹࡉ෼Խ͞ΕͨධՁ࣠΋ଘࡏ͢Δɻ౳ڃʹΑͬͯద༻͕ҟͳΔ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 3) ैདྷͷධՁ࣠ʹྫ֎తࣄଶ΁ͷରԠ͕௥Ճ͞Εͯ ઐ໳ੑͷओு͕֦࣠ு͞ΕΔͷͰ͋Δ ɻ୹བྷతʹʮΠϯγσϯτରԠΛ͠ͳ͚Ε͹ධՁ͕Լ͕Δʯͱଊ͑Δ΋ͷͰ͸ͳ͍

80 Ξ΢τϓοτʹঢ՚͢Δ ٕज़తͳ೉қ౓ͷߴ͔ͬͨΠϯγσϯτͰ͸ɺ໰୊Λநग़ɾҰൠԽͯ͠Ξ΢τϓοτͱ͠ɺֶͼʹঢ՚͠·͢ τϥϒϧγϡʔςΟϯάΛϖύϘςοΫϒϩάͷ୊ࡐʹॻ͘ͷ͸ɺࠓͷͱ͜ΖࢲݸਓͰͷऔΓ૊ΈʹͱͲ·Γ·͢ QPTUNPSUFNΛԆ௕ͨ͠ͱͯ͠ΞΫγϣϯͱͯ͠޿·ͬͯ͘ΕΔͱ͍͍ͳͱࢥ͍ͬͯ·͢ ༨ஊͰ͕͢ɺ࠷ۙத్Ͱೖࣾͯ͘͠Εͨಉ྅͔Βʮೖࣾલʹ͜ͷΤϯτϦಡΈ·ͨ͠ʯͱϑΟʔυόοΫ͕͋Γ·ͨ͠ɻخ͍͠ΤϐιʔυͰ͢ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 🔗 ϖύϘςοΫϒϩά -
τϥϒϧγϡʔςΟϯάͷΤϯτϦ

81 վΊͯ43&ຊΛݟ௚ͯ͠ʮਓؒʯʹϑΥʔΧεͨ͠ষΛ࠶ൃݟ͠·͠ΐ͏ • ষɹޮՌతͳτϥϒϧγϡʔςΟϯά • ষɹۓٸରԠ • ষɹΠϯγσϯτ؅ཧ • ষɹϙετϞʔςϜͷจԽɿࣦഊ͔Βͷֶͼ
• ষɹαʔϏεো֐ͷ௥੻ (PPHMFͷΑ͏͍ߴ͍ٕज़Λ΋ͭΤϯδχΞϦϯάνʔϜ͕ ΠϯγσϯτϚωδϝϯτΛߦ͍ͬͯΔ͜ͱΛ൓ᢸ͍ͨ͠ RE: SRE ͷॻ੶ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

82 ల๬ͱ՝୊ Section 5

83 ల๬ͱ՝୊ ࠓޙͷల๬΍՝୊ TTTCPUΛ࡞͔ͬͯΒ೥൒΄Ͳܦա͍ͯ͠·͕͢ɺ΍Γ͍ͨ͜ͱ՝୊͸༷ʑ͕͍͋ͬͯ·͢ • 43&ͷऔΓ૊ΈΛࢧԉ͍ͨ͠ • 4-"4-*4-0ͷܭଌʹԠ༻͢Δ • ΠϯςάϨʔγϣϯΛॆ࣮͍ͤͨ͞
• 1BHFS%VUZ %BUB%PH౳ͷ4BB4ͱ࿈ܞ • γεςϜͷϝτϦΫε 1SPNFUIFVT ͱ࿈ܞ • 4MBDL6*Λ΋ͬͱ׆༻͍ͨ͠ • ྫ νΣοΫϦετ6*ͰϓϩηεͷਐߦΛ೺ѲͰ͖Δͱ͔ • FUD ޙड़͢Δ 43&*ODJEFOU3FTQPOTF1MBUGPSNΛఏڙ͢Δ4BB4΋ग़͓ͯΓ ಺੡ͰͲ͜·Ͱ։ൃ͢Δ͔΋೰·͍͠ͱ͜ΖͰ͢

84 ւ֎ͷ SRE / Incident Response ͷ SaaS ͜ͷଞʹ΋αʔϏε͕͋Γ·ͨ͠ΒϑΟʔυόοΫΛ͍͚ͨͩΔͱ޾͍Ͱ͢ ւ֎Ͱ͸43&ΠϯγσϯτରԠʹϑΥʔΧεͨ͠4BB4΋ొ৔͍ͯ͠Δ
https://rootly.io/ https://www.blameless.com/ Πϯγσϯτʹؔ͢ΔϓϥοτϑΥʔϜ

85 1) σϞΛோΊ͚ͨͩͰɺ࣮ࡍʹৄࡉ͸೺Ѳ͓ͯͯ͠Γ·ͤΜɻར༻͍ͯ͠Δํ͕͍Βͬ͠ΌͨΒϑΟʔυόοΫΛ͍͚ͨͩΔͱ޾͍Ͱ͢ ւ֎ͷ SRE / Incident Response ͷ SaaS
4MBDLΠϯςάϨʔγϣϯΛඋ͑ɺΠϯγσϯτରԠͷϓϩηεΛࣗಈͰࢧԉ͢Δ6*69΋ఏڙ͢Δ https://rootly.io/ https://www.blameless.com/ Πϯγσϯτʹؔ͢ΔϓϥοτϑΥʔϜ 2)Severity ΛೖΕΔͷ͸Ͳ͜΋࠾༻͍ͯ͠ΔϓϥΫςΟεʹͳ͍ͬͯΔɻਅࣅͨ͠Θ͚Ͱ͸ͳ͍ͷͰҰԠ

86 ऴΘΓ 🍵 ΤϯδχΞϦϯά͔ΒϚωδϝϯτ·ͰςʔϚΛ޿͛ͨ(.0ϖύϘͷࣄྫͰͨ͠ *5اۀͰͷΠϯγσϯτରԠʹ·ͭΘΔ࿩Λ͞ΒʹΦʔϓϯʹσΟεΧογϣϯ͍͖ͯ͠·͠ΐ͏

87 Appendix 96 ࿥ըͷࡍʹܝࡌΛݟૹͬͨϖʔδͰ͢

88 sssbot ͸νϟϯωϧΛ࡞Δ͚ͩͷ؆ૉͳ CLI πʔϧ͔Βঃʑʹ slack app ʹ࡞ΓࠐΜͰ͍ͬͨ • ࣾ಺Ͱલ৐ΓͰ࢖ͬͯ͘ΕΔਓʹϑΟʔυόοΫΛ΋Β͏
• ϖύϘͷࡏ੶͕௕͘ ୭ʹצॴ͕ར͍ͨͱ͍͏໘΋͋Δ͔ͱࢥ͏ • πʔϧͷਐԽͱͱ΋ʹɺैདྷͷ΍ΓํΛঃʑʹม͍͑ͯ͘Α͏ʹ౒Ίͨ ·ͨɺπʔϧͷ։ൃɾීٴͱ߹Θͤͯ ηΩϡϦςΟରࡦνʔϜͱͯ͠৴པΛ֫ಘʹ΋౒Ίͯ·ͨ͠ • શͯͷΠϯγσϯτରԠνϟϯωϧʹ join ͢Δ ◦ CTO, VPoE, ηΩϡϦςΟରࡦνʔϜ͸ඞͣ invite ͞ΕΔ • ࣗ෼͕τϥϒϧղܾͰ͖ΔػձΛर͍ͬͯ͘ ΠϯγσϯτରԠπʔϧΛҰؾʹಋೖͯͨ͠ͱ͜ΖͰɺϞσϧ΍ϓϥΫςΟε΋ؚΊͯ޿Ί͍͚͔ͯͨ ɺ͋Δ͍͸ࢲࣗ਎ֶ͕ͼ ಘ͍͔ͯͨɺ͸ߟ͑ͯ͠·͏ͱ͜Ζ͕͋Γ·͢ɻ ΠϯγσϯτࣗಈԽͷઌ sssbot ։ൃ͔Βීٴ·Ͱ

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ൃੜʙݕ஌ ؂ࢹγεςϜͰҟৗΛଊ͑ΒΕ͍ͯͳ͍
ސ٬͸ӨڹΛड͚͍ͯΔ ΠϯγσϯτରԠͷλΠϜϥΠϯ ൃੜ ෮چ ؇࿨ ղܾ

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ݕ஌ɾΞϥʔτϑΣʔζ •
؂ࢹγεςϜ͕ݕ஌ɾΞϥʔτ͕௨஌ • Ϣʔβ͔Βͷ͓໰߹ΘͤͰݕ஌ • ୲౰νʔϜʹΤεΧϨʔγϣϯ ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ରԠϑΣʔζͷ։࢝ •
ॳಈରԠνʔϜΛটू • ίϛϡχέʔγϣϯͷཱ֬ (νϟωϧ࡞੒) ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ରԠʙ෮چϑΣʔζ •
ௐࠪɾ෮چ࡞ۀ͢Δ • Ϣʔβ޲͚ͷରԠΛͱΔ • ૊৫಺֎΁࿈བྷ͢Δ ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ෮چ(؇࿨) •
໰୊ͷ௜੩ԽɾΞϥʔτͷऩଋ • ෮چΛએݴ͢Δ • ϢʔβରԠ (͓໰͍߹ΘͤɺSNSࠂ஌ ) ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ղܾ •
postmortem ͷ࣮ࢪ • ࠶ൃ๷ࢭɾΞΫγϣϯΞΠςϜͷݕ౼/࣮ࢪ΁ • ϨϏϡʔɾ෼ੳ ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

95 ΠϯγσϯτϚωδϝϯτࣗಈԽͷϙΠϯτ : ϓϥΫςΟεͷಋೖ (ิ଍) Brent Chapman ͞Μ “Googleࣾͷ఻આతͳSRE૊৫ʹॴଐ͍ͯͨ͠ͱ͖ɺIncident Management
at Google (IMAG)γεςϜΛߏ ஙɾ্ཱͪ͛ɺݱࡏ͸શࣾతʹۓٸࣄଶ؅ཧʹ࢖༻͞Ε͍ͯΔɻ” "ϒϨϯτ͸·ͨɺݩߤۭ૞ࡧٹॿύΠϩοτ͓Αͼࣄ݅ࢦش׭ɺओཁͳܳज़͓ΑͼԻָࡇ͓ΑͼΠϕϯτ ͷۓٸ೿ݣ͓Αͼ೿ݣ؂ಜऀɺͳΒͼʹίϛϡχςΟۓٸରԠνʔϜʢCERTʣͷϝϯόʔ͓ΑͼΠϯετ ϥΫλʔͰ΋͋Γ·͢ɻ” “MajordomoʢੈքதͷԿेສ΋ͷαΠτͰ࢖༻͞Ε͍ͯΔϝʔϦϯάϦετ؅ཧιϑτ΢ΣΞʣ … ͳͲ ͷΦʔϓϯιʔειϑτ΢ΣΞͷ։ൃऀͰ΋͋Δɻ ݱࡏ͸ Slack ͷΠϯγσϯτϚωδϝϯτܞΘ͍ͬͯΔΑ͏Ͱ͢ɻ Slack ʹ͍ͭͯ࿩Λͨ͠ SRECon21 ͷಈը͕ 2021/10/15෇͚Ͱެ։͞Ε͍ͯ·͢ ग़య: https://greatcircle.com/im/ ग़య: https://www.youtube.com/watch?v=FYYTglQoS3w

96 lγεςϜઃܭ͕ΑΓෳࡶʹͳΓɺ༷ʑͳλΠϓͷઐ໳Ո ͷڠௐͱ౷߹͕ඞཁʹͳΔʹͭΕͯɺγεςϜͷಈ࡞΍ߦ ಈΛཧղ͠ɺ݁ՌΛ༧૝͢Δ͜ͱ͸·͢·͢ࠔ೉ʹͳͬͯ ͖ͨz ʰηʔϑ΢ΣΞʱNancye Leveson

97 lࣗಈԽʹΑͬͯΦϖϨʔλͷΤϥʔͷϦεΫ͸௿ݮ͞ΕΔ ͱࢥ͏͔΋͠Εͳ͍͕ɺอक΍मཧͱ͍ͬͨۀ຿΁γϑτ ͨ͠ΓɺΑΓߴ౓ͳ؂ࢹ੍ޚ΍ҙࢥܾఆ΁ͱγϑτ͍ͯ͠ Δʹա͗ͣɺࣗಈԽʹΑͬͯγεςϜ͔Βਓ͕͍ؒͳ͘ͳ Δ͜ͱͳ͍ͱ͍͏ͷ͕ਅ࣮Ͱ͋Δz ʰηʔϑ΢ΣΞʱNancye Leveson

98 lઃܭऀ͸ɺγεςϜͷಛੑΛ׬શʹཧղͰ͖ͳ͍͔ɺγ εςϜ͕Քಇ͢΂͖؀ڥ৚݅Λ׬શʹ༧૝Ͱ͖ͳ͍͜ͱ͕ ͋Δɻࣄ৅͕༧ݟͰ͖ͳ͔͔ͬͨɺෆద੾ʹѻΘΕ͔ͨɺ ·ͨ͸ઃܭऀͷ੾ΓࣺͯϨϕϧҎԼͰ͋ͬͨͨΊʹɺීஈ ͸֬཰͕௿͍ࣄ৅͕ɺࣗಈԽγεςϜ͕๷ޚાஔΛߨ͡ͳ ͍··࢒͞ΕΔͩΖ͏z ʰηʔϑ΢ΣΞʱNancye Leveson

99 lΦϖϨʔλ͸ɺى͜ΓಘΔۓٸࣄଶͷࠀ෰Λظ଴͞ΕΔ ͚ͩͰͳ͘ɺ੒ޭ͠ͳ͍৔߹ͷӨڹ͕ॏେʹͳΓಘΔ৔߹ ͸ɺ͠͹͠͹γεςϜ͕ରԠͰ͖Δۃݶঢ়ଶͰͷհೖ͕ٻ ΊΒΕΔɻۓٸࣄଶʹ͸ઃܭऀ͕૝ఆ͠ͳ͔ͬͨঢ়گ΍ɺ ΦϖϨʔλͷ܇࿅Ͱ͸ରॲͰ͖ͳ͍ঢ়گؚ͕·ΕΔɻz ΦϖϨʔλ͸͠͹͠͹ۃݶঢ়ଶͰհೖͤͶ͹ͳΒͳ͍ (1) ʰηʔϑ΢ΣΞʱNancye Leveson

100 lΦϖϨʔλ͸ɺঢ়گΛ଎΍͔ʹ਍அ͠ରԠͤͶ͹ͳΒͳ ͍͚ͩͰͳ͘ɺۃ౓ͷۓுͷԼͰɺγεςϜͷঢ়ଶʹ͍ͭ ͯݶΒΕͨ৘ใ͔͠ͳ͍ঢ়گԼͰɺ૑଄ੑͱ޻෉ͷ࠽Λ༻ ͍ͯͦΕΛ΍Βͳ͚Ε͹ͳΒͳ͍ɻΘΕΘΕ͸ɺ൴Β͕ࣦ ഊͨ࣌͠ʹڻ͘ͷͰͳ͘ɺ͜͏ͨ͠ঢ়گͷԼͰɺਓ͕ؒ͠ ͹͠͹͖ΘΊͯ͏·͘΍͍ͬͯΔ͜ͱʹڻ୰͢΂͖ͳͷͰ ͋Δɻz ΦϖϨʔλ͸͠͹͠͹ۃݶঢ়ଶͰհೖͤͶ͹ͳΒͳ͍ (1)
ʰηʔϑ΢ΣΞʱNancye Leveson

101 ᶃΊͬͨʹى͜Βͳ͍ࣄ৅ͷ֬཰ΛධՁ͢Δͷ͕೉͍͜͠ͱ ᶄઌೖ؍Λ࣋ͬͯ෭࡞༻ʹ͍ͭͯߟ͑Δ͜ͱ ᶅۮൃࣄ৅Λݟམͱ͢܏޲͕͋Δ͜ͱ ᶆγεςϜͷݶΒΕͨ਺ͷ؍఺͚ͩʹूதͯ͠ෳࡶ͞Λ཈͑Δ܏޲͕͋Δ ᶇෳࡶͳؔ܎Λ೺Ѳ͢Δೳྗʹݶք͕͋Δ͜ͱ ࣗಈԽγεςϜʹ͓͚Δਓؒͷඞཁੑ ʰηʔϑ΢ΣΞʱNancye Leveson

102 lࣗಈԽʹΑͬͯΦϖϨʔλͷΤϥʔͷϦεΫ͸௿ݮ͞ΕΔ ͱࢥ͏͔΋͠Εͳ͍͕ɺอक΍मཧͱ͍ͬͨۀ຿΁γϑτ ͨ͠ΓɺΑΓߴ౓ͳ؂ࢹ੍ޚ΍ҙࢥܾఆ΁ͱγϑτ͍ͯ͠ Δʹա͗ͣɺࣗಈԽʹΑͬͯγεςϜ͔Βਓ͕͍ؒͳ͘ͳ Δ͜ͱͳ͍ͱ͍͏ͷ͕ਅ࣮Ͱ͋Δz ʰηʔϑ΢ΣΞʱNancye Leveson

103 lઃܭऀ͸ɺγεςϜͷಛੑΛ׬શʹཧղͰ͖ͳ͍͔ɺγ εςϜ͕Քಇ͢΂͖؀ڥ৚݅Λ׬શʹ༧૝Ͱ͖ͳ͍͜ͱ͕ ͋Δɻࣄ৅͕༧ݟͰ͖ͳ͔͔ͬͨɺෆద੾ʹѻΘΕ͔ͨɺ ·ͨ͸ઃܭऀͷ੾ΓࣺͯϨϕϧҎԼͰ͋ͬͨͨΊʹɺීஈ ͸֬཰͕௿͍ࣄ৅͕ɺࣗಈԽγεςϜ͕๷ޚાஔΛߨ͡ͳ ͍··࢒͞ΕΔͩΖ͏z ʰηʔϑ΢ΣΞʱNancye Leveson

インシデントレスポンスを自動化で支援する Slack Bot で人機一体なセキュリティ対策を実現する

インシデントレスポンスを自動化で支援する Slack Bot で人機一体なセキュリティ対策を実現する

More Decks by Hiroya Ito

Other Decks in Technology

Featured

Transcript