インシデントレスポンスを自動化で支援する Slack Bot で人機一体なセキュリティ対策を実現する

by Hiroya Ito

Slide 1

Slide 1 text

1 ΠϯγσϯτϨεϙϯεΛࣗಈԽͰࢧԉ͢Δ 4MBDL#PUͰਓػҰମͳηΩϡϦςΟରࡦΛ࣮ݱ͢Δ (.0ϖύϘҏ౻༸໵ $MPVE/BUJWF%BZT5SBDL#20-18:00

Slide 2

Slide 2 text

2 ҏ౻༸໵͍ͱ͏ͻΖ΍ !IJCPNB ॴଐ(.0ϖύϘηΩϡϦςΟରࡦࣨ ࡏ৬೥໨ BUಢ໦ݝಹਢԘݪ ৬ҐϓϦϯγύϧΤϯδχΞ ಘҙ-JOVY௿ϨΠϠʔͷτϥϒϧγϡʔςΟϯά ϒϩάٕज़ΤϯτϦ 2 ΠϯτϩμΫγϣϯ: ൃදऀͷ঺հ https://github.com/hiboma/hiboma https://hiboma.hatenadiary.jp/

Slide 3

Slide 3 text

3 (.0ϖύϘηΩϡϦςΟରࡦࣨͷϛογϣϯ ΠϯτϩμΫγϣϯ:ηΩϡϦςΟରࡦࣨͷ঺հ ग़య: Co3Ͱࢧ͑ΔϖύϘͷηΩϡϦςΟରࡦ ~Communication Completely Continuous (.0ϖύϘͷηΩϡϦςΟରࡦࣨͱ͸৘ใηΩϡϦςΟجຊํ਑Λ९क͠ ͓٬༷ɺ͓औҾઌ༷ɺैۀһ͔Β༬Δ৘ใࢿ࢈Λద੾ʹѻ͑Δ จԽܗ੒ɺٕज़త࢓૊ΈΛϦʔυ͢Δ૊৫ ΤϯδχΞϦϯάͷΞϓϩʔνͱซͤͯɺ૊৫಺ͰͷจԽͷܒ໤ʹ΋ίϛοτ͍ͯ͘͠૊৫Ͱ͢ ͜ͷεϥΠυͰ΋ਓػҰମਓͱػց͕ҰମʹͳΔ4MBDL#PUͷ࿩ͱซͤͯϚωδϝϯτʹ΋ݴٴͨ͠࿩Λ͠·͢

Slide 4

Slide 4 text

4 ຊฤʹઌཱͬͯ Section 0

Slide 5

Slide 5 text

ຊεϥΠυͰʮΠϯγσϯτʯͱ͍͏༻ޠΛ܁Γฦ͠༻͍·͢ɻ (.0ϖύϘͰ͸ʮΠϯγσϯτʯͷఆٛͷ௨Γͱ͍ͯ͠·͢ɻຊεϥΠυ΋͜Εʹ४ͨ͡ఆٛͱ͠·͢ 5 ຊฤʹઌཱͬͯ ຊεϥΠυͰͷʮΠϯγσϯτʯͷఆٛ ্هͷఆٛʹ४ͯ͡ɺओʹɺՄ༻ੑʹӨڹ͢Δࣄ৅Λʮো֐ʯͱهࡌ͠·͢ ׬શੑɾػີੑʹӨڹ͢Δࣄ৅ΛʮηΩϡϦςΟɾΠϯγσϯτ ʯͱͯ͠هࡌ͠·͢ ৘ใࢿ࢈ͷ͏ͪॏཁੑ̍ɺ̎ʹଐ͢Δ΋ͷʹ͍ͭͯɺΞΫηεݖݶ͕ͳ͍ਓ͕Ӿཡ͢Δ͜ͱ͕Ͱ͖ͨʢػີੑͷ໰୊ʣ ॏཁੑηΩϡϦςΟ৵֐͕ձࣾͷࡒ࢈ɺӦۀ౳΁ॏେͳӨڹΛٴ΅͢ɻ ॏཁੑηΩϡϦςΟ৵֐͕ձࣾͷۀ຿ࣥߦ౳΁ॏେͳӨڹΛٴ΅͢ɻ ৘ใࢿ࢈શͯΛର৅ʹͯ͠ɺͳ͘ͳͬͯ͠·ͬͨʢ׬શੑͷ໰୊ʣ ৘ใࢿ࢈શͯΛର৅ʹվ͟Μ͞Εͯ͠·ͬͨʢ׬શੑͷ໰୊ʣ ৘ใࢿ࢈શͯΛର৅ʹɺҰ࣌తʹར༻Ͱ͖ͳ͍ঢ়ଶ͕ൃੜ͓͠٬༷ʹӨڹ͕ൃੜͨ͠ʢՄ༻ੑͷ໰୊ʣ σΟβελɾϦΧόϦ (ࡂ֐෮چ) ʹ͍ͭͯ͸ ୊ࡐͷείʔϓ͕޿͘ͳΓ͗͢ΔͨΊɺຊεϥΠυͰ͸ʮΠϯγσϯτʯʹؚΊ͍ͯ·ͤΜ

Slide 6

Slide 6 text

6 Πϯγσϯτ͸ආ͚ΒΕͳ͍ Section 1

Slide 7

Slide 7 text

7 Πϯγσϯτ͸ආ͚ΒΕͳ͍ Πϯγσϯτ͸ආ͚ΒΕͳ͍ $MPVE/BUJWFʹඪޠ͞ΕΔઌਐతͳٕज़ɾΞʔΩςΫνϟͰ࡞ΒΕͨγεςϜ͕ߴ৴པ ੑΛಘͰ͖ΔҰํͰɺґવͱ༷ͯ͠ʑͳ໰୊͕ൃੜ͠ΠϯγσϯτΛҾ͖ى͜͠·͢ l୭΋͕ࣗ෼ͷαʔϏε͕ৗʹεϜʔζʹಈ͘͜ͱΛ๬ΜͰ͍· ͕͢ɺࢲͨͪ͸ෆ׬શͳੈքʹੜ͖͍ͯΔͷͰɺো֐͕ൃੜ͢ Δ͜ͱ΋͋Γ·͢ɻ ग़య: https://sre.google/workbook/incident-response/ ͷ๯಄ΛҾ༻ɺDeepL຋༁ͨ͠

Slide 8

Slide 8 text

8 Πϯγσϯτ͸ආ͚ΒΕͳ͍ ༷ʑͳ໰୊ ϗετͷ໰୊ Χʔωϧͷόάɾෛՙ ϛυϧ΢ΣΞͷόάɾෛՙ ઃఆͷϛεɾෆඋ Ϋϥ΢υɾΠϯϑϥͷ໰୊ *BB4 1BB4 BB4ͷো֐ %$ɾجװωοτϫʔΫো֐ ϋʔυ΢ΣΞͷ໰୊ σΟεΫͷނো ిݯͷނো ωοτϫʔΫػثͷނো ΞϓϦέʔγϣϯͷ໰୊ ઃܭɾ࢓༷ͷෆඋ ࣮૷ͷόά ϦϦʔεͷϛε ֎෦͔Βͷ߈ܸ ෆਖ਼ͳϖΠϩʔυɺ%P4ɺϚϧ΢ΣΞ ੬ऑੑɾθϩσΠରԠ ਓؒͷ໰୊ ώϡʔϚϯΤϥʔ Φϖϛε γεςϜͷଐਓԽ ͦͷଞʹ΋ ͍Ζ͍Ζͳ໰୊Λڍ͛Δ͜ͱ͕Ͱ͖Δͱࢥ͍·͢ɻϑΟʔυόοΫ͓଴͓ͪͯ͠Γ·͢ ࣾձঢ়گͷมԽ ๏཯ɾن੍ͷΞοϓσʔτ ྙཧɾ९कҙࣝͷมԽ ࿈ܞͷ໰୊ ֎෦"1*αʔϏεͷো֐ ґଘ͢ΔγεςϜͷো֐

Slide 9

Slide 9 text

9 43&ʹ͓͍ͯ΋ΠϯγσϯτରԠ͸੾Γ཭ͤͳ͍ςʔϚʹͳ͍ͬͯΔ ʰ43&αΠτϥΠΞϏϦςΟΤϯδχΞϦϯάʱ ● ষɹޮՌతͳτϥϒϧγϡʔςΟϯά ● ষɹۓٸରԠ ● ষɹΠϯγσϯτ؅ཧ ● ষɹϙετϞʔςϜͷจԽɿࣦഊ͔Βͷֶͼ ● ষɹαʔϏεো֐ͷ௥੻ ʰαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʱ ● ষΦϯίʔϧ ● ষΠϯγσϯτରԠ ʰ#VJMEJOH4FDVSF3FMJBCMF4ZTUFNTʱ ● %JTBTUFS1MBOOJOH ● $SJTJT.BOBHFNFOU ● 3FDPWFSZBOE"GUFSNBUI SRE ͱΠϯγσϯτରԠ Πϯγσϯτ͸ආ͚ΒΕͳ͍ ⚠ 43&ຊͷʮΠϯγσϯτʯ͸ɺ͍ΘΏΔʮো֐ʯʹൺॏΛஔ͍ͨදݱ͔΋͠Εͳ͍͕ɺຊεϥΠυͰ͸ηΩϡϦςΟΠϯγσϯτ΋ؚΉ޿͍ղऍͱͨ͠

Slide 10

Slide 10 text

10 ආ͚ΒΕͳ͍Πϯγσϯτʹ ཱͪ޲͔͏ Section 2

Slide 11

Slide 11 text

11 ૊৫ͷϨδϦΤϯεΛޠΔ = ϙδςΟϒͳൃ৴ςʔϚʹ ʙ೥ʹॻ͔Εͨʮো֐ʯʮΠϯγσϯτʯΛ୊ࡐͱͨ͠Ξ΢τϓοτΛूΊ·ͨ͠ ⚠ ໢ཏͰ͖ͣࡌ͍ͤͯͳ͍ΤϯτϦ΋ଟʑ͋Δͱࢥ͍·͕͢ɺྃ͝ঝ͍ͩ͘͞ɻʮʓʓͷࣄྫ͕ͳ͍ʯʮ˚˚΋ࡌͤͯ΄͍͠ʯ౳ͷϑΟʔυόοΫ͋Γ·ͨ͠Β!IJCPNBʹڭ͍͑ͯͩ͘͞ ● Infra Study Meetup #3 LT - Incident Response @tjun ࢯ ● ʲ͍ͰΑো֐ରԠଠ࿠ʳզʑ͸ΠϯγσϯτʹͲ͏޲͖߹͍ͬͯΔͷ͔ | by yoshiken | FiNC Tech Blog | Medium ● ো֐ൃੜʂશһू߹ʁ ʵ ΦϯίʔϧΞϯνύλʔϯ͔ΒͷҰาલਐ - Cybozu Inside Out | αΠϘ΢ζΤϯδχΞͷϒϩά ● ॏେࣄނͷ࣌ʹͲ͏͢Δ͔ʁʛmiyasakaʛnote ● ࣦഊͯ͠߈Ίଓ͚ΔͨΊʹ - freeeͷΤϯδχΞ͕ো֐ରԠͰ࣮ફ͍ͯ͠Δ͜ͱ - freee Developers Blog ● SREνʔϜͷηΩϡϦςΟΠϯγσϯτήʔϜσʔ - ϝυϐΞ։ൃऀϒϩά ● WebαʔϏεͷো֐ରԠͷͱ͖ͷࢥߟաఔ - ͺ͍ͺ͍ʹ͖ͬ ● γεςϜো֐ͱͷ޲͖߹͍ํ @sinamon129 #tokyogirlsrb - Speaker Dec) ● ࠶ൃ๷ࢭࡦΛߟ͑Δٕज़ / #phpconsen - Speaker Deck) ● ো֐ରԠͱϙετϞʔςϜ - Quipper Product Team Blog ● ελσΟετʹ͓͚Δো֐ରԠͷ࣮ફͱࠓޙͷల๬. #srefukuoka Ͱొஃ͖ͯ͠·ͨ͠ʂελσΟετ։ൃϒϩά | Medium ● ʲอଘ൛ʳ౦ژϦʔδϣϯͷ AWS ো֐ൃੜ࣌ʹΫϥεϝιουͷςΫχΧϧαϙʔτνʔϜ͕΍͍ͬͯΔ͜ͱ | DevelopersIO ● WebΞϓϦέʔγϣϯͷো֐ରԠʹ͍ͭͯվΊͯҙࣝ͢΂͖఺΍΍ΕΔͱྑ͍͜ͱΛ·ͱΊΔ - stefafafan ͷ fa ͸3ͭͰ͢ ● γεςϜো֐ରԠԋशΛ࣮ࢪͨ͠࿩ʛNAVITIME_Techʛnote 43&ͷ޿͕Γͱซͤͯɺ૊৫Ͱͷো֐΍τϥϒϧରԠϨδϦΤϯεʹ͍ͭͯͷΞ΢τϓοτ͕૿͑ͨΑ͏ʹࢥ͍·͢ɻ UXJUUFS΍ιʔγϟϧϒοΫϚʔΫͰ΋ݐઃతɾ޷ҙతͳίϝϯτ͕͖ͭɺϙδςΟϒͳςʔϚͱͯ͠ಡ·Ε͍ͯΔۭؾΛײ͡·͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

Slide 12

Slide 12 text

12 ૊৫ͷϨδϦΤϯεΛޠΔ > ҰൠԽɾීวԽ͢Δ ઌͷΤϯτϦ܈Ͱ͸ɺٕज़ͷ֤࿦ΑΓɺϓϩηεɾίϛϡχέʔγϣϯɾ૊৫จԽʹϑΥʔΧεͨ͠಺༰͕ଟ͍ ○ ϓϩηεͷߏ଄Խ ○ ϚχϡΞϧ࡞Γɺϑϩʔͷࡦఆɺ໾ׂ෼୲ ○ ૊৫จԽͮ͘Γ ○ ࣦഊΛඇ೉͠ͳ͍จԽ #MBNFMFTT ɺ;Γ͔͑ΓϙετϞʔςϜͷจԽ ○ ίϛϡχέʔγϣϯπʔϧͷ׆༻ ○ 4MBDLͷCPU΍8PSLGMPX׆༻ ҟͳΔࣄۀΛӦΉ*5اۀ͕ɺΑ͘ࣅͨϓϥΫςΟεɾΞϯνύλʔϯΛಋ͍͍ͯΔͷ͕ҹ৅తͰ͢ɻ ૊৫Λ௒͑ͯҰൠԽɾීวԽͯ͠ޠΓ͏Δ୊ࡐͳͷͰ͠ΐ͏ɻٯʹɺϖύϘͷ࿩͕ଞͷ૊৫ʹڹ͘ͱ͜Ζ͕͋Δ͔ͱࢥ͍·͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

Slide 13

Slide 13 text

13 ٕज़৬Ҏ֎ͷ৬छ΋ΠϯγσϯτରԠʹՃΘΔέʔε΋͋Γ·͢ ● ΧελϚʔαϙʔτɹ ● Ϛωʔδϟʔ ● ๏຿෦ ● औక໾ ΠϯγσϯτରԠͰ͸૊৫ͷߏ଄ͱ৬छؒΛ௒͑ͯͷίϥϘϨʔγϣϯ͕ཁٻ͞Ε·͢ ΠϯγσϯτରԠ = ૊৫ͷॎɾԣͱ৬छΛ௒͑ͨίϥϘϨʔγϣϯ (.0ϖύϘͰ͸ɺࣄۀ෦੍Λෑ͍͓ͯΓɺࣄۀ෦͝ͱʹαʔϏε͕ैଐ͠·͢ ⚠ ࢲ͸GMOϖύϘҎ֎ͷձࣾʹॴଐͨ͜͠ͱ͕ͳ͍ͨΊɺଞ༷ࣾͰ͸ͲͷΑ͏ʹରԠΛߦ͏ͷ͔ɺ஌ݟɾܦݧ͕શ͋͘Γ·ͤΜɻϑΟʔυόοΫΛ΋Β͑Δͱ޾͍Ͱ͢! ج൫ٕज़ ྫϓϥΠϕʔτΫϥ΢υ ΍αʔϏεؔ࿈ܞͰো֐͕ൃੜͨ͠৔߹͸ɺ ෦ॺɾαʔϏεؒΛԣஅͯ͠ίϛϡχέʔγϣϯΛͱΔඞཁ͕͋Γ·͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

Slide 14

Slide 14 text

w େྔͷ؂ࢹΞϥʔτ͕ྲྀΕͯಉ྅ͱͷνϟοτ͕͏·͍͔͘ͳ͔ͬͨ w ݪҼௐࠪʹ຅಄͠·͍ɺ؊৺ͷ෮چ࡞ۀ͕஗Εͨ w ͨͩ΅ʔͬͱಉ྅ͷ࡞ۀ νϟοτ ΛோΊ͍ͯͨ w ෮چ࡞ۀʹເதͰؔ܎ऀʹ࿈བྷ͕ޙճ͠ʹͳͬͨ w ه࿥Λ·ͱΊΑ͏ͱ͕ͨ͠ɺϩά͕͍ΖΜͳνϟϯωϧʹࢄҳ͍ͯ͠Δ w ϚχϡΞϧ΍ϑϩʔ͕͋Δ͕ແࢹɾ๨Ε͕ͪʹ͞ΕΔ w ো֐Λಉ྅͕஌Βͳͯ͘ϔϧϓͯ͠΋Β͑ͳ͔ͬͨ ͋Δ͍͸ٯͷཱ৔ w ʜFUD 14 ۓٸ࣌ͷΦϖϨʔγϣϯ͸େม 🔥 🔔 🔥 🔥 ը૾ͷग़య: http://www.irasutoya.com/ ۓٸ࣌ͷΦϖϨʔγϣϯ͸໨ͷલͷ໰୊ͰେมͰ͢ ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

Slide 15

Slide 15 text

15 lػցͱਓؒͷॏཁͳҧ͍ͷҰͭ͸ ػց͸աෛՙʹͳΔ ͱಥવఀࢭ͢Δͷʹରͯ͠ ਓؒ͸Ώͬ͘ΓͱػೳΛམ ͱ͢͜ͱͰ͋Δ͜ͷ܏޲͸ ਓ͕ؒࠁʑͱ૿େ͢Δ৘ใ ॲཧཁٻʹ௚໘ͨ͠ࡍʹݦஶͱͳΔ ग़య:ʰอकࣄނʱ δΣʔϜɾϦʔζϯ (ஶ) P.46 ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

Slide 16

Slide 16 text

16 ● ঢ়گɾํ๏ͷෆ࣮֬ੑ͕ߴ͍ঢ়گԼͰ࡞ۀ͢ΔϓϨογϟʔ ● ࡞ۀͷർ࿑΍ۓு͔Β͘Δ਎ମɾਫ਼ਆ΁ͷετϨε ● ଟ༷ͳ৬छؒίϛϡχέʔγϣϯΛ·ͱΊΔΉ͔ͣ͠͞ ਓؒʹऻ͍͔͔ΓରԠΛ๦͛·͢ɻ෮چ࡞ۀͷϛεͰೋ࣍ඃ֐΋ෆ҆Ͱ͢ɻ γεςϜΛӡ༻͢Δ૊৫ʹ͓͍ͯ͸ΠϯγσϯτରԠʹཱͪ޲͔͏ ਓؒΛࢧԉ͢Δ࢓૊Έ΍ํ๏࿦ΠϯγσϯτϚωδϝϯτ͕ඞཁͰ͢ ਓؒ΋େมͩɻΠϯγσϯτϚωδϝϯτ͕ඞཁ ͸΍͘෮چͯ͠Ϗδωε΁ͷӨڹΛ཈͍͑ͨɺͰ΋ɺਓؒʹ΋ෛՙ͕͔͔͍ͬͯΔ 😩 😫 😵 ආ͚ΒΕͳ͍Πϯγσϯτʹཱͪ޲͔͏

Slide 17

Slide 17 text

17 Πϯγσϯτʹ ΤϯδχΞϦϯάͰཱͪ޲͔͏ Section 3

Slide 18

Slide 18 text

18 DevSecOps CycleͱΠϯγσϯτରԠ ϖύϘͰ͸ DevSecOps Cyclce ͱͯ͠։ൃαΠΫϧΛϞσϧԽ͍ͯ͠·͢ Incident Response ΋γϑτϨϑτͷର৅ʹͳΓ·͢ ● Πϯγσϯτൃੜ࣌ͷϚχϡΞϧɾϑϩʔ੔උ ● ΠϯγσϯτରԠϨϕϧͷΞηεϝϯτͷ࣮ࢪ ● ΠϯγσϯτରԠ܇࿅ͷఆظ࣮ࢪ ● ڴҖϞσϦϯά ● υΩϡϝϯτ੔උ (γεςϜߏ੒ਤɺσʔλϞσϧ ) ● ΠϯγσϯτϚωδϝϯτͷࢧԉΛ slack bot ͰࣗಈԽ ಉ྅Ͱ͋Δ @mrtc0 ͕ఏҊɾ࡞੒ͨ͠Ϟσϧਤ ग़య: Co3Ͱࢧ͑ΔϖύϘͷηΩϡϦςΟରࡦ ~ Communication Completely Continuous ~ GMOϖύϘ ηΩϡϦςΟରࡦࣨ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 19

Slide 19 text

19 sssbot ͸ϖύϘͷΠϯγσϯτϚωδϝϯτΛࢧԉ͢ΔTMBDLCPUͰ͢ ΠϯγσϯτରԠϓϩηεͷඪ४Խ w ෦ॺɾαʔϏεɾύʔτφʔʹґΒͣ౷Ұͨ͠ϓϩηεΛఏڙ͠·͢ ΠϯγσϯτରԠϚχϡΞϧͷ९क w ώϡʔϚϯΤϥʔͷ๷ࢭɺಛఆͷਓʹґڌ͠ͳ͍࠶ݱՄೳͳରԠΛ࣮ࢪ͠·͢ ΠϯγσϯτରԠͷίϛϡχέʔγϣϯࢧԉ w ϑϩʔɾϚχϡΞϧʹ४ͨ͡ࢦࣔग़͠ɺࣾһͷ΍ΓͱΓΛϔϧϓ͠·͢ Slack bot ͰΠϯγσϯτϚωδϝϯτΛࢧԉ͢Δ ΞΠίϯ͸ಉ྅ͷ @chocolatina ࡞੒ *1) 2018೥ޙ൒͔Β CLI πʔϧͱͯ͠։ൃΛ࢝Ίͯɺঃʑʹ Slack Bot (Application ) ͱͯ͠࡞ΓࠐΜͰ͍ͬͨ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ ໊લ͸ηΩϡϦςΟΛτϐοΫͱ͢ΔTMBDLνϟϯωϧ໊͕ #sss ʹ༝དྷ͠·͢

Slide 20

Slide 20 text

20 ࣌ؒ ղܾ ϖύϘͷΠϯγσϯτରԠϓϩηεͷϞσϧਤ ✅ ൃੜ ݕ஌ Ξϥʔτ ରԠ 🚨 🔥 🔔 🍵 👁🗨 ෮چ ؇࿨ ରԠ࣌ͷΦϖϨʔγϣϯɾίϛϡχέʔγϣϯΛԁ׈ʹ͠ ෮چɾղܾ·ͰΛޮ཰Խ͢ΔΞΫγϣϯΛͱΔ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ

Slide 21

Slide 21 text

21 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯͱ sssbot ͷࢧԉ ⌛ ⌛ ⌛ ⌛ Πϯγσϯτͷॳಈ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

Slide 22

Slide 22 text

22 @sssbot ʹϝϯγϣϯΛඈ͹͢ͱɺΠϯγσϯτରԠνϟϯωϧ࡞੒ͷϘλϯ͕ݱΕ·͢ 💡bot ͷݺͼग़͠͸؆ܿʹ CPUݺͼग़͠ͷίϚϯυΛΈΜͳʹ֮͑ͯ΋Β͏ͷ͸ɺେมͰ͢ɻϝϯγϣϯ͚ͩͰݺͼग़͠·͠ΐ͏ɻ બ୒ͨ͠ΠϯγσϯτͷྨܕʹΑͬͯɺϚχϡΞϧɾϑϩʔʹͷͬͱΓTTTCPU͕ࢧԉΛͯ͘͠Ε·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ https://example.com/sssbot-no-help

Slide 23

Slide 23 text

23 ϑΥʔϜೖྗͯ͠ରԠνϟϯωϧΛ࡞੒͠·͢ νϟϯωϧ໊ͷॳظ஋͸ sssbot ͕ೖΕͯ͘Ε·͢ 💡νϟϯωϧ໊ͷن໿ νϟϯωϧ໊ʹن໿Λઃ͚ͯࣝผͰ͖ΔΑ͏ʹ͠·͢#αʔϏε໊-YYMMDDi (ྫ: #example-20210101i) ϖύϘͰ͸ෳ਺ͷαʔϏεΛఏڙ͍ͯ͠ΔͨΊɺͦΕͧΕͰνϟϯωϧΛ࡞ΕΔن໿ͱ͠·͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 24

Slide 24 text

24 αʔϏεΛબ୒͠ɺॳಈରԠνʔϜΛܾఆ͠·͢ɻ ॳಈରԠνʔϜ͸ΠϯγσϯτͷॳಈʹΞαΠϯ͞ΕΔάϧʔϓͰ͢ɻ෦໳ɺαʔϏε͝ͱʹฤ੒͞Ε·͢ɻ TMBDLͷϢʔβάϧʔϓ ྫ!IPHFJODJEFOUSFTQPOTF Ͱఆٛ͠·͢ɻΧελϚʔαϙʔτ΍Ϛωʔδϟʔ΋νʔϜʹೖΓ·͢ɻ 🗒 Ϣʔβάϧʔϓ͸ https://github.com/j-o-lantern0422/arisaid Λ࢖ͬͯ YAML ʹͯ͠όʔδϣϯ؅ཧ͍ͯ͠Δ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 25

Slide 25 text

25 νϟϯωϧ࡞੒࣌఺Ͱ೺Ѳ͍ͯ͠Δঢ়گΛೖྗ͠·͢ 💡ॳಈରԠνʔϜʹঢ়گΛ఻͑Δ νϟϯωϧΛ࡞੒͢Δਓঢ়گΛ೺ѲͰ͖͍ͯΔਓͱ૝ఆͯ͠ɺαϚϦΛ·ͱΊͯ΋Β͍·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 26

Slide 26 text

26 Թ౓ײͰΠϯγσϯτͷॏେ౓ ۓٸ౓ ΛධՁ͠·͢ɻ 💡 Թ౓ײͰʮΈΜͳʯʹʮ΍͹͞ʯΛ఻͑Δ νϟϯωϧ࡞੒ऀ͕Πϯγσϯτͷॏେ͞ɾۓٸ౓Λ͚ͭ·͢ɻ௚ײʹ೚ͤͨධՁͰΑ͘ɺਖ਼֬͞͸ॏࢹ͠·ͤΜɻ Ϛωʔδϟʔ΍ΧελϚʔαϙʔτͳͲɺٕज़͕Α͘෼͔Βͳ͍ಉ྅΁ͷ఻ୡखஈͰ΋͋Γ·͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 27

Slide 27 text

27 ϑΥʔϜೖྗޙɺνϟϯωϧΛηοτΞοϓ͠·͢ νϟϯωϧ໊ ྫ) #example-20210101i Թ౓ײ΍αϚϦΛ νϟϯωϧͷτϐοΫʹઃఆ͢Δ αϚϦ΍Թ౓ײΛτοϓʹ௨஌͢Δ 💡 ҰՕॴʹه࿥ͱରԠΛू໿ ΠϯγσϯτνϟϯωϧʹରԠͱه࿥Λू໿͠·͠ΐ͏ɻਐߦ͕ෳ਺νϟϯωϧʹ֦ࢄ͢ΔͷΛආ͚ɺҰݩԽ͠·͢ɻ Ξϥʔτ͕େྔʹྲྀΕΔνϟϯωϧ΍ɺεϨουͷਐߦ͸Ξϯνύλʔϯͱ ͍ͯ͠·͢ ⚠ ΞϥʔτͰରԠϩά΍εϨου͕ྲྀΕͯ͠·͏ɺεϨου಺ʹεϨου͕࡞Εͳ͍ɺεϨουͷݕࡧ͕൥ࡶɺτϐοΫ౳ͷϝλσʔλΛ࢖͑ͳ͍౳ʑͷཧ༝Ͱ͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 28

Slide 28 text

ΠϯγσϯτΛએݴɾ޿ใ͢Δ 28 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯͱ sssbot ͷࢧԉ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ 📣

Slide 29

Slide 29 text

29 νϟϯωϧ࡞੒ޙɺΠϯγσϯτͷൃੜΛએݴ͠·͢ 💡 ΠϯγσϯτΛએݴ͢Δ ʮେ੠ʯΛ͋͛ͯΈΜͳʹΠϯγσϯτͷൃੜΛೝࣝͯ͠΋Β͍·͢ɻ 4MBDLͷνϟϯωϧ࡞੒͸҉໧తͰؾ͕෇͖ʹ͍͘ͷΛղܾ͢Δ6*69ͱߟ͍͑ͯ·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 30

Slide 30 text

30 Πϯγσϯτͷએݴ͸ෳ਺ͷνϟϯωϧʹϒϩʔυΩϟετ͞Ε·͢ 💡૊৫ߏ଄ (νϟϯωϧ) Λԣஅͯ͠એݴ͢Δ ϖύϘͷTMBDLνϟϯωϧ͸ ࣄۀ෦ɾαʔϏεɾ৬छ ୯ҐͰ෼͔Ε͍ͯ·͢ɻ ։ൃऀνϟϯωϧɺϚωʔδϟʔνϟϯωϧɺΧελϚʔαϙʔτνϟϯωϧʹ௨஌Λग़͠·͢ɻ CPUͷϚϧνϙετ͸গʑ͏Δ͍͞Ͱ͕͢ɺස౓ͷগͳ͍௨஌Ͱ͢͠ɺؾ͕͔ͭͳ͍ΑΓͣͬͱΑ͍͜ͱͰ͠ΐ͏ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 31

Slide 31 text

31 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ ॳಈରԠνʔϜΛݺͼग़͢

Slide 32

Slide 32 text

32 ΠϯγσϯτରԠνϟϯωϧʹॳಈରԠνʔϜΛJOWJUF͠·͢ 💡 ඞͣݺͿਓ΋ bot ʹ೚ͤΔ Πϯγσϯτͷॳಈʹ͸͍ΔνʔϜΛTTTCPU͕ࣗಈͰݺͼग़͠·͢ɻ $50 71P& ηΩϡϦςΟରࡦࣨ΋ݺͼग़ͯ͠ॏେͳΠϯγσϯτͷݟಀ͠Λ๷͗·͢ɻ ͨ͘͞ΜͷʮਓΛݺͼग़͢ʯͷ͸໘౗Ͱ৺ཧతোนͷߴ͍࡞ۀͰ͢ɻCPUʹ೚ͤͯ͠·͍·͠ΐ͏ɻ ॳಈରԠνʔϜΛ invite ͢Δ CTO ΍ VPoE ౳ʑ΋ invite ͢Δ CTO foobar foobar ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ #example-20210101i #example-20210101i @example-incident-response

Slide 33

Slide 33 text

33 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ ❓ ❓ ❓ ঢ়گΛಉظ͢Δ

Slide 34

Slide 34 text

34 νϟϯωϧ࡞੒ऀʹϝϯγϣϯΛඈ͹͠ʮ͍·͍·ͷঢ়گʯΛॻ͘Α͏ʹଅ͠·͢ɻ 💡 ·ͣ͸ঢ়گΛ఻͑ͯɺΈΜͳͰ଍ฒΈΛἧ͑Δ ಥ೗ɺνϟϯωϧʹݺͼग़͞ΕΔॳಈରԠνʔϜ͸ɺͦ΋ͦ΋Կ͕ى͖ͨͷ͔͢Β೺Ѳ͍ͯ͠ͳ͍ਓ΋͍·͢ɻ νϟϯωϧΛ࡞੒ͨ͠ਓΛɺॳಈͷ࣌఺Ͱঢ়گΛཧղ͍ͯ͠Δਓͱ૝ఆͯ͠ɺCPU͔Βঢ়گઆ໌Λଅ͠·͢ɻ 💡 ආ͚͍ͨΞϯνύλʔϯ ʮνϟϯωϧ࡞੒ऀ͕ɺঢ়گΛઆ໌ͤͣʹ෮چ࡞ۀʹ͸͍ΓɺपғΛஔ͍͖ͯ΅Γʹ͢Δʯ ʮٕज़৬͸αϚϦΛಡΜͰঢ়گΛཧղ͕ͨ͠ɺΧελϚʔαϙʔτ΍ϚωʔδϟʔΒ͸༻ޠ͕෼͔ΒͣཧղͰ͖͍ͯͳ͍ʯ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 35

Slide 35 text

35 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛ ϋϯυϥʔΛืΔ

Slide 36

Slide 36 text

36 💡 ϋϯυϥʔΛͨͯͯରԠ͢Δ ϖύϘͰ͸ Πϯγσϯτϋϯυϥʔ(≒ΠϯγσϯτίϚϯμʔ) ΛͨͯͯਐߦΛҕͶ·͢ɻ ϋϯυϥʔʹίϛϡχέʔγϣϯΛҾಋ͢ΔϦʔμʔγοϓΛൃشͯ͠΋Β͍·͢ νϟϯωϧ࡞੒ޙ͔Β਺෼͢ΔͱTTTCPU͕ΠϯγσϯτϋϯυϥʔͷܾఆΛଅ͠·͢ ϋϯυϥʔʹ ࢦࣔग़͠Λߦ͍·͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ https://example.com/slack/p1634721688039800

Slide 37

Slide 37 text

37 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ λΠϜϚωʔδϝϯτ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

Slide 38

Slide 38 text

38 ෼͝ͱʹλΠϜΩʔύʔ͕ىಈͯ͠ܦա࣌ؒΛ஌Βͤ·͢ 💡࣌ݶͷΠϕϯτͰհೖ͢Δ Πϯγσϯτ͕ରԠਂࠁԽɾ௕ظԽ͢Δͱɺർ࿑΍ϓϨογϟʔ΋ॏͳΓ࣌ؒΛࣦ೦͕ͪ͠Ͱ͢ɻ ఆظతͳঢ়گ൑அɾҙࢥܾఆΛଅͨ͢ΊʹɺλΠϜΩʔύʔ͕հೖ͠ɺ࣌ؒΛ఻͑·͢ɻ 💡 15෼ͳͷ͸Կނ͔? ʮো֐৘ใͷܝࡌɺ֎෦૊৫΁ͷఆظ࿈བྷΛߦ͏ࡍʹ෼Λ۠੾Γʹͯ͠ ΞΫγϣϯΛͱΔ͜ͱ͕ଟ͘෼पظͰௐ੔ͷΞΫγϣϯΛͱΔͱͪΐ͏Ͳ͍͍ʯͱɺࣾ಺ϑΟʔυόοΫΛड͚ͨઃఆͰ͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 39

Slide 39 text

39 λΠϜΩʔύʔ͸ίϚϯυ࣮ߦͷ6*Λඋ͑·͢ 💡 ίϚϯυϨεͰݺͼग़ͤΔ λΠϜΩʔύʔʹίϚϯυ࣮ߦͷμογϡϘʔυ6*Λ΋͍ͨͤͯ·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 40

Slide 40 text

40 ࣄ৅Ϩϕϧ Λܾఆ͢ΔͱɺTTTCPU͸ϨϕϧʹԠͨ͡ϚχϡΞϧΛࢦࣔ͠·͢ɻ 💡ఆܕͷࢦࣔग़͠͸ bot ʹݴΘͤΔ ϚχϡΞϧʹԊͬͨࢦࣔग़͠͸ɺਓ͕ؒߦ͏ͱ൥Θ͍͠΋ͷͰ͢ɻϘοτʹ೚ͤͯ͠·͍·͠ΐ͏ɻ ๨Ε͕ͪͳλεΫ΋ϘοτʹϦϚΠϯυͯ͠΋Β͍·͠ΐ͏ɻ ϋϯυϥʔʹ ࢦࣔग़͠Λ͠·͢ ஫ (.0ϖύϘͷΠϯγσϯτରԠϚχϡΞϧʹͯΠϯγσϯτͷن໛ʹԠͨ͡ࣄ৅ϨϕϧΛ෇͚Δ͜ͱ͕ఆΊΒΕ͍ͯΔ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 41

Slide 41 text

41 ࣄ৅Ϩϕϧͷܾఆ΋ෳ਺νϟϯωϧʹϒϩʔυΩϟετ͠·͢ 💡 ใࠂΛ bot ʹ೚ͤΔ ։ൃऀνϟϯωϧɺΧελϚαϙʔτνϟϯωϧͳͲʹϚϧνϙετ͢Δ࡞ۀΛCPUʹ೚ͤ·͢ɻ ϚωʔδϟʔɾϦʔμʔɾऔక໾͕͍ΔQSJWBUFνϟϯωϧʹ΋௨஌͕ඈͼ·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 42

Slide 42 text

42 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ ⌛ ⌛ ⌛ ⌛ ෮چ(؇࿨) Λએݴ͢Δ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

Slide 43

Slide 43 text

43 Πϯγσϯτ͔Β෮چ ؇࿨ ͨ͠ΒએݴΛϒϩʔυΩϟετ͠·͢ 💡 ෮چͷએݴΛग़͠ɺରԠͷ༏ઌ౓ΛԼ͛Δ ΠϯγσϯτରԠ͸ඇৗʹߴ͍༏ઌ౓ͰׂΓࠐΉλεΫͱΈͳͤ·͢ɻ ରԠ͕ͻͱஈམͨ͠Β෮چΛએݴͯ͠ɺରԠͷ༏ઌ౓ΛԼ͛·͠ΐ͏ɻ ·ͨɺએݴΛϒϩʔυΩϟετ͢Δ͜ͱͰʮνϟϯωϧ಺ͷਓ͚͕ؒͩ෮چΛೝ͍ࣝͯͨ͠ʯͱ͍͏ΞϯνύλʔϯΛආ͚·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 44

Slide 44 text

44 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ ⌛ ⌛ ⌛ ⌛ ࣍ͷΞΫγϣϯʹܨ͛Δ ΠϯγσϯτϚωδϝϯτͷ࣮ࢪ ⌛

Slide 45

Slide 45 text

45 TTTCPU͸ϙετϞʔςϜͷ࡞੒΋ࢧԉ͠·͢ɻ1VMM3FRVFTU΋ࣗಈ࡞੒Ͱ͖·͢ɻ 💡 υΩϡϝϯτͷςϯϓϨʔτΛ PR ͢Δ TTTCPU͕ه࿥ͨ͠αʔϏε໊ɺαϚϦɺΠϕϯτൃੜͷ࣌ࠁΛຒΊಘͨNBSLEPXOͷςϯϓϨʔτΛ13͠·͢ ϙετϞʔςϜ ͷQVMMSFRVFTUΛ࡞੒͠ɺ;Γ͔͑ΓɾࠜຊݪҼ෼ੳɾ࠶ൃ๷ࢭͷݕ౼ɾ࣮ࢪ΁ͱͭͳ͛·͢ɻ ϙετϞʔςϜͷϑΥʔϚοτ͸ʰSRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯάʱΛϕʔεʹ͍ͯ͠·͢ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏ postmoreten ͷ࡞੒͸ͦͦ͜͜ͷෛ୲ʹͳΓ·͢ɻܰඍͳো֐Ͱ͸ postmortem ͷ࡞੒Λল͘ͷ΋Α͍ͱࢥ͍·͢ ( SLI/SLO ౳΋Ճຯͯ͠ධՁ͢Δ) example.com/postmoretem/1

Slide 46

Slide 46 text

46 νϟϯωϧΛಈతʹ࡞ΔͷͰQPTUNPSUFNϦϙδτϦ͔ΒΠϯγσϯτνϟϯωϧʹXFCIPPL௨஌͢Δʹ͸޻෉͕ඞཁͰ͢ JTTVF13λΠτϧʹνϟϯωϧ໊Λॻ͘ͱ೚ҙͷνϟϯωϧʹ௨஌Ͱ͖ΔΞϓϦΛ࡞ͬͯղܾ͍ͯ͠·͢ QPTUNPSUFNͷ1VMM3FRVFTUʹ͍ͭͨϨϏϡʔɾίϝϯτ΋Πϯγσϯτνϟϯωϧʹ௨஌ͯ͠ ࣄޙରԠͷίϛϡχέʔγϣϯ΋νϟϯωϧʹू໿͠·͢ webhook redireoct #example-20210101i λΠτϧ: #example-20210101i ϦμΠϨΫτ #example- w HJUQVTIͰ͸CSBODI໊͔Βνϟϯωϧ໊Λ൑ఆͯ͠ϦμΠϨΫτ͢Δ PSJHJOBFYBNQMFJ w (JU)VCͷ௨஌ΛϦμΠϨΫτ͢ΔͷͰSFEJSFDUPDUPQVTSFEJSFPDUͰ͢ɻ4JOBUSBͰ࡞Γ·ͨ͠ɻ

Slide 47

Slide 47 text

47 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ղܾʢ׬ྃ) Λએݴ͢Δ ⌛

Slide 48

Slide 48 text

48 QPTUNPSUFN΍࠶ൃ๷ࢭͷ׬ྃޙ͸ɺରԠνϟϯωϧΛBSDIJWFͯ͠ɺղܾ ׬ྃ ͷએݴΛϒϩʔυΩϟετ͠·͢ 💡શͯͷ࡞ۀΛऴ͑ͨΒɺએݴ͢Δ ෮چޙͷ࢒࡞ۀ͸௕ظԽ͠΍͘͢ɺ͕࣌ؒܦաͯ͠Πϯγσϯτͷଘࡏ͔Β๨ΕΒΕ͕ͪʹͳΓ·͢ɻ ࠷ޙ·Ͱ࡞ۀͯ͘͠Εͨਓʹ͓ർΕ༷ͷ੠΋͔͚ͯ͋͛·͠ΐ͏ #example-20210101i #example- #example-20210101i ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 49

Slide 49 text

49 ΠϯγσϯτͷղܾνϟϯωϧΛBSDIJWF͢Δ·ͰΛޙԡ͢͠ΔϦϚΠϯυػೳ΋࣮૷͍ͯ͠·͢ νϟϯωϧͷϝοηʔδ͕Ұϲ్݄ؒઈ͍͑ͯͨΒϦϚΠϯυΛೖΕΔΑ͏ʹ͍ͯ͠·͢ 💡ղܾ = νϟϯωϧͷΞʔΧΠϒ·ͰΛਪ͠ਐΊΔ ΠϯγσϯτʹΑͬͯ͸࢒࡞ۀͰɺ਺ϲ݄Λཁͯ͠௕ظԽ͢Δέʔε͕͋ΓɺϑΥϩʔ͠·͢ ୯ʹɺνϟϯωϧͷBSDIJWFΛ๨Ε͍ͯΔ͚ͩͳΒBSDIJWF͢ΔΑ͏ʹଅ͠·͢ foo bar ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 50

Slide 50 text

50 ࣌ؒ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ: sssbot ݺͼग़͠ͷΠϕϯτϞσϧਤ ⌛ ⌛ ⌛ ⌛ ه࿥ͱ෼ੳ ⌛

Slide 51

Slide 51 text

51 Πϯγσϯτൃੜ࣌ʹࣗಈͰJTTVFΛ࡞੒͠ɺΠϯγσϯτͷه࿥Λͱ͍ͬͯ·͢ 4MBDLͷݕࡧ6*ͰΠϯγσϯτରԠνϟϯωϧΛ૎Γ೺Ѳ͢Δͷ͸গʑ൥ࡶͰ͢ɻ (JU)VC&OUFSQSJTFͷJTTVFʹετοΫܕͷσʔλͱͯ͠࢒ͯ͠ɺࢀর͠΍͘͢͠·͢ɻ αʔϏε໊ɺࣄ৅ϨϕϧɺΠϯγσϯτͷྨܕͰϥϕϧΛ෇͚ͯɺ෼ྨ΋ࣗಈԽ͍ͯ͠·͢ɻ ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 52

Slide 52 text

52 TTTCPUͷه࿥Λ෼ੳɾՄࢹԽʹ༻͍Δ͜ͱ͕Ͱ͖·͢ ରԠʙ෮چ ౳ʹཁͨ࣌ؒ͠ΛՄࢹԽͨ͠ྫͰ͢ 'PVSLFZTͷαʔϏε෮ݩ࣌ؒʹ૬౰͢Δ ΠϯγσϯτͷϨϕϧԹ౓ײ΍ɺରԠͨ͠ਓһ νϟοτྔ ͳͲ֤छϝλσʔλΛ࠾औͯ͠͞ΒʹԠ༻͕Ͱ͖ͦ͏Ͱ͢Ͷ μογϡϘʔυ͸ฐࣾͷσʔλج൫νʔϜ͕࣮૷ͯ͘͠Ε·ͨ͠ ࢀߟ: ΤϦʔτ DevOps νʔϜͰ͋Δ͜ͱΛ Four Keys ϓϩδΣΫτͰ֬ೝ͢Δ | Google Cloud Blog #example-2022010 ΠϯγσϯτʹΤϯδχΞϦϯάͰཱͪ޲͔͏

Slide 53

Slide 53 text

53 ΠϯγσϯτϚωδϝϯτΛ ઌਓɾઐ໳ՈʹֶͿ Section 3

Slide 54

Slide 54 text

54 ΠϯγσϯτͷࡍʹʮΑ͍ʯߦಈΛͱΕΔΑ͏ɺઌਓɾઐ໳Ո͔ΒϞσϧɾϓϥΫςΟεΛֶͼऔΓ·͠ΐ͏ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ϞσϧɾϓϥΫςΟεΛಋೖ͢Δ ઌʹ঺հͨ͠TTTCPU͸ɺ͜ΕΒͷϞσϧ΍ϓϥΫςΟεΛେ͍ʹࢀߟʹ͍ͯ͠·͢ ࣗಈԽʹར༻ͤͣͱ΋ɺಉ྅ͱͷֶश୊ࡐͱͯ͠΋සൟʹҾ༻ɾࢀর͍ͯ͠·͢ 🤔 ???

Slide 55

Slide 55 text

55 ফ๷ୂ͔ΒֶΜͩ஌ݟΛ*5ΠϯγσϯτʹԠ༻͢Δ͜ͱקΊ͍ͯΔϓϥΫςΟεू ● ΠϯγσϯτίϚϯυγεςϜͷಋೖ ● ฏৗ࣌ͱۓٸ࣌ͷΦϖϨʔγϣϯΛ෼͚ͯଊ͑Δ ● lઐ༻ͷνϟϯωϧΛ࡞Δ ● λΠϜϥΠϯϞσϧ ● l܇࿅ɺ܇࿅ɺ܇࿅ɺ͞Βʹɺ܇࿅z ● ʜFUD ͙͢ʹ΋׆༻Ͱ͖ΔUJQT͔ΒϚωδϝϯτ΍૊৫จԽʹ΋ݴٴ͢Δॆ࣮ͨ͠಺༰Ͱ͢ ϖʔδ΋͋Γཁ໿ͯ͠঺հ͖͠Εͳ͍ͷͰ͍͔ͭ͘ϐοΫΞοϓͯ͠Έ·͢ ʰIncident Command for ITʱ by Brent Chapman (*) ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf

Slide 56

Slide 56 text

56 ● ฏ࣌ͱ͸ผͷΠϯγσϯτઐ༻νϟϯωϧΛͭ͘Δ ● νϟϯωϧ໊Λઆ໌తʹ͢Δ ● ঢ়گ΍εςʔλευΩϡϝϯτ΁ͷϦϯΫΛషΔ ղܾ͢ΔΞϯνύλʔϯ ● Ξϥʔτ͕ҲΕΔνϟϯωϧͰରԠΛਐΊͯ͠·͏ ● ͲͷνϟϯωϧͰରԠͯ͠Δͷ͔෼͔Βͳ͍͜ͱ͕͋Δ ● ରԠͷه࿥͕ࢄҳͯ͠͠·͏͜ͱ͕͋Δ ࣗಈԽͱ΋૬ੑ͕͍͍ϓϥΫςΟεͰ͢ "ઐ༻ͷνϟϯωϧΛͭ͘Δ" ΠϯγσϯτରԠઐ༻ͷνϟϯωϧΛ࡞Δ͜ͱΛઆ͍͍ͯ·͢ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf

Slide 57

Slide 57 text

57 ● ਓؒͷϝϯλϧϞσϧʹ͢Δ ● ࣗಈԽͷઃܭ࣮૷ͷϞσϧʹ͢Δ ར༻ͷྫ ● ૊৫಺Ͱ༻ޠɾ֓೦ͷ౷Ұ ○ ྫʮ"MFSUʙ3FTQPOEͷ͕࣌ؒϘτϧωοΫ͔ͩΒվળ͠Α͏ʯ ● ࣗಈԽʹ͔ͭ͏ͱϢϏΩλεݴޠ "λΠϜϥΠϯ"ͷϞσϧΛಋೖ͢Δ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf ઌͷ1%'ʹܝࡌ͞Ε͍ͯΔλΠϜϥΠϯͷϞσϧͰ͢ɻ ΠϯγσϯτͷϓϩηεΛߏ଄Խ͢Δͷʹ໾ཱͪ·͢ɻ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

Slide 58

Slide 58 text

Slide 59

Slide 59 text

59 ࣌ؒ ૊৫΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ : ϖύϘ຋༁൛ ⚠ ϖύϘͰ͸Մ༻ੑɾ׬શੑɾػີੑΛճ෮ͨ࣌͠ʹʮ෮چʯͱݺͿਓ͕ଟ͍ͷͰ؇࿨ͷ୅ΘΓʹ༻͍͍ͯΔ

Slide 60

Slide 60 text

60 Πϯγσϯτ؅ཧʹΑͬͯ εύϯͷ࣌ؒ୹ॖ͕ॏཁͩͱ λΠϜϥΠϯϞσϧͰઆ͍͍ͯΔ

Slide 61

Slide 61 text

61 ࣌ؒ ૊৫΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτc ൃੜ ݕ஌ Ξϥʔτ ରԠ ෮چ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ ෮چ ղܾ Time is Money 💰 ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ

Slide 62

Slide 62 text

62 ࣌ؒ ձࣾ΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ൃੜ ݕ஌ Ξϥʔτ ରԠ sssbot ͸ΠϕϯτυϦϒϯΞϓϦέʔγϣϯ ⌛ ⌛ ⌛ ⌛ ૊৫΁ͷӨڹ Ϣʔβ΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ෮چ ؇࿨ ղܾ BSDIJWF ⌛ λΠϜΩʔύʔͷΠϕϯτ

Slide 63

Slide 63 text

63 λΠϜϥΠϯͷϞσϧ͸ʰ4FFLJOH43&ʱʹ΋ࡌ͍ͬͯ·͢ Seeking SRE ͷλΠϜϥΠϯϞσϧ ग़య: https://learning.oreilly.com/library/view/seeking-sre/9781491978856/ch04.html ઌͷϞσϧͱ༻ޠͷҧ͍͸͋Γ·͕͢ɺϑΣʔζͷ۠੾Γํ͸Α͘ࣅ͍ͯ·͢ɻ ૊৫Ͱͷ΍Γ͔ͨ΍ࣗಈԽʹΑ͘Ϛον͢ΔϞσϧΛબ୒͢ΔͱΑ͍Ͱ͠ΐ͏ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

Slide 64

Slide 64 text

64 ΠϯγσϯτͰ͋Δ͜ͱΛ໌֬ʹએݴ͢Δͱ͍͏ϓϥΫςΟεͰ͢ ● ةػΛએݴ͠ɺରԠͷ༏ઌ౓Λ্͛Δ ● ฏ࣌ͱۓٸ࣌Λ໌֬ʹ෼͚Δ ● ةػ͕ա͗ͨ͜ͱ΋એݴ͠ɺ༏ઌ౓ΛԼ͛Δ ղܾ͢Δ঱ঢ় ● ಉ྅͕Πϯγσϯτͷൃੜɾ෮چΛೝ஌͍ͯ͠ͳ͍ ● ෮چͨ͠ͷ͔Ͳ͏͔෼͔ΒͣରԠͷ༏ઌ౓͕ᐆດʹͳΔ CPUͷ௨஌Ͱ࣮૷Ͱ͖ΔϓϥΫςΟεͰ͢ "ةػΛએݴ͢Δ" ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య https://www.usenix.org/sites/default/files/conference/protected-files/srecon18americas_slides_chapman.pdf

Slide 65

Slide 65 text

65 1BHFS%VUZࣾͷΠϯγσϯτϨεϙϯεͷυΩϡϝϯτͰ͢ ରԠશൠͷ࿩ɺτϨʔχϯάɺϙετϞʔςϜɺϓϥΫςΟε΍ΞϯνύλʔϯͳͲ 1BHFS%VUZࣾͰഓΘΕͨϓϥΫςΟε͕੝Γ୔ࢁͷυΩϡϝϯτͰ͢ɻ ຊυΩϡϝϯτΛࢀߟʹ͍ͯ͠Δهࣄ͸ɺ֤ॴͰݟ͔͚·͢ɻ TMBDLίϚϯυͰରԠνʔϜΛݺͼग़͢΍Γํ΋ॻ͍ͯ͋Γ·͢ ༗ࢤͷํ͕๜༁Λग़ͯͩͬͨ͘͠͞ͷͰνʔϜͰͷಡΈ߹Θͤʹ΋Α͍ςΩετͰ͢Ͷ PagerDuty Incident Responseͷ๜༁൛Λެ։͠·ͨ͠ - Folioscope PagerDuty Incident Response ग़య: https://response.pagerduty.com, ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

Slide 66

Slide 66 text

66 վΊͯ঺հ͢Δ·Ͱ΋ͳ͍Ͱ͕͢ɺΈΜͳͰಡΜͰ͓͖͍ͨॻ੶Ͱ͢Ͷɻ ຊॻΛݺΜͰΠϯγσϯτରԠΛݟ௚ͨ͠ɺ;Γ͔͑Γ΍QPTUNPSUFNΛ࢝Ίͨ ͱ͍͏૊৫͸ଟ͍ͷͰ͸ͳ͍Ͱ͠ΐ͏͔ɻ ϖύϘͰ͸೥݄͝Ζ͔ΒQPTUNPSUFNͷऔΓ૊ΈΛ࢝Ί·ͨ͠ɻ ຊॻΛࢀߟʹͯ͠QPTUNPSUFNͷςϯϓϨʔτΛ࡞ΓɺNBSLEPXOԽ͍ͯ͠·͢ɻ ޙʹɺTTTCPUͰࣗಈͰQPTUNPSUFN ͷԼॻ͖ Λ࡞ΕΔΑ͏͠·ͨ͠ SRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά ग़య: https://www.oreilly.co.jp/books/9784873117911/ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

Slide 67

Slide 67 text

67 ݩফ๷͕࢜ࡂ֐ͷݱ৔Ͱഓͬͨܦݧɾํ๏࿦Λ*5ΠϯγσϯτϚωδϝϯτ΁ಋೖΛઆ͘ॻ੶ ● ૊৫ͷΠϯγσϯτରԠΛΞηεϝϯτ͢Δ࣭໰ू ● 1FBDFUJNF8BSUJNFͷ૊৫ߏ଄ ● *ODJEFOU$PNNBOE4ZTUFNͷԠ༻ ● ΠϯγσϯτରԠΛεέʔϧͤ͞Δํ๏ ● 4FSWFSJUZΛΠϯγσϯτͷࢦඪͱ͢Δ ● ʜFUD TTTCPUͰ͸4FSWFSJUZʮԹ౓ײʯͱͯ͠6*69ʹऔΓࠐΈ·ͨ͠ɻ ਓ໋ٹॿʹܞΘ͍ͬͯΔํͳͷͰʮQPTUNPSUFNʯͰͳ͘ʮ"GUFS"DUJPO3FWJFXʯͱݺͿ͜ͱΛ קΊΔͩ͘ΓͰ΋ϋͬͱؾ͕෇͖͕͋Γ·ͨ͠ɻ Incident Management For Operations Image: https://www.oreilly.com/library/view/incident-management-for/9781491917619/ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ

Slide 68

Slide 68 text

68 Peacetime ͷ૊৫ / Wartime ͷ૊৫ 1FBDFUJNFฏ࣌ϏδωεΛਐΊΔ૊৫ͱ 8BSUJNFΠϯγσϯτରԠ࣌ͷ૊৫ͷߟ͑ํ͕ॻ͍ͯ͋Γ·͢ɻ IUUQTXXXQBHFSEVUZDPNCMPHQFBDFUJNFXBSUJNFEFWPQTʹ΋ಉ༷ͷ࿩͕ࡌ͍ͬͯΔɻ೔෇͔Β͢Δͱͪ͜Β͕ݪయ͔΋͠Εͳ͍ɻ 1FBDFUJNFͱ8BSUJNFͷ࿩Λ࿦͡ΔͨΊʹग़ͨ͠ʮձࣾʯͷϞσϧͰͰ͢ Πϯγσϯτϋϯυϥʔ ΠϯϑϥΤϯδχΞ ɹ ΧελϚʔαϙʔτ 1FBDFUJNFͷ૊৫Ϟσϧ 8BSUJNFͷ૊৫Ϟσϧ ܦӦ૚ɾϛυϧɾݱ৔ / ৬Ґɾ৬ೳͰͷ֊૚ (*) ੩తͳ૊৫ߏ଄ / தɾ௕ظతͳࣄۀ໨ඪΛ༏ઌ͢Δҙࢥܾఆ ΠϯγσϯτϋϯυϥʔΛච಄ʹϩʔϧͰߏ੒ ςϯϙϥϦͳ૊৫ߏ଄ / ෮چ = ௒୹ظΛ࠷༏ઌ͢Δҙࢥܾఆ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ Ϛωʔδϟʔ ΞϓϦέʔγϣϯΤϯδχΞ ސ٬࿈བྷ ෦಺࿈བྷ ΦϖϨʔγϣϯ ϋϯυϥʔ

Slide 69

Slide 69 text

69 ຊεϥΠυʹ΋ॻ͔Ε͍ͯΔϞσϧ΍ϓϥςΟΫε·Ͱ΋ؚΊͯ໢ཏతʹʮো֐ରԠʯ ΛମܥԽͨ͠ॻ੶Ͱ͢ɻ೔ຊޠͰಡΊΔͷ΋خ͍͠Ͱ͢Ͷ (.0ϖύϘͰ͸ຊॻͷʮΠϯγσϯτϨϕϧͷΞηεϝϯτʯΛऔΓࠐΈ·ͨ͠ɻ QPTUNPSUFNޙͷରԠ ΠϯγσϯτରԠ܇࿅ʹΞηεϝϯτධՁΛߦ͍·͢ɻ ΞηεϝϯτΛ΋ͱʹରԠϨϕϧͷධՁ΍ɺ܇࿅ܭըͷཱҊɺ;Γ͔͑Γͷ୊ࡐͱ͠·͢ γεςϜো֐ରԠͷڭՊॻ ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ ग़య: https://gihyo.jp/book/2020/978-4-297-11265-3

Slide 70

Slide 70 text

70 ອըʰΞϑϩాதʱͷπΠʔτΛಡΜͰ๣؍ऀޮՌΛཧղ͠·͠ΐ͏ Րࣄ͕ى͖͍ͯΔͷʹ୭΋ফ๷ंΛݺΜͰ͍ͳ͍ͱ͍͏ҰίϚͰ͢ ● ๣؍ऀޮՌΛආ͚Α͏ ○ ʮো֐ ୭͔͕ରԠͯ͠ΔͩΖ͏ʯ ○ ʮΞϥʔτ ͖ͬͱ୭͔ؾ͕ͭͩ͘Ζ͏ʯ ○ ʜ ͋ͳ͕ͨʮফ๷ं໰୊ΛղܾͰ͖ΔਓʯΛʹͳΖ͏ݺͼ·͠ΐ͏ ৽͘͠ೖࣾ͞Εͨಉ྅޲͚ͷΦϯϘʔσΟϯάͰອըΛಡΜͰ΋Βͬͯ ʢস͑ͳ͍͚Ͳɺস͍ͳ͕Β ΠϯγσϯτରԠͷϚΠϯυΛܒ໤͠·͢ 🔥 ୭΋… ফ๷ंΛݺΜͰ͍ͳ͍ͷͰ͋Δ!!! ը૾ͷग़య: @zenbutukawarete ͞ΜͷπΠʔτ https://twitter.com/zenbutukawarete/status/1097360604178767872 ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ (൪֎ฤ)

Slide 71

Slide 71 text

71 Πϯγσϯτʹ ཱͪ޲͔͏૊৫ͮ͘Γ Section 4

Slide 72

Slide 72 text

72 Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ ਓػҰମ = ૊৫จԽ + ٕज़ TTTCPUΛ௨ͯ͡ୡ੒͍ͨ͜͠ͱ͸ɺࣗಈԽͨ͠ΠϯγσϯτϚωδϝϯτࢧԉΛ ༻͍ͯɺ͍ͪ͸΍͘αʔϏεͷةػΛ৐Γӽ͑Δ͜ͱͰ͢ ͔͠͠ͳ͕ΒɺࣗಈԽͰͰ͖Δ͜ͱʹ΋ݶք͕͋Δͷ͕࣮৘Ͱ͢ɻ ૊৫಺Ͱܧଓతͳֶशɾ܇࿅ɾܒ໤Λଓ͚͍ͯ͘͜ͱͰΑΓɺٯڥʹڧ͍૊৫Λͭ͘Γ ͋͛ϨδϦΤϯεΛ֫ಘͰ͖Δͱߟ͍͑·͢

Slide 73

Slide 73 text

73 CPU͕ࢧԉͰ͖Δͷ͸ϓϩηεࢧԉʹཹ·Γ·͢ɻ Πϯγσϯτͷٕज़త໰୊·ͰʮࣗಈͰղܾ͢Δʯͷ͸ࠔ೉Ͱ͢ ○ ໰୊͕ղܾ͞Εͳ͚Ε͹ɺΠϯγσϯτ͔Β෮چͰ͖ͳ͍ ● ໰୊ղܾ͸ٕज़ऀʹҕͶΒΕΔ (*) ● ٕज़ऀ͸ΠϯγσϯτରԠͰϦʔμʔγοϓ(*) ΛͱΔ੹຿Λෛ͏ 8BSUJNFͷ૊৫ϞσϧͰ͸ɺΠϯγσϯτϋϯυϥʔʹՃ͑ͯ ٕज़ऀ΋ϦʔμʔγοϓΛൃش͢Δ͜ͱ͕ॏཁͩͱߟ͍͑ͯ·͢ɻ ࣋࿦: ΠϯγσϯτରԠͱٕज़ऀͷϦʔμʔγοϓ ը૾: https://www.irasutoya.com/2018/09/blog-post_136.html 1) ࣗಈͰղܾͰ͖Δ໰୊͸ γεςϜʹ͋Β͔͡Ίઃܭɾ࣮૷ͯ͠ରԠ͢Δ 2) ηΩϡϦςΟΠϯγσϯτ(ͷ͍͕ٙ͋Δࣄ৅) Ͱ͸ɺΧελϚʔαϙʔτ৬͕Ϣʔβ༷ͱͷ΍ΓऔΓΛਐΊͯϦʔυ͢Δࣄྫ΋͋Γ·͢ 3) Ϧʔμʔγοϓͱݴͬͯ΋ΧϦεϚੑɾӳ༤૾ΛٻΊΔͱ͍ͬͨ࿩Ͱ͸ͳ͍ɻʮೳಈతʹ໰୊Λղܾ͠Α͏ͱΞΫγϣϯΛىͯ͜͠ଞͷਓΛͻͬͺΔʯͱ͍͏χϡΞϯεͰ͢ 8BSUJNFͷ૊৫Ϟσϧ Πϯγσϯτϋϯυϥʔ ΠϯϑϥΤϯδχΞ ɹ ΧελϚʔαϙʔτ Ϛωʔδϟʔ ΞϓϦέʔγϣϯΤϯδχΞ ސ٬࿈བྷ ෦಺࿈བྷ ΦϖϨʔγϣϯ ϋϯυϥʔ 💪 💪 ΠϯγσϯτϚωδϝϯτΛઌਓɾઐ໳ՈʹֶͿ 💪

Slide 74

Slide 74 text

74 Ϧʔμʔγοϓ΍ϨδϦΤϯεͷϚΠϯυηοτ૊৫จԽ͸ҰேҰ༦Ͱ࡞ΒΕ·ͤΜ %FW4FD0QT$ZDMFͱ৘ใηΩϡϦςΟϚωδϝϯτ΋ซͤͯΠϯγσϯτʹඋ͑·͢ ● Πϯγσϯτϋϯυϥʔͷษڧձ ● ΠϯγσϯτରԠ܇࿅ ● ηΩϡϦςΟରࡦࣨͷΦϯϘʔσΟϯά TTTCPUνϡʔτϦΞϧ ● ώϠϦϋοτڞ༗ձ ● 1FQBCP5FDI'SJEBZ ࣾ಺ٕज़.5( Ͱͷએ఻ ● ڴҖϞσϦϯά ฏ͔࣌Βͷֶशɾ܇࿅ɾܒ໤ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

Slide 75

Slide 75 text

75 ΠϯγσϯτରԠ܇࿅Λఆظతʹ࣮ࢪ͍ͯ͠·͢ɻαʔϏε͝ͱʹγφϦΦΛߟ࣮͑ͯࢪ͠·͢ɻ TTTCPU΋ຊ൪ಉ༷ʹ༻͍·͢ɻΠϯγσϯτϋϯυϥʔΛ࿅श͢Δػձʹ΋ͳΓ·͢ɻ ΠϯγσϯτରԠ܇࿅ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 🔗 ϩϦϙοϓʹରͯ͠Πϯγσϯτ܇࿅Λߦ͍·ͨ͠ - ϖύϘςοΫϒϩά

Slide 76

Slide 76 text

76 த్Ͱೖࣾ͞Εͨํ޲͚ʹɺηΩϡϦςΟରࡦࣨͰΦϯϘʔσΟϯάΛߦ͍·͢ ִ݄։࠵ ηΩϡϦςΟରࡦࣨͷϛογϣϯͷઆ໌͔Β࢝·ΓɺTTTCPUͷνϡʔτϦΞϧ ࣮ࡍʹಈ͔ͯ͠΋Β͏ ΋΍Γ·͢ SSS Tuesday ʙηΩϡϦςΟରࡦࣨͷΦϯϘʔσΟϯά Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 4445VFTEBZ͸ɺηΩϡϦςΟΛτϐοΫͱ͢Δ4MBDLνϟϯωϧ͕TTTͰ͋Δ͜ͱͱɺ1BUDI5VFTEBZΛ΋໊ͬͨ͡લͰ͢

Slide 77

Slide 77 text

77 ϖύϘͰ͸ʮΠϯγσϯτରԠϚχϡΞϧʯ ಺੡ ͕ଘࡏ͠·͢ɻ ηΩϡϦςΟରࡦ͕ࣨ৘ใηΩϡϦςΟϚωδϝϯτͷҰ؏Ͱ࡞੒͍ͯ͠·͢ ● Πϯγσϯτͷఆٛ ● Πϯγσϯτൃੜ࣌ͷରԠϑϩʔ ● ॳಈରԠνʔϜͷൃ଍ ● ૊৫಺֎΁ͷ࿈བྷϑϩʔ ● FUD ͦ΋ͦ΋TTTCPU͕ຊϚχϡΞϧΛͳͧΔΑ͏ʹ࡞੒͞Εͨ΋ͷͳͷͰͨ͠ ࣗಈԽγεςϜΛϚχϡΞϧɾنఆɾ੍౓ͱ੔߹ੑΛอͭΑ͏ʹͯ͠ ϚωδϝϯταΠυͱฒ૸ͨ͠ར༻Λ໨ࢦ͠·͢ τοϓμ΢ϯͷϚωδϝϯτ: ϚχϡΞϧͷ࡞੒ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

Slide 78

Slide 78 text

78 ʰγεςϜো֐ରԠͷڭՊॻʱͷʮΠϯγσϯτରԠϨϕϧͷΞηεϝϯτʯΛϖύϘ༻ޠʹॻ͖௚ͨ͠ΞηεϝϯτΛ࡞͍ͬͯ·͢ QPTUNPSUFN΍ΠϯγσϯτରԠ܇࿅ͷλΠϛϯάͰΞηεϝϯτͷ࣮ࢪΛનΊ͍ͯ·͢ τοϓμ΢ϯͷϚωδϝϯτ: Ξηεϝϯτͷ࡞੒ ʰγεςϜো֐ରԠͷڭՊॻʱ 7ষ - ૊৫ͷো֐ରԠ޲্ͱମ੍ͮ͘ΓͷΞηεϝϯτΛجʹͨ͠ɻ༻ޠϨϕϧͰϖύϘ༻ʹվగΛೖΕͨ (ྫΠϯγσϯτίϚϯμʔ -> Πϯγσϯτϋϯυϥʔ) Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

Slide 79

Slide 79 text

79 τοϓμ΢ϯͷϚωδϝϯτ: ධՁʹ૊ΈೖΕΔ ϖύϘͷΤϯδχΞ৬ͷධՁ੍౓Ͱ͸ɺઐ໳ੑΛධՁ͢Δ࣠ͱͯ͠ɺ ҎԼͷࡾͭͷྗ Λܝ͍͛ͯ·͢ ● ࡞Γ্͛Δྗ ● ઌΛݟ௨͢ྗ ● ӨڹΛ޿͛Δྗ ࣍ظͷվఆͰ͸ɺྫ֎తࣄଶ΁ͷରԠ ྫΠϯγσϯτʹରԠͰ͖Δ͜ͱ Λ ධՁཁ݅ʹ੝ΓࠐΉ͜ͱΛܭը͍ͯ͠·͢ɻ ݱߦͷ੍౓ʹ͍ͭͯ͸ϖύϘͷΤϯδχΞͷ֤छ੍౓ՆϖύϘςοΫϒϩάΛࢀর͍ͯͩ͘͠͞ ͞Βʹ 9߲໨ʹࡉ෼Խ͞ΕͨධՁ࣠΋ଘࡏ͢Δɻ౳ڃʹΑͬͯద༻͕ҟͳΔ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 3) ैདྷͷධՁ࣠ʹྫ֎తࣄଶ΁ͷରԠ͕௥Ճ͞Εͯ ઐ໳ੑͷओு͕֦࣠ு͞ΕΔͷͰ͋Δ ɻ୹བྷతʹʮΠϯγσϯτରԠΛ͠ͳ͚Ε͹ධՁ͕Լ͕Δʯͱଊ͑Δ΋ͷͰ͸ͳ͍

Slide 80

Slide 80 text

80 Ξ΢τϓοτʹঢ՚͢Δ ٕज़తͳ೉қ౓ͷߴ͔ͬͨΠϯγσϯτͰ͸ɺ໰୊Λநग़ɾҰൠԽͯ͠Ξ΢τϓοτͱ͠ɺֶͼʹঢ՚͠·͢ τϥϒϧγϡʔςΟϯάΛϖύϘςοΫϒϩάͷ୊ࡐʹॻ͘ͷ͸ɺࠓͷͱ͜ΖࢲݸਓͰͷऔΓ૊ΈʹͱͲ·Γ·͢ QPTUNPSUFNΛԆ௕ͨ͠ͱͯ͠ΞΫγϣϯͱͯ͠޿·ͬͯ͘ΕΔͱ͍͍ͳͱࢥ͍ͬͯ·͢ ༨ஊͰ͕͢ɺ࠷ۙத్Ͱೖࣾͯ͘͠Εͨಉ྅͔Βʮೖࣾલʹ͜ͷΤϯτϦಡΈ·ͨ͠ʯͱϑΟʔυόοΫ͕͋Γ·ͨ͠ɻخ͍͠ΤϐιʔυͰ͢ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ 🔗 ϖύϘςοΫϒϩά - τϥϒϧγϡʔςΟϯάͷΤϯτϦ

Slide 81

Slide 81 text

81 վΊͯ43&ຊΛݟ௚ͯ͠ʮਓؒʯʹϑΥʔΧεͨ͠ষΛ࠶ൃݟ͠·͠ΐ͏ ● ষɹޮՌతͳτϥϒϧγϡʔςΟϯά ● ষɹۓٸରԠ ● ষɹΠϯγσϯτ؅ཧ ● ষɹϙετϞʔςϜͷจԽɿࣦഊ͔Βͷֶͼ ● ষɹαʔϏεো֐ͷ௥੻ (PPHMFͷΑ͏͍ߴ͍ٕज़Λ΋ͭΤϯδχΞϦϯάνʔϜ͕ ΠϯγσϯτϚωδϝϯτΛߦ͍ͬͯΔ͜ͱΛ൓ᢸ͍ͨ͠ RE: SRE ͷॻ੶ Πϯγσϯτʹཱͪ޲͔͏૊৫࡞Γ

Slide 82

Slide 82 text

82 ల๬ͱ՝୊ Section 5

Slide 83

Slide 83 text

83 ల๬ͱ՝୊ ࠓޙͷల๬΍՝୊ TTTCPUΛ࡞͔ͬͯΒ೥൒΄Ͳܦա͍ͯ͠·͕͢ɺ΍Γ͍ͨ͜ͱ՝୊͸༷ʑ͕͍͋ͬͯ·͢ ● 43&ͷऔΓ૊ΈΛࢧԉ͍ͨ͠ ● 4-"4-*4-0ͷܭଌʹԠ༻͢Δ ● ΠϯςάϨʔγϣϯΛॆ࣮͍ͤͨ͞ ● 1BHFS%VUZ %BUB%PH౳ͷ4BB4ͱ࿈ܞ ● γεςϜͷϝτϦΫε 1SPNFUIFVT ͱ࿈ܞ ● 4MBDL6*Λ΋ͬͱ׆༻͍ͨ͠ ● ྫ νΣοΫϦετ6*ͰϓϩηεͷਐߦΛ೺ѲͰ͖Δͱ͔ ● FUD ޙड़͢Δ 43&*ODJEFOU3FTQPOTF1MBUGPSNΛఏڙ͢Δ4BB4΋ग़͓ͯΓ ಺੡ͰͲ͜·Ͱ։ൃ͢Δ͔΋೰·͍͠ͱ͜ΖͰ͢

Slide 84

Slide 84 text

84 ւ֎ͷ SRE / Incident Response ͷ SaaS ͜ͷଞʹ΋αʔϏε͕͋Γ·ͨ͠ΒϑΟʔυόοΫΛ͍͚ͨͩΔͱ޾͍Ͱ͢ ւ֎Ͱ͸43&ΠϯγσϯτରԠʹϑΥʔΧεͨ͠4BB4΋ొ৔͍ͯ͠Δ https://rootly.io/ https://www.blameless.com/ Πϯγσϯτʹؔ͢ΔϓϥοτϑΥʔϜ

Slide 85

Slide 85 text

85 1) σϞΛோΊ͚ͨͩͰɺ࣮ࡍʹৄࡉ͸೺Ѳ͓ͯͯ͠Γ·ͤΜɻར༻͍ͯ͠Δํ͕͍Βͬ͠ΌͨΒϑΟʔυόοΫΛ͍͚ͨͩΔͱ޾͍Ͱ͢ ւ֎ͷ SRE / Incident Response ͷ SaaS 4MBDLΠϯςάϨʔγϣϯΛඋ͑ɺΠϯγσϯτରԠͷϓϩηεΛࣗಈͰࢧԉ͢Δ6*69΋ఏڙ͢Δ https://rootly.io/ https://www.blameless.com/ Πϯγσϯτʹؔ͢ΔϓϥοτϑΥʔϜ 2)Severity ΛೖΕΔͷ͸Ͳ͜΋࠾༻͍ͯ͠ΔϓϥΫςΟεʹͳ͍ͬͯΔɻਅࣅͨ͠Θ͚Ͱ͸ͳ͍ͷͰҰԠ

Slide 86

Slide 86 text

86 ऴΘΓ 🍵 ΤϯδχΞϦϯά͔ΒϚωδϝϯτ·ͰςʔϚΛ޿͛ͨ(.0ϖύϘͷࣄྫͰͨ͠ *5اۀͰͷΠϯγσϯτରԠʹ·ͭΘΔ࿩Λ͞ΒʹΦʔϓϯʹσΟεΧογϣϯ͍͖ͯ͠·͠ΐ͏

Slide 87

Slide 87 text

87 Appendix 96 ࿥ըͷࡍʹܝࡌΛݟૹͬͨϖʔδͰ͢

Slide 88

Slide 88 text

88 sssbot ͸νϟϯωϧΛ࡞Δ͚ͩͷ؆ૉͳ CLI πʔϧ͔Βঃʑʹ slack app ʹ࡞ΓࠐΜͰ͍ͬͨ ● ࣾ಺Ͱલ৐ΓͰ࢖ͬͯ͘ΕΔਓʹϑΟʔυόοΫΛ΋Β͏ ● ϖύϘͷࡏ੶͕௕͘ ୭ʹצॴ͕ར͍ͨͱ͍͏໘΋͋Δ͔ͱࢥ͏ ● πʔϧͷਐԽͱͱ΋ʹɺैདྷͷ΍ΓํΛঃʑʹม͍͑ͯ͘Α͏ʹ౒Ίͨ ·ͨɺπʔϧͷ։ൃɾීٴͱ߹Θͤͯ ηΩϡϦςΟରࡦνʔϜͱͯ͠৴པΛ֫ಘʹ΋౒Ίͯ·ͨ͠ ● શͯͷΠϯγσϯτରԠνϟϯωϧʹ join ͢Δ ○ CTO, VPoE, ηΩϡϦςΟରࡦνʔϜ͸ඞͣ invite ͞ΕΔ ● ࣗ෼͕τϥϒϧղܾͰ͖ΔػձΛर͍ͬͯ͘ ΠϯγσϯτରԠπʔϧΛҰؾʹಋೖͯͨ͠ͱ͜ΖͰɺϞσϧ΍ϓϥΫςΟε΋ؚΊͯ޿Ί͍͚͔ͯͨ ɺ͋Δ͍͸ࢲࣗ਎ֶ͕ͼ ಘ͍͔ͯͨɺ͸ߟ͑ͯ͠·͏ͱ͜Ζ͕͋Γ·͢ɻ ΠϯγσϯτࣗಈԽͷઌ sssbot ։ൃ͔Βීٴ·Ͱ

Slide 89

Slide 89 text

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ൃੜʙݕ஌ ؂ࢹγεςϜͰҟৗΛଊ͑ΒΕ͍ͯͳ͍ ސ٬͸ӨڹΛड͚͍ͯΔ ΠϯγσϯτରԠͷλΠϜϥΠϯ ൃੜ ෮چ ؇࿨ ղܾ

Slide 90

Slide 90 text

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ݕ஌ɾΞϥʔτϑΣʔζ • ؂ࢹγεςϜ͕ݕ஌ɾΞϥʔτ͕௨஌ • Ϣʔβ͔Βͷ͓໰߹ΘͤͰݕ஌ • ୲౰νʔϜʹΤεΧϨʔγϣϯ ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

Slide 91

Slide 91 text

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ରԠϑΣʔζͷ։࢝ • ॳಈରԠνʔϜΛটू • ίϛϡχέʔγϣϯͷཱ֬ (νϟωϧ࡞੒) ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

Slide 92

Slide 92 text

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ରԠʙ෮چϑΣʔζ • ௐࠪɾ෮چ࡞ۀ͢Δ • Ϣʔβ޲͚ͷରԠΛͱΔ • ૊৫಺֎΁࿈བྷ͢Δ ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

Slide 93

Slide 93 text

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ෮چ(؇࿨) • ໰୊ͷ௜੩ԽɾΞϥʔτͷऩଋ • ෮چΛએݴ͢Δ • ϢʔβରԠ (͓໰͍߹ΘͤɺSNSࠂ஌ ) ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

Slide 94

Slide 94 text

࣌ؒ ૊৫΁ͷӨڹ ސ٬΁ͷӨڹ ΠϯγσϯτϚωδϝϯτ ؂ࢹcΞϥʔτcରԠ ݕ஌ Ξϥʔτ ରԠ ղܾ • postmortem ͷ࣮ࢪ • ࠶ൃ๷ࢭɾΞΫγϣϯΞΠςϜͷݕ౼/࣮ࢪ΁ • ϨϏϡʔɾ෼ੳ ൃੜ ෮چ ؇࿨ ղܾ ΠϯγσϯτରԠͷλΠϜϥΠϯ

Slide 95

Slide 95 text

95 ΠϯγσϯτϚωδϝϯτࣗಈԽͷϙΠϯτ : ϓϥΫςΟεͷಋೖ (ิ଍) Brent Chapman ͞Μ “Googleࣾͷ఻આతͳSRE૊৫ʹॴଐ͍ͯͨ͠ͱ͖ɺIncident Management at Google (IMAG)γεςϜΛߏ ஙɾ্ཱͪ͛ɺݱࡏ͸શࣾతʹۓٸࣄଶ؅ཧʹ࢖༻͞Ε͍ͯΔɻ” "ϒϨϯτ͸·ͨɺݩߤۭ૞ࡧٹॿύΠϩοτ͓Αͼࣄ݅ࢦش׭ɺओཁͳܳज़͓ΑͼԻָࡇ͓ΑͼΠϕϯτ ͷۓٸ೿ݣ͓Αͼ೿ݣ؂ಜऀɺͳΒͼʹίϛϡχςΟۓٸରԠνʔϜʢCERTʣͷϝϯόʔ͓ΑͼΠϯετ ϥΫλʔͰ΋͋Γ·͢ɻ” “MajordomoʢੈքதͷԿेສ΋ͷαΠτͰ࢖༻͞Ε͍ͯΔϝʔϦϯάϦετ؅ཧιϑτ΢ΣΞʣ … ͳͲ ͷΦʔϓϯιʔειϑτ΢ΣΞͷ։ൃऀͰ΋͋Δɻ ݱࡏ͸ Slack ͷΠϯγσϯτϚωδϝϯτܞΘ͍ͬͯΔΑ͏Ͱ͢ɻ Slack ʹ͍ͭͯ࿩Λͨ͠ SRECon21 ͷಈը͕ 2021/10/15෇͚Ͱެ։͞Ε͍ͯ·͢ ग़య: https://greatcircle.com/im/ ग़య: https://www.youtube.com/watch?v=FYYTglQoS3w

Slide 96

Slide 96 text

96 lγεςϜઃܭ͕ΑΓෳࡶʹͳΓɺ༷ʑͳλΠϓͷઐ໳Ո ͷڠௐͱ౷߹͕ඞཁʹͳΔʹͭΕͯɺγεςϜͷಈ࡞΍ߦ ಈΛཧղ͠ɺ݁ՌΛ༧૝͢Δ͜ͱ͸·͢·͢ࠔ೉ʹͳͬͯ ͖ͨz ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 97

Slide 97 text

97 lࣗಈԽʹΑͬͯΦϖϨʔλͷΤϥʔͷϦεΫ͸௿ݮ͞ΕΔ ͱࢥ͏͔΋͠Εͳ͍͕ɺอक΍मཧͱ͍ͬͨۀ຿΁γϑτ ͨ͠ΓɺΑΓߴ౓ͳ؂ࢹ੍ޚ΍ҙࢥܾఆ΁ͱγϑτ͍ͯ͠ Δʹա͗ͣɺࣗಈԽʹΑͬͯγεςϜ͔Βਓ͕͍ؒͳ͘ͳ Δ͜ͱͳ͍ͱ͍͏ͷ͕ਅ࣮Ͱ͋Δz ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 98

Slide 98 text

98 lઃܭऀ͸ɺγεςϜͷಛੑΛ׬શʹཧղͰ͖ͳ͍͔ɺγ εςϜ͕Քಇ͢΂͖؀ڥ৚݅Λ׬શʹ༧૝Ͱ͖ͳ͍͜ͱ͕ ͋Δɻࣄ৅͕༧ݟͰ͖ͳ͔͔ͬͨɺෆద੾ʹѻΘΕ͔ͨɺ ·ͨ͸ઃܭऀͷ੾ΓࣺͯϨϕϧҎԼͰ͋ͬͨͨΊʹɺීஈ ͸֬཰͕௿͍ࣄ৅͕ɺࣗಈԽγεςϜ͕๷ޚાஔΛߨ͡ͳ ͍··࢒͞ΕΔͩΖ͏z ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 99

Slide 99 text

99 lΦϖϨʔλ͸ɺى͜ΓಘΔۓٸࣄଶͷࠀ෰Λظ଴͞ΕΔ ͚ͩͰͳ͘ɺ੒ޭ͠ͳ͍৔߹ͷӨڹ͕ॏେʹͳΓಘΔ৔߹ ͸ɺ͠͹͠͹γεςϜ͕ରԠͰ͖Δۃݶঢ়ଶͰͷհೖ͕ٻ ΊΒΕΔɻۓٸࣄଶʹ͸ઃܭऀ͕૝ఆ͠ͳ͔ͬͨঢ়گ΍ɺ ΦϖϨʔλͷ܇࿅Ͱ͸ରॲͰ͖ͳ͍ঢ়گؚ͕·ΕΔɻz ΦϖϨʔλ͸͠͹͠͹ۃݶঢ়ଶͰհೖͤͶ͹ͳΒͳ͍ (1) ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 100

Slide 100 text

100 lΦϖϨʔλ͸ɺঢ়گΛ଎΍͔ʹ਍அ͠ରԠͤͶ͹ͳΒͳ ͍͚ͩͰͳ͘ɺۃ౓ͷۓுͷԼͰɺγεςϜͷঢ়ଶʹ͍ͭ ͯݶΒΕͨ৘ใ͔͠ͳ͍ঢ়گԼͰɺ૑଄ੑͱ޻෉ͷ࠽Λ༻ ͍ͯͦΕΛ΍Βͳ͚Ε͹ͳΒͳ͍ɻΘΕΘΕ͸ɺ൴Β͕ࣦ ഊͨ࣌͠ʹڻ͘ͷͰͳ͘ɺ͜͏ͨ͠ঢ়گͷԼͰɺਓ͕ؒ͠ ͹͠͹͖ΘΊͯ͏·͘΍͍ͬͯΔ͜ͱʹڻ୰͢΂͖ͳͷͰ ͋Δɻz ΦϖϨʔλ͸͠͹͠͹ۃݶঢ়ଶͰհೖͤͶ͹ͳΒͳ͍ (1) ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 101

Slide 101 text

101 ᶃΊͬͨʹى͜Βͳ͍ࣄ৅ͷ֬཰ΛධՁ͢Δͷ͕೉͍͜͠ͱ ᶄઌೖ؍Λ࣋ͬͯ෭࡞༻ʹ͍ͭͯߟ͑Δ͜ͱ ᶅۮൃࣄ৅Λݟམͱ͢܏޲͕͋Δ͜ͱ ᶆγεςϜͷݶΒΕͨ਺ͷ؍఺͚ͩʹूதͯ͠ෳࡶ͞Λ཈͑Δ܏޲͕͋Δ ᶇෳࡶͳؔ܎Λ೺Ѳ͢Δೳྗʹݶք͕͋Δ͜ͱ ࣗಈԽγεςϜʹ͓͚Δਓؒͷඞཁੑ ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 102

Slide 102 text

102 lࣗಈԽʹΑͬͯΦϖϨʔλͷΤϥʔͷϦεΫ͸௿ݮ͞ΕΔ ͱࢥ͏͔΋͠Εͳ͍͕ɺอक΍मཧͱ͍ͬͨۀ຿΁γϑτ ͨ͠ΓɺΑΓߴ౓ͳ؂ࢹ੍ޚ΍ҙࢥܾఆ΁ͱγϑτ͍ͯ͠ Δʹա͗ͣɺࣗಈԽʹΑͬͯγεςϜ͔Βਓ͕͍ؒͳ͘ͳ Δ͜ͱͳ͍ͱ͍͏ͷ͕ਅ࣮Ͱ͋Δz ʰηʔϑ΢ΣΞʱNancye Leveson

Slide 103

Slide 103 text

103 lઃܭऀ͸ɺγεςϜͷಛੑΛ׬શʹཧղͰ͖ͳ͍͔ɺγ εςϜ͕Քಇ͢΂͖؀ڥ৚݅Λ׬શʹ༧૝Ͱ͖ͳ͍͜ͱ͕ ͋Δɻࣄ৅͕༧ݟͰ͖ͳ͔͔ͬͨɺෆద੾ʹѻΘΕ͔ͨɺ ·ͨ͸ઃܭऀͷ੾ΓࣺͯϨϕϧҎԼͰ͋ͬͨͨΊʹɺීஈ ͸֬཰͕௿͍ࣄ৅͕ɺࣗಈԽγεςϜ͕๷ޚાஔΛߨ͡ͳ ͍··࢒͞ΕΔͩΖ͏z ʰηʔϑ΢ΣΞʱNancye Leveson