MSP における SRE の実践 / The practice of SRE in MSP

企業セミナー「サイバー攻撃に備える「DevOps」という選択」での発表資料です。
https://www.kdl.co.jp/event_info/seminar/2019/04/devops.html
https://appsecbriefing.doorkeeper.jp/events/91423

1. MSP ʹ͓͚Δ Site Reliability Engineering ͷ࣮ફ גࣜձࣾϋʔτϏʔπ MSPࣄۀ෦ ߴଜ ੒ಓʢ@nari_exʣ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 1
2. ࣗݾ঺հ • Takamura Narimchi / ߴଜ ੒ಓ • @nari_ex • גࣜձࣾϋʔτϏʔπ • औక໾ VP of Engineering • MSPࣄۀ෦ΤϯδχΞϦϯάάϧʔ ϓγχΞϚωʔδϟʔ • MSPࣄۀ෦ӡ༻άϧʔϓγχΞϚ ωʔδϟʔ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 2
3. גࣜձࣾϋʔτϏʔπ • 2005೥૑ۀ • ࣄۀ಺༰ • MSP ࣄۀ • Πϯϑϥӡ༻ͷΞ΢τιʔαʔ • ؂ࢹɺઃܭɺߏஙɺΫϥ΢υಋೖࢧ ԉɺίϯαϧςΟϯά • ։ൃࣄۀ • ࣾһ਺: 76໊ʢΤϯδχΞ: 60໊ʣ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 3
4. ࢀߟ: ఏڙαʔϏε 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 4
5. ࢀߟ: αʔϏεಋೖޙͷମ੍ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 5
6. ࣮ࡍʹӡ༻͍ͯ͠Δ Web αʔϏε 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 6
7. 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 7
8. ͝஫ҙ • SRE ͷઆ໌͸Ͱ͖Δ͚ͩ SRE ຊʹج͍͍ͯ·͕͢ݸਓతͳղऍ ΛؚΉ෦෼͕͋Γ·͢ • ݫີͳఆٛΛ֬ೝ͍ͨ͠৔߹͸ɺGoogle ͷॻ੶΍υΩϡϝϯτ Λࢀর͍ͩ͘͞ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 8
9. SRE ͱ͸ • 2ͭͷݴ༿ͷུޠ • Site Reliability EngineeringʢSREʣ • ద੾ͳαΠτ৴པੑΛ࣮ݱ͢ΔͨΊͷٕज़ख๏ɾٕज़ྖҬ • ఻౷తͳ ops ͱ͸ҰઢΛը͢ • Site Reliability EngineerʢSREsʣ • ্هख๏Λ࣮ݱ͢Δ৬छ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 9
10. ఻౷తͳ ops • جຊతʹख࡞ۀʹཔΔ • γεςϜվળͷͨͼʹखॱॻʹखॱ͕௥Ճ͞ΕɺͲΜͲΜ޻਺ ͕૿͍͑ͯ͘ • ҆ఆՔಇΛॏࢹ͠ա͗Δ͋·ΓɺੵۃతͳػೳվળΛߦ͓͏ͱ ͢Δ Dev ͱରཱ͕ͪ͠ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 10
11. SRE ͕ੜ·Εͨഎܠ • Motivation • େن໛ͷෳࡶͳίϯϐϡʔλγεςϜΛӡ༻͢Δͱ͖ɺγεςϜͷ੒௕ɾ֦େʹൺྫͯ͠ӡ༻ܥΤϯδχΞ ͷਓ਺͕όϯόϯ૿͑ΔͷΛ΍Ί͍ͨ • ։ൃνʔϜʢDevʣͱӡ༻νʔϜʢOpsʣͷରཱΛղܾ͍ͨ͠ • Basic Concepts • γεςϜɾମ੍Λιϑτ΢ΣΞΤϯδχΞϦϯάͱͯ͋͠Δ΂͖࢟ʹ͢Δ • ૊৫ߏ଄తͳରཱΛͳ͘͢ • Core Practices • ιϑτ΢ΣΞΤϯδχΞʹΑΔ఻౷త ops ͷ࠶ఆٛɾஔ׵ • ্هͷཤߦɾਪਐɾҡ࣋ʹ͓͍ͯձ͕ࣾ SRE Λࢧ࣋ɾࢧԉ͢Δ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 11
12. DevOps ͱ SRE ͸Ͳ͏͍͏ؔ܎ʁ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 12
13. class SRE implements DevOps 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 13
14. class SRE implements DevOps1 • DevOps ͱ͸ؔ܎ͳ͘ SRE ͸ੜ·Ε͚ͨͲɺ݁Ռతʹ DevOps ͷ఩ֶ Λମݱ͍ͯͨ͠ͱ͍͏ྲྀΕ • SRE ͷϓϥΫςΟε͸ DevOps ͷൣғ֎ͷ΋ͷ΋ؚΜͰ͍Δ͕ɺൣғ ಺ͷ΋ͷʹ͍ͭͯ͸۩ମతͳख๏͕ఏҊ͞Ε͍ͯΔͱ͍͏࿩ • ͜ͷؔ܎ੑΛҰݴͰද͢ͱ class SRE implements DevOps • DevOps ͱ SRE ͸ڝ߹͢Δख๏Ͱ͸ͳ͘਌͍͠༑ͩͪ 1 SRE vs. DevOps: competing standards or close friends? 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 14
15. ิ଍: DevOps ͱ SRE ͷؔ܎ੑ1 ͨͱ͑͹ DevOps ͷ 5 ͭͷப͸ SRE ͷϓϥΫςΟεͱରԠͤ͞Δ͜ͱ͕Ͱ͖Δ DevOps SRE Reduce Organization Silos Share ownership Accept Failure as Normal SLOs & Blameless PMs Implement Gradual Change Reduce costs of failure Leverage Tooling & Automation Automate this year's job away Measure Everything Measure toil and reliablity 1 SRE vs. DevOps: competing standards or close friends? 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 15
16. ҙ༁ DevOps SRE ૊৫ͷαΠϩΛݮΒ͢ ʢ૊৫ؒͰʣॴ༗ݖΛڞ༗͢Δ ΤϥʔͷൃੜΛલఏͱ͢Δ SLO Λఆٛ͠ɺඇ೉Λ൐Θͳ͍ϙετϞ ʔςϜΛߦ͏ ஈ֊తʹมߋ͢Δ ࣦഊ࣌ͷίετΛݮΒ͢ πʔϧͱࣗಈԽΛ׆༻͢Δ ໨ͷલͷ࢓ࣄͷࣗಈԽΛߦ͏ શͯΛܭଌ͢Δ τΠϧͱ৴པੑͷܭଌΛߦ͏ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 16
17. ϋʔτϏʔπʹ͓͚Δ SRE ͷ࣮ફ ʙࣗࣾۀ຿Λιϑτ΢ΣΞΤϯδχΞϦϯάͰ࠶ఆٛɾஔ׵ʙ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 17
18. ೔ʑͷۀ຿Λιϑτ΢ΣΞΤϯδχΞϦϯάͰվળ ޻਺͕ඇৗʹଟ͍ҎԼͷۀ຿Λιϑτ΢ΣΞΤϯδχΞϦϯάͰ ࠶ఆٛɾஔ׵ • ؂ࢹɾϞχλϦϯάͷઃఆ࡞ۀ • ࢓༷ॻ࡞੒ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 18
19. Before... • ؂ࢹɾϞχλϦϯάͷઃఆ࡞ۀ • ؂ࢹΤʔδΣϯτઃఆ: ֤αʔό΁ϩάΠϯͯ͠ख࡞ۀͰઃఆهड़ • ؂ࢹ߲໨ݕ౼: ىಈϓϩηεΛ֬ೝͯ͠؂ࢹ߲໨ΛϦετΞοϓ • ؂ࢹαʔόઃఆ: ؂ࢹαʔόʹϩάΠϯͯ͠3ͭҎ্ͷઃఆϑΝΠϧΛߋ৽ • ઃఆ൓ө: ੠ֻ͚Λ͠ͳ͕ΒԹ͔Έͷ͋Δ൓ө࡞ۀ • ࢓༷ॻ࡞੒ • ϑΥʔϚοτ: Word • ૢ࡞: ͢΂ͯख࡞ۀ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 19
20. happo • ؂ࢹɾϝτϦΫεઃఆΛதԝ؅ཧɾҰ੍ׅޚ͢ΔΞʔΩςΫνϟ • ઃఆϑΝΠϧΛࣗಈੜ੒ɺYAMLʹͯ؅ཧ • ࢮ׆؂ࢹ͚ͩͰͳ͘ϝτϦΫεऩू΋ߦ͏ΤʔδΣϯτϓϩάϥϜΛ಺੡2 • Golang ͳͷͰόΠφϦΛஔ͚ͩ͘Ͱ࣮ߦՄೳ • ࢮ׆؂ࢹ͸ Nagios ޓ׵ • ΦʔτεέʔϦϯάʹ΋ରԠ • ϝτϦΫεऩू͸ sensu-plugin ޓ׵ => mackerel-agent-plugins ޓ׵ 2 https://github.com/heartbeatsjp/happo-agent 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 20
21. kinjiro • ςϯϓϨͱϢʔβࢦఆͷύϥϝʔλʹ ج͍ͮͯ؂ࢹ࢓༷ॻͷࣗಈੜ੒Λߦ͏ • Markdown ϕʔεͰهड़ • Git Ͱ؅ཧ • ίϛοτϑοΫͰࣗಈతʹ PDF ʹม׵ => Google Drive ΁อଘ • ߋ৽͸ Gitlab ্ʹͯϓϧϦΫΤετ ϕʔεͰߦΘΕΔ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 21
22. kinjiro ೖྗ߲໨ • ֤छҊ݅৘ใ • ར༻ج൫ʢAWS, Azure, GCP...ʣ • OS • Autoscaling ༗ແ • ϛυϧ΢ΣΞ • ... 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 22
23. ܶతϏϑΥʔΞϑλʔ Before After ؂ࢹΤʔδΣϯτઃఆ ֤αʔό΁ϩάΠϯͯ͠ख࡞ۀͰઃఆه ड़ தԝ؅ཧͷͨΊෆཁ ؂ࢹ߲໨ݕ౼ ىಈϓϩηεΛ֬ೝͯ͠؂ࢹ߲໨ΛϦε τΞοϓ େ൒Λࣗಈੜ੒ ؂ࢹαʔόઃఆ ෳ਺ͷ؂ࢹαʔόͰෳ਺ͷઃఆϑΝΠϧ Λ࡞੒ େ൒Λࣗಈੜ੒ ઃఆ൓ө ੠ֻ͚Λ͠ͳ͕ΒԹ͔Έͷ͋Δखॱʹ ج͍ͯ൓ө ίϚϯυҰൃͰ൓ө ࢓༷ॻϑΥʔϚοτ Word Markdown ࢓༷ॻߋ৽ૢ࡞ ͢΂ͯख࡞ۀ େ൒Λࣗಈੜ੒ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 23
24. ϋʔτϏʔπʹ͓͚Δ SRE ͷ࣮ફ ʙސ٬ͷΠϯϑϥ؀ڥʹ͓͚Διϑτ΢ΣΞΤϯδχΞϦϯάʙ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 24
25. ϋʔτϏʔπͰ͸೔ʑͷαʔϏεӡ༻Λߦ͍ͳ͕Β طଘͷΠϯϑϥ՝୊ͷൃݟˠղܾʹ΋औΓ૊ΜͰ͍·͢ɻ ͜Ε͔Β঺հ͢Δͷ͸௚ۙ1೥Ҏ಺ʹ͋ͬͨऔΓ૊ΈͷҰ෦Ͱ͢ɻ ※ސ٬ͷΠϯϑϥ؀ڥͳͷͰৄࡉ͸ল͖·͢ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 25
26. ϦϦʔεΤϯδχΞϦϯάͷࢧԉ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 26
27. ϦϦʔεΤϯδχΞϦϯάͷࢧԉ • Aࣾ͞·: HBͷϚωʔδυαʔϏε͝ར༻લͷঢ়گ • ϓϥΠϕʔτΫϥ΢υ؀ڥ • rsync ʹΑΔ׬શखಈͷσϓϩΠ • සൃ͢ΔσϓϩΠىҼͷো֐ • ϩʔϧόοΫ͢Δʹ΋Ұۤ࿑ • ίϯςϯπߋ৽ͷͨΊʹຖ೔ 2 ࣌ؒఀࢭ • ॎׂΓͳ Dev ͱ Opsʢଞࣾʣ ͱͦΕΒΛݟकΔ͔͠ͳ͍ BizʢAࣾ͞·ʣ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 27
28. ϦϦʔεΤϯδχΞϦϯάͷࢧԉ • ϋʔτϏʔπͷ׆ಈ • BizɺDevɺOps ͷ3ऀʢ3ࣾʣ߹ಉͷϛʔςΟϯάΛઃఆ • ֤ʑͷࢹ఺͔Β՝୊Λચ͍ग़͠ • ༏ઌॱҐ෇͚ɺ߹ҙܗ੒Λͯ͠ํ޲ੑΛܾఆ • Dev ͱڠྗ͠ͳ͕ΒҎԼΛಋೖɾӡ༻ • AWSɺCI/CDπʔϧɺBlue-Green σϓϩΠϝϯτɺηΩϡϦςΟιϦϡʔγϣϯ • σϓϩΠʹؔΘΔιϑτ΢ΣΞΛϋʔτϏʔπʹͯ։ൃ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 28
29. ϦϦʔεΤϯδχΞϦϯάࢧԉͷ݁Ռ Before After ఀࢭϝϯςφϯε࣌ؒ ຖ೔໷ؒ 2 ࣌ؒ ͳ͠ σϓϩΠͷ৚݅ ఀࢭϝϯςඞਢ ΦϯϥΠϯͰ࣮ࢪՄೳ σϓϩΠαΠΫϧ ࠷େͰ΋1೔1ճ 1೔2ʙ3ճҎ্ ఀࢭϝϯς͕ෆཁʹɻσϓϩΠαΠΫϧ΋ߴ଎Խʂ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 29
30. ϩά෼ੳج൫ͷઃܭɾߏங 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 30
31. ϩά෼ੳج൫ͷઃܭɾߏங • Bࣾ͞·: HBͷϚωʔδυαʔϏε͝ར༻લͷঢ়گ • ๲େͳϩάΛඇಉظͰ෼ੳج൫΁సૹ • ඇಉظͳͷͰ͙͢ʹϢʔβಈ޲Λ֬ೝͰ͖ͳ͍ • సૹ͸ࣗಈ͕ͩɺ࠶ૹ͸खಈͰߦ͏ඞཁ͋Γ • ϩάྔ૿Ճʹ൐͍సૹ࣌ͷύϑΥʔϚϯε΋՝୊ʹ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 31
32. ϩά෼ੳج൫ͷઃܭɾߏங • ϋʔτϏʔπͷ׆ಈ • ސ٬ͷ SREs ͱ։ൃνʔϜ͔ΒώΞϦϯάΛߦ͍՝୊Λநग़ • ϩάϑΥʔϚοτɺจࣈίʔυ΍సૹʹ࢖͍ͬͯΔಠࣗϓϥάΠϯͳͲΛ ΨοπϦௐࠪ • αʔϏεαΠυͷطଘͷϫʔΫϑϩʔΛ֬ೝ • ৽ϩά෼ੳج൫ͷఏҊɾߏஙɾӡ༻ • ؊ͱͳΔϩάసૹʹ͸HBʹͯ։ൃͨ͠ fluentd ϓϥάΠϯΛར༻ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 32
33. ϩά෼ੳج൫վળͷ݁Ռ Before After ࠶ૹॲཧ ΤϯδχΞʹΑΔखಈ࡞ۀ ࣗಈ αʔό୆਺ 9୆ 5୆ ϩάग़ྗ͔Βσʔλج൫౤ ೖͷॴཁ࣌ؒ 1࣌ؒ ϦΞϧλΠϜ ݁Ռͱͯ͠ɺ௿ίετԽ͕࣮ݱ͞Εͨͱಉ࣌ʹɺ ΧελϚʔαϙʔτ୲౰ऀ༷͕ 1 ࣌ؒ଴ػ͢Δ͜ͱͳ͘ଈ໰͍߹Θͤ΁ճ౴Մೳʹ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 33
34. MSP ʹ͓͚Δ DevOps / SRE ͷ࣮ફ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 34
35. DevOps / SRE ࣮ફͷϙΠϯτ • ιϑτ΢ΣΞΤϯδχΞϦϯά • ར༻πʔϧ • ΧϧνϟʔʢϚΠϯυηοτʣ • MSP ͳΒͰ͸ͷಛ௃͋Γ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 35
36. MSP ʹඞཁͳΧϧνϟʔͱ SRE ࣮ફͷ伴 • MSP ͱ௚઀΍ΓͱΓ͢Δސ٬͸ Dev Ҏ֎ʹ΋ BizɺOps ΍ SREs ͷ৔߹΋͋Δ • ʮΠϯϑϥҎ֎ݟ·ͤΜʂʯͰ͸ͳ͘ɺঢ়گʹԠͯ͡ΞϓϦ΍αΠτͦͷ ΋ͷʹ౿ΈࠐΉ • Ωʔϫʔυ͸ ʮઌճΓʯʮओମੑʯʮೳಈੑʯ • MSPͷจ຺Ͱ͸͋ΒΏΔγʔϯͰ SRE ͸༗ޮ • ཱ৔໰ΘͣɺαʔϏεͷ৴པੑΛߴΊΔ͜ͱʹয఺Λ౰ͯͯɺओମతʹਂ͘ί ϛοτ͍ͯ͘͜͠ͱ͕࣮ફͷ伴 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 36
37. ͋Γ͕ͱ͏͍͟͝·ͨ͠ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 37