MSP における SRE の実践 / The practice of SRE in MSP

Transcript

1. MSP ʹ͓͚Δ Site Reliability Engineering ͷ࣮ફ גࣜձࣾϋʔτϏʔπ MSPࣄۀ෦ ߴଜ ੒ಓʢ@nari_exʣ

   2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 1

2. ࣗݾ঺հ • Takamura Narimchi / ߴଜ ੒ಓ • @nari_ex •

   גࣜձࣾϋʔτϏʔπ • औక໾ VP of Engineering • MSPࣄۀ෦ΤϯδχΞϦϯάάϧʔ ϓγχΞϚωʔδϟʔ • MSPࣄۀ෦ӡ༻άϧʔϓγχΞϚ ωʔδϟʔ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 2

3. גࣜձࣾϋʔτϏʔπ • 2005೥૑ۀ • ࣄۀ಺༰ • MSP ࣄۀ • Πϯϑϥӡ༻ͷΞ΢τιʔαʔ

   • ؂ࢹɺઃܭɺߏஙɺΫϥ΢υಋೖࢧ ԉɺίϯαϧςΟϯά • ։ൃࣄۀ • ࣾһ਺: 76໊ʢΤϯδχΞ: 60໊ʣ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 3

4. ࢀߟ: ఏڙαʔϏε 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 4

5. ࢀߟ: αʔϏεಋೖޙͷମ੍ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 5

6. ࣮ࡍʹӡ༻͍ͯ͠Δ Web αʔϏε 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 6

7. 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 7

8. ͝஫ҙ • SRE ͷઆ໌͸Ͱ͖Δ͚ͩ SRE ຊʹج͍͍ͯ·͕͢ݸਓతͳղऍ ΛؚΉ෦෼͕͋Γ·͢ • ݫີͳఆٛΛ֬ೝ͍ͨ͠৔߹͸ɺGoogle ͷॻ੶΍υΩϡϝϯτ

   Λࢀর͍ͩ͘͞ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 8

9. SRE ͱ͸ • 2ͭͷݴ༿ͷུޠ • Site Reliability EngineeringʢSREʣ • ద੾ͳαΠτ৴པੑΛ࣮ݱ͢ΔͨΊͷٕज़ख๏ɾٕज़ྖҬ

   • ఻౷తͳ ops ͱ͸ҰઢΛը͢ • Site Reliability EngineerʢSREsʣ • ্هख๏Λ࣮ݱ͢Δ৬छ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 9

10. ఻౷తͳ ops • جຊతʹख࡞ۀʹཔΔ • γεςϜվળͷͨͼʹखॱॻʹखॱ͕௥Ճ͞ΕɺͲΜͲΜ޻਺ ͕૿͍͑ͯ͘ • ҆ఆՔಇΛॏࢹ͠ա͗Δ͋·ΓɺੵۃతͳػೳվળΛߦ͓͏ͱ ͢Δ

    Dev ͱରཱ͕ͪ͠ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 10

11. SRE ͕ੜ·Εͨഎܠ • Motivation • େن໛ͷෳࡶͳίϯϐϡʔλγεςϜΛӡ༻͢Δͱ͖ɺγεςϜͷ੒௕ɾ֦େʹൺྫͯ͠ӡ༻ܥΤϯδχΞ ͷਓ਺͕όϯόϯ૿͑ΔͷΛ΍Ί͍ͨ • ։ൃνʔϜʢDevʣͱӡ༻νʔϜʢOpsʣͷରཱΛղܾ͍ͨ͠ •

    Basic Concepts • γεςϜɾମ੍Λιϑτ΢ΣΞΤϯδχΞϦϯάͱͯ͋͠Δ΂͖࢟ʹ͢Δ • ૊৫ߏ଄తͳରཱΛͳ͘͢ • Core Practices • ιϑτ΢ΣΞΤϯδχΞʹΑΔ఻౷త ops ͷ࠶ఆٛɾஔ׵ • ্هͷཤߦɾਪਐɾҡ࣋ʹ͓͍ͯձ͕ࣾ SRE Λࢧ࣋ɾࢧԉ͢Δ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 11

12. DevOps ͱ SRE ͸Ͳ͏͍͏ؔ܎ʁ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 12

13. class SRE implements DevOps 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 13

14. class SRE implements DevOps1 • DevOps ͱ͸ؔ܎ͳ͘ SRE ͸ੜ·Ε͚ͨͲɺ݁Ռతʹ DevOps

    ͷ఩ֶ Λମݱ͍ͯͨ͠ͱ͍͏ྲྀΕ • SRE ͷϓϥΫςΟε͸ DevOps ͷൣғ֎ͷ΋ͷ΋ؚΜͰ͍Δ͕ɺൣғ ಺ͷ΋ͷʹ͍ͭͯ͸۩ମతͳख๏͕ఏҊ͞Ε͍ͯΔͱ͍͏࿩ • ͜ͷؔ܎ੑΛҰݴͰද͢ͱ class SRE implements DevOps • DevOps ͱ SRE ͸ڝ߹͢Δख๏Ͱ͸ͳ͘਌͍͠༑ͩͪ 1 SRE vs. DevOps: competing standards or close friends? 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 14

15. ิ଍: DevOps ͱ SRE ͷؔ܎ੑ1 ͨͱ͑͹ DevOps ͷ 5 ͭͷப͸

    SRE ͷϓϥΫςΟεͱରԠͤ͞Δ͜ͱ͕Ͱ͖Δ DevOps SRE Reduce Organization Silos Share ownership Accept Failure as Normal SLOs & Blameless PMs Implement Gradual Change Reduce costs of failure Leverage Tooling & Automation Automate this year's job away Measure Everything Measure toil and reliablity 1 SRE vs. DevOps: competing standards or close friends? 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 15

16. ҙ༁ DevOps SRE ૊৫ͷαΠϩΛݮΒ͢ ʢ૊৫ؒͰʣॴ༗ݖΛڞ༗͢Δ ΤϥʔͷൃੜΛલఏͱ͢Δ SLO Λఆٛ͠ɺඇ೉Λ൐Θͳ͍ϙετϞ ʔςϜΛߦ͏ ஈ֊తʹมߋ͢Δ

    ࣦഊ࣌ͷίετΛݮΒ͢ πʔϧͱࣗಈԽΛ׆༻͢Δ ໨ͷલͷ࢓ࣄͷࣗಈԽΛߦ͏ શͯΛܭଌ͢Δ τΠϧͱ৴པੑͷܭଌΛߦ͏ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 16

17. ϋʔτϏʔπʹ͓͚Δ SRE ͷ࣮ફ ʙࣗࣾۀ຿Λιϑτ΢ΣΞΤϯδχΞϦϯάͰ࠶ఆٛɾஔ׵ʙ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 17

18. ೔ʑͷۀ຿Λιϑτ΢ΣΞΤϯδχΞϦϯάͰվળ ޻਺͕ඇৗʹଟ͍ҎԼͷۀ຿Λιϑτ΢ΣΞΤϯδχΞϦϯάͰ ࠶ఆٛɾஔ׵ • ؂ࢹɾϞχλϦϯάͷઃఆ࡞ۀ • ࢓༷ॻ࡞੒ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒

    | @nari_ex 18

19. Before... • ؂ࢹɾϞχλϦϯάͷઃఆ࡞ۀ • ؂ࢹΤʔδΣϯτઃఆ: ֤αʔό΁ϩάΠϯͯ͠ख࡞ۀͰઃఆهड़ • ؂ࢹ߲໨ݕ౼: ىಈϓϩηεΛ֬ೝͯ͠؂ࢹ߲໨ΛϦετΞοϓ •

    ؂ࢹαʔόઃఆ: ؂ࢹαʔόʹϩάΠϯͯ͠3ͭҎ্ͷઃఆϑΝΠϧΛߋ৽ • ઃఆ൓ө: ੠ֻ͚Λ͠ͳ͕ΒԹ͔Έͷ͋Δ൓ө࡞ۀ • ࢓༷ॻ࡞੒ • ϑΥʔϚοτ: Word • ૢ࡞: ͢΂ͯख࡞ۀ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 19

20. happo • ؂ࢹɾϝτϦΫεઃఆΛதԝ؅ཧɾҰ੍ׅޚ͢ΔΞʔΩςΫνϟ • ઃఆϑΝΠϧΛࣗಈੜ੒ɺYAMLʹͯ؅ཧ • ࢮ׆؂ࢹ͚ͩͰͳ͘ϝτϦΫεऩू΋ߦ͏ΤʔδΣϯτϓϩάϥϜΛ಺੡2 • Golang ͳͷͰόΠφϦΛஔ͚ͩ͘Ͱ࣮ߦՄೳ

    • ࢮ׆؂ࢹ͸ Nagios ޓ׵ • ΦʔτεέʔϦϯάʹ΋ରԠ • ϝτϦΫεऩू͸ sensu-plugin ޓ׵ => mackerel-agent-plugins ޓ׵ 2 https://github.com/heartbeatsjp/happo-agent 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 20

21. kinjiro • ςϯϓϨͱϢʔβࢦఆͷύϥϝʔλʹ ج͍ͮͯ؂ࢹ࢓༷ॻͷࣗಈੜ੒Λߦ͏ • Markdown ϕʔεͰهड़ • Git Ͱ؅ཧ

    • ίϛοτϑοΫͰࣗಈతʹ PDF ʹม׵ => Google Drive ΁อଘ • ߋ৽͸ Gitlab ্ʹͯϓϧϦΫΤετ ϕʔεͰߦΘΕΔ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 21

22. kinjiro ೖྗ߲໨ • ֤छҊ݅৘ใ • ར༻ج൫ʢAWS, Azure, GCP...ʣ • OS

    • Autoscaling ༗ແ • ϛυϧ΢ΣΞ • ... 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 22

23. ܶతϏϑΥʔΞϑλʔ Before After ؂ࢹΤʔδΣϯτઃఆ ֤αʔό΁ϩάΠϯͯ͠ख࡞ۀͰઃఆه ड़ தԝ؅ཧͷͨΊෆཁ ؂ࢹ߲໨ݕ౼ ىಈϓϩηεΛ֬ೝͯ͠؂ࢹ߲໨ΛϦε τΞοϓ

    େ൒Λࣗಈੜ੒ ؂ࢹαʔόઃఆ ෳ਺ͷ؂ࢹαʔόͰෳ਺ͷઃఆϑΝΠϧ Λ࡞੒ େ൒Λࣗಈੜ੒ ઃఆ൓ө ੠ֻ͚Λ͠ͳ͕ΒԹ͔Έͷ͋Δखॱʹ ج͍ͯ൓ө ίϚϯυҰൃͰ൓ө ࢓༷ॻϑΥʔϚοτ Word Markdown ࢓༷ॻߋ৽ૢ࡞ ͢΂ͯख࡞ۀ େ൒Λࣗಈੜ੒ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 23

24. ϋʔτϏʔπʹ͓͚Δ SRE ͷ࣮ફ ʙސ٬ͷΠϯϑϥ؀ڥʹ͓͚Διϑτ΢ΣΞΤϯδχΞϦϯάʙ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 24

25. ϋʔτϏʔπͰ͸೔ʑͷαʔϏεӡ༻Λߦ͍ͳ͕Β طଘͷΠϯϑϥ՝୊ͷൃݟˠղܾʹ΋औΓ૊ΜͰ͍·͢ɻ ͜Ε͔Β঺հ͢Δͷ͸௚ۙ1೥Ҏ಺ʹ͋ͬͨऔΓ૊ΈͷҰ෦Ͱ͢ɻ ※ސ٬ͷΠϯϑϥ؀ڥͳͷͰৄࡉ͸ল͖·͢ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 25

26. ϦϦʔεΤϯδχΞϦϯάͷࢧԉ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 26

27. ϦϦʔεΤϯδχΞϦϯάͷࢧԉ • Aࣾ͞·: HBͷϚωʔδυαʔϏε͝ར༻લͷঢ়گ • ϓϥΠϕʔτΫϥ΢υ؀ڥ • rsync ʹΑΔ׬શखಈͷσϓϩΠ •

    සൃ͢ΔσϓϩΠىҼͷো֐ • ϩʔϧόοΫ͢Δʹ΋Ұۤ࿑ • ίϯςϯπߋ৽ͷͨΊʹຖ೔ 2 ࣌ؒఀࢭ • ॎׂΓͳ Dev ͱ Opsʢଞࣾʣ ͱͦΕΒΛݟकΔ͔͠ͳ͍ BizʢAࣾ͞·ʣ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 27

28. ϦϦʔεΤϯδχΞϦϯάͷࢧԉ • ϋʔτϏʔπͷ׆ಈ • BizɺDevɺOps ͷ3ऀʢ3ࣾʣ߹ಉͷϛʔςΟϯάΛઃఆ • ֤ʑͷࢹ఺͔Β՝୊Λચ͍ग़͠ • ༏ઌॱҐ෇͚ɺ߹ҙܗ੒Λͯ͠ํ޲ੑΛܾఆ

    • Dev ͱڠྗ͠ͳ͕ΒҎԼΛಋೖɾӡ༻ • AWSɺCI/CDπʔϧɺBlue-Green σϓϩΠϝϯτɺηΩϡϦςΟιϦϡʔγϣϯ • σϓϩΠʹؔΘΔιϑτ΢ΣΞΛϋʔτϏʔπʹͯ։ൃ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 28

29. ϦϦʔεΤϯδχΞϦϯάࢧԉͷ݁Ռ Before After ఀࢭϝϯςφϯε࣌ؒ ຖ೔໷ؒ 2 ࣌ؒ ͳ͠ σϓϩΠͷ৚݅ ఀࢭϝϯςඞਢ

    ΦϯϥΠϯͰ࣮ࢪՄೳ σϓϩΠαΠΫϧ ࠷େͰ΋1೔1ճ 1೔2ʙ3ճҎ্ ఀࢭϝϯς͕ෆཁʹɻσϓϩΠαΠΫϧ΋ߴ଎Խʂ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 29

30. ϩά෼ੳج൫ͷઃܭɾߏங 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 30

31. ϩά෼ੳج൫ͷઃܭɾߏங • Bࣾ͞·: HBͷϚωʔδυαʔϏε͝ར༻લͷঢ়گ • ๲େͳϩάΛඇಉظͰ෼ੳج൫΁సૹ • ඇಉظͳͷͰ͙͢ʹϢʔβಈ޲Λ֬ೝͰ͖ͳ͍ • సૹ͸ࣗಈ͕ͩɺ࠶ૹ͸खಈͰߦ͏ඞཁ͋Γ

    • ϩάྔ૿Ճʹ൐͍సૹ࣌ͷύϑΥʔϚϯε΋՝୊ʹ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 31

32. ϩά෼ੳج൫ͷઃܭɾߏங • ϋʔτϏʔπͷ׆ಈ • ސ٬ͷ SREs ͱ։ൃνʔϜ͔ΒώΞϦϯάΛߦ͍՝୊Λநग़ • ϩάϑΥʔϚοτɺจࣈίʔυ΍సૹʹ࢖͍ͬͯΔಠࣗϓϥάΠϯͳͲΛ ΨοπϦௐࠪ

    • αʔϏεαΠυͷطଘͷϫʔΫϑϩʔΛ֬ೝ • ৽ϩά෼ੳج൫ͷఏҊɾߏஙɾӡ༻ • ؊ͱͳΔϩάసૹʹ͸HBʹͯ։ൃͨ͠ fluentd ϓϥάΠϯΛར༻ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 32

33. ϩά෼ੳج൫վળͷ݁Ռ Before After ࠶ૹॲཧ ΤϯδχΞʹΑΔखಈ࡞ۀ ࣗಈ αʔό୆਺ 9୆ 5୆ ϩάग़ྗ͔Βσʔλج൫౤

    ೖͷॴཁ࣌ؒ 1࣌ؒ ϦΞϧλΠϜ ݁Ռͱͯ͠ɺ௿ίετԽ͕࣮ݱ͞Εͨͱಉ࣌ʹɺ ΧελϚʔαϙʔτ୲౰ऀ༷͕ 1 ࣌ؒ଴ػ͢Δ͜ͱͳ͘ଈ໰͍߹Θͤ΁ճ౴Մೳʹ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 33

34. MSP ʹ͓͚Δ DevOps / SRE ͷ࣮ફ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ |

    @nari_ex 34

35. DevOps / SRE ࣮ફͷϙΠϯτ • ιϑτ΢ΣΞΤϯδχΞϦϯά • ར༻πʔϧ • ΧϧνϟʔʢϚΠϯυηοτʣ

    • MSP ͳΒͰ͸ͷಛ௃͋Γ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 35

36. MSP ʹඞཁͳΧϧνϟʔͱ SRE ࣮ફͷ伴 • MSP ͱ௚઀΍ΓͱΓ͢Δސ٬͸ Dev Ҏ֎ʹ΋ BizɺOps

    ΍ SREs ͷ৔߹΋͋Δ • ʮΠϯϑϥҎ֎ݟ·ͤΜʂʯͰ͸ͳ͘ɺঢ়گʹԠͯ͡ΞϓϦ΍αΠτͦͷ ΋ͷʹ౿ΈࠐΉ • Ωʔϫʔυ͸ ʮઌճΓʯʮओମੑʯʮೳಈੑʯ • MSPͷจ຺Ͱ͸͋ΒΏΔγʔϯͰ SRE ͸༗ޮ • ཱ৔໰ΘͣɺαʔϏεͷ৴པੑΛߴΊΔ͜ͱʹয఺Λ౰ͯͯɺओମతʹਂ͘ί ϛοτ͍ͯ͘͜͠ͱ͕࣮ફͷ伴 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 36

37. ͋Γ͕ͱ͏͍͟͝·ͨ͠ 2019/05/21ʢਆށ։࠵ʣ, 2019/05/27ʢ౦ژ։࠵ʣ αΠόʔ߈ܸʹඋ͑ΔʮDevOpsʯͱ͍͏બ୒ | @nari_ex 37