監視入門！監視で困ってませんか？

Transcript

1. ؂ࢹೖ໳ʂ ؂ࢹͰࠔͬͯ·ͤΜ͔ʁ αϙʔλʔζCoLabษڧձ Jun 20 2018 ଜҪ ᠳଠ࿕

2. ͖ΐ͏͸ͳ͢͜ͱ 1. ࣗݾ঺հ 2. ؂ࢹͱ͸ 3. ؂ࢹઓུΛ࿅Δ 4. ৭ʑͳ؂ࢹͷํ๏΍πʔϧͷ঺հ 5.

   ࢀߟࢿྉ

3. ࣗݾ঺հ

4. ࣗݾ঺հ • ଜҪᠳଠ࿕ • @Show_murai • גࣜձࣾ LOB • Site

   Reliability Engineer ※ຊ೔ͷൃද͸ݸਓͷݟղͰ͋Γɺॴଐ͢Δ૊৫ͷެࣜݟղͰ͸͋Γ·ͤΜ

5. ࣗݾ঺հ • ژ౎ग़਎ ౦ژࡏॅ • ࣾձਓ 6೥໨ • ֶੜͷࠒ͸ը૾ೝࣝɺ
 ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠

   • ৽ଔͰωοτϫʔΫػثͷ
 αʔόʔαΠυΤϯδχΞ΍ͬͯ·ͨ͠ • લ৬͸αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ • झຯ͸ཱྀߦ

6. ؂ࢹͱ͸

7. ؂ࢹΛ͢Δ໨త • γεςϜͷঢ়ଶΛ஌Δ • ݈߁਍அͷΑ͏ͳ΋ͷ • ࠓͷঢ়ଶ͕ద੾͔Ͳ͏͔Λ஌Δ • γεςϜো֐Λݕ஌͢Δ •

   ো֐࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛ໨ࢦ͢ • ϘτϧωοΫΛ୳͢ • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά

8. ؂ࢹΛ͢ΔϨΠϠʔ • γεςϜϦιʔεϨΠϠʔ • ϋʔυ΢ΣΞɺωοτϫʔΫ • OSɺCPUɺMemoryɺDisk࢖༻ྔ • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ •

   γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺ؂ࢹΤʔδΣϯτ • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά • αʔϏεϨΠϠʔ • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔ • ΞΫηεͷԠ౴࣌ؒʹ஗Ԇ͕ൃੜ͍ͯ͠ͳ͍͔

9. ؂ࢹʹؔ͢Δ༻ޠ • ؂ࢹϝτϦΫε • औಘ͢Δ஋ͷ͜ͱ • ᮢ஋(͖͍ͪ͠) • ʮ80%Λ௒͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ •

   τϦΨʔ • ؂ࢹͯ͠ಛఆͷ৚݅ʹ౰ͯ͸·ͬͯ
 Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏ • Ξϥʔτ • τϦΨʔ৚݅ʹ౰ͯ͸·ͬͨ৔߹ɺ௨஌Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)

10. ؂ࢹઓུΛཱͯΔ

11. ؂ࢹͷઓུ • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ • HTTPϦΫΤετͷԠ౴଎౓͸ઈର1ඵҎԼ • ϩάͷফࣦ͸ઈରμϝ •

    σʔλϕʔεͷॻ͖ࠐΈ͸ઈରʹམͱͤͳ͍ • ؂ࢹ͢Δ߲໨/؂ࢹ͠ͳ͍߲໨ΛܾΊΔ • ؂ࢹ͸γεςϜෛՙʹ΋ͳΔ৔߹͕͋Δ • ؂ࢹ߲໨͕ଟ͗ͯ͢ԿΛݟΕ͹Α͍͔ΘΒ͔ͳ͘ͳΔ • ਖ਼͍͠ᮢ஋ͷઃఆ • ؂ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ฏۉɺ࠷େ/࠷খ஋ɺύʔηϯλΠϧ

12. ϝτϦΫεͷҙຯΛཧղ͢Δ • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ϩʔυΞϕϨʔδ • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛ଴ͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου ͷ߹ܭ஋ϩʔυΞϕϨʔδ • CPUͷ౷ܭ৘ใ(vmstat)

    • Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ • ΞΠυϧ࣌ؒɿͳʹ΋࣮ߦ͍ͯ͠ͳ͍࣌ؒ • I/O଴ͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Εͯ଴͍ͬͯΔ࣌ؒ • ౪·Εͨ࣌ؒɿԾ૝؀ڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠

13. ద੾ͳᮢ஋ͷܾఆ • ؅ཧ͢ΔγεςϜʹͱͬͯ“ద੾”ͳᮢ஋ • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ৔߹ɺ
 ϝϞϦ࢖༻཰ͷᮢ஋͸ߴΊʹઃఆ͓ͯ͘͠ • “ΦΦΧϛগ೥”ΛݮΒ͢ •

    ᮢ஋ʹΑΓΞϥʔτ௨஌͕ͨ͘͞Μ͖ͯɺ
 ຊདྷΩϟονΞοϓ͍ͨ͠௨஌Λݟಀ͞ͳ͍Α͏ʹ͢Δ • ᮢ஋͸దٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠ • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ࢖༻཰্͕͕Δ͔΋͠Εͳ͍

14. ϨΠϠʔ͝ͱͷ؂ࢹ • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘ • γεςϜϦιʔεϨΠϠʔ • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ… • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ •

    ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ • ϓϩηε؂ࢹɺΞϓϦέʔγϣϯϩά؂ࢹɺ࣮ߦ࣌ؒ؂ࢹɺ஗Ԇ؂ࢹ • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲౰ऀ • αʔϏεϨΠϠʔ • ࢮ׆؂ࢹɺΤϯυϙΠϯτ؂ࢹ • ରԠऀɿ͢΂ͯͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ

15. ো֐࣌ͷӡ༻ϑϩʔΛܾΊΔ • ΤεΧϨʔγϣϯϙϦγʔͷ࡞੒ • ো֐௨஌Λड͚औΔਓͷ༏ઌ౓ΛܾΊΔ • ΞϥʔτΛड͚औͬͯԿ͔Βௐࠪ͢Δ͔ • Α͘ൃੜ͢ΔΞϥʔτ͸༧ΊରԠϑϩʔΛ༻ҙ͓ͯ͘͠ •

    ex. υΩϡϝϯτͳͲΛ࡞੒͢Δ • ো֐ͷ؅ཧ • ͍ͭɺͲͷΑ͏ͳো֐͕Կ݅ൃੜ͔ͨ͠؅ཧ͢Δ • ౷ܭ৘ใΛऔಘͯ͠܏޲Λ෼ੳ͢Δ

16. ؂ࢹπʔϧͷ঺հ

17. ϞχλϦϯάπʔϧͷ঺հ • Zabbix • Φʔϓϯιʔεͷ؂ࢹπʔϧ • ΠϯϑϥϞχλϦϯάʹ޲͍͍ͯΔ • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹ؂ࢹ͕Մೳ •

    Datadog • ༗ྉͷSaaSܕ؂ࢹπʔϧ • ओཁΫϥ΢υαʔϏεͱͷ࿈ܞ΋ॆ࣮ • APM΋2017೥΋ϦϦʔε͞Εͨ

18. ϞχλϦϯάπʔϧͷ঺հ • mackerel • ͸ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕ؂ࢹαʔϏε • αϙʔτ΍υΩϡϝϯτ͕೔ຊޠͳͷͰ҆৺ • Prometheus •

    Φʔϓϯιʔεͷ؂ࢹπʔϧ • Googleͷ؂ࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ • άϥϑͳͲͷ࡞੒͸GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ

19. ϞχλϦϯάπʔϧͷ঺հ • New Relic • ༗ྉͷSaaSܕϞχλϦϯάαʔϏε • ΞϓϦέʔγϣϯ؂ࢹ(APM)Ͱओʹར༻͞Ε͍ͯΔҹ৅ • ֤ݴޠͷίʔυ಺ʹSDKΛೖΕΔ͜ͱͰࣗಈͰ


    ΞϓϦέʔγϣϯͷϝτϦΫεΛϞχλϦϯάͰ͖Δ

20. ϞχλϦϯάπʔϧͷ঺հ • Pingdom • ࢮ׆؂ࢹαʔϏε • άϩʔόϧΤϯυϙΠϯτʹରͯ͠
 HTTP(S)ϦΫΤετΛ౤͛ͯ֎ܗ؂ࢹΛߦ͏ • PagerDurty

    • Πϕϯτ௨஌Λ͢ΔͨΊͷSaaSܕ؂ࢹ௨஌αʔϏε • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞੒Մೳ

21. ੈքͷ؂ࢹπʔϧࣄ৘ • SREcon 18ͰͷΞϯέʔτ݁Ռ

22. ࢀߟࢿྉ

23. ؂ࢹʹ͍ͭͯ΋ͬͱΑ͘஌Δ • ৄղ γεςϜɾύϑΥʔϚϯε • Brendan Greggஶɺ੢࿬ ༃ߛ ؂༁ɺ௕ඌ ߴ߂

    ༁ • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ
 ؂ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ • Monitoring Modern Infrastructure by Datadog • ͜Ε͔ΒͷϞχλϦϯά͸Ͳ͏ͨ͠Β͍͍͔ • Ϋϥ΢υ؀ڥΛ࢖͍ͬͯͯಈతʹϦιʔε͕
 มԽ͢Δ৔߹ͷ؂ࢹํ๏ͳͲࢀߟʹͳΔ

24. Q & A

25. ͋Γ͕ͱ͏͍͟͝·ͨ͠