監視入門！監視で困ってませんか？

Transcript

1. ؂ࢹೖ໳ʂ
   ؂ࢹͰࠔͬͯ·ͤΜ͔ʁ
   αϙʔλʔζCoLabษڧձ Jun 20 2018
   ଜҪ ᠳଠ࿕
   

   View Slide

2. ͖ΐ͏͸ͳ͢͜ͱ
   1. ࣗݾ঺հ
   2. ؂ࢹͱ͸
   3. ؂ࢹઓུΛ࿅Δ
   4. ৭ʑͳ؂ࢹͷํ๏΍πʔϧͷ঺հ
   5. ࢀߟࢿྉ
   

   View Slide

3. ࣗݾ঺հ
   

   View Slide

4. ࣗݾ঺հ
   • ଜҪᠳଠ࿕
   • @Show_murai
   • גࣜձࣾ LOB
   • Site Reliability Engineer
   ※ຊ೔ͷൃද͸ݸਓͷݟղͰ͋Γɺॴଐ͢Δ૊৫ͷެࣜݟղͰ͸͋Γ·ͤΜ
   

   View Slide

5. ࣗݾ঺հ
   • ژ౎ग़਎ ౦ژࡏॅ
   • ࣾձਓ 6೥໨
   • ֶੜͷࠒ͸ը૾ೝࣝɺ

   ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠
   • ৽ଔͰωοτϫʔΫػثͷ

   αʔόʔαΠυΤϯδχΞ΍ͬͯ·ͨ͠
   • લ৬͸αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ
   • झຯ͸ཱྀߦ
   

   View Slide

6. ؂ࢹͱ͸
   

   View Slide

7. ؂ࢹΛ͢Δ໨త
   • γεςϜͷঢ়ଶΛ஌Δ
   • ݈߁਍அͷΑ͏ͳ΋ͷ
   • ࠓͷঢ়ଶ͕ద੾͔Ͳ͏͔Λ஌Δ
   • γεςϜো֐Λݕ஌͢Δ
   • ো֐࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛ໨ࢦ͢
   • ϘτϧωοΫΛ୳͢
   • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ
   • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά
   

   View Slide

8. ؂ࢹΛ͢ΔϨΠϠʔ
   • γεςϜϦιʔεϨΠϠʔ
   • ϋʔυ΢ΣΞɺωοτϫʔΫ
   • OSɺCPUɺMemoryɺDisk࢖༻ྔ
   • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ
   • γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺ؂ࢹΤʔδΣϯτ
   • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά
   • αʔϏεϨΠϠʔ
   • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔
   • ΞΫηεͷԠ౴࣌ؒʹ஗Ԇ͕ൃੜ͍ͯ͠ͳ͍͔
   

   View Slide

9. ؂ࢹʹؔ͢Δ༻ޠ
   • ؂ࢹϝτϦΫε
   • औಘ͢Δ஋ͷ͜ͱ
   • ᮢ஋(͖͍ͪ͠)
   • ʮ80%Λ௒͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ
   • τϦΨʔ
   • ؂ࢹͯ͠ಛఆͷ৚݅ʹ౰ͯ͸·ͬͯ

   Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏
   • Ξϥʔτ
   • τϦΨʔ৚݅ʹ౰ͯ͸·ͬͨ৔߹ɺ௨஌Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)
   

   View Slide

10. ؂ࢹઓུΛཱͯΔ
    

    View Slide

11. ؂ࢹͷઓུ
    • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ
    • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ
    • HTTPϦΫΤετͷԠ౴଎౓͸ઈର1ඵҎԼ
    • ϩάͷফࣦ͸ઈରμϝ
    • σʔλϕʔεͷॻ͖ࠐΈ͸ઈରʹམͱͤͳ͍
    • ؂ࢹ͢Δ߲໨/؂ࢹ͠ͳ͍߲໨ΛܾΊΔ
    • ؂ࢹ͸γεςϜෛՙʹ΋ͳΔ৔߹͕͋Δ
    • ؂ࢹ߲໨͕ଟ͗ͯ͢ԿΛݟΕ͹Α͍͔ΘΒ͔ͳ͘ͳΔ
    • ਖ਼͍͠ᮢ஋ͷઃఆ
    • ؂ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ
    • ฏۉɺ࠷େ/࠷খ஋ɺύʔηϯλΠϧ
    

    View Slide

12. ϝτϦΫεͷҙຯΛཧղ͢Δ
    • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ
    • ϩʔυΞϕϨʔδ
    • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛ଴ͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου
    ͷ߹ܭ஋ϩʔυΞϕϨʔδ
    • CPUͷ౷ܭ৘ใ(vmstat)
    • Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ
    • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ
    • ΞΠυϧ࣌ؒɿͳʹ΋࣮ߦ͍ͯ͠ͳ͍࣌ؒ
    • I/O଴ͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Εͯ଴͍ͬͯΔ࣌ؒ
    • ౪·Εͨ࣌ؒɿԾ૝؀ڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠
    

    View Slide

13. ద੾ͳᮢ஋ͷܾఆ
    • ؅ཧ͢ΔγεςϜʹͱͬͯ“ద੾”ͳᮢ஋
    • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ৔߹ɺ

    ϝϞϦ࢖༻཰ͷᮢ஋͸ߴΊʹઃఆ͓ͯ͘͠
    • “ΦΦΧϛগ೥”ΛݮΒ͢
    • ᮢ஋ʹΑΓΞϥʔτ௨஌͕ͨ͘͞Μ͖ͯɺ

    ຊདྷΩϟονΞοϓ͍ͨ͠௨஌Λݟಀ͞ͳ͍Α͏ʹ͢Δ
    • ᮢ஋͸దٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠
    • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ࢖༻཰্͕͕Δ͔΋͠Εͳ͍
    

    View Slide

14. ϨΠϠʔ͝ͱͷ؂ࢹ
    • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘
    • γεςϜϦιʔεϨΠϠʔ
    • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ…
    • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ
    • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ
    • ϓϩηε؂ࢹɺΞϓϦέʔγϣϯϩά؂ࢹɺ࣮ߦ࣌ؒ؂ࢹɺ஗Ԇ؂ࢹ
    • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲౰ऀ
    • αʔϏεϨΠϠʔ
    • ࢮ׆؂ࢹɺΤϯυϙΠϯτ؂ࢹ
    • ରԠऀɿ͢΂ͯͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ
    

    View Slide

15. ো֐࣌ͷӡ༻ϑϩʔΛܾΊΔ
    • ΤεΧϨʔγϣϯϙϦγʔͷ࡞੒
    • ো֐௨஌Λड͚औΔਓͷ༏ઌ౓ΛܾΊΔ
    • ΞϥʔτΛड͚औͬͯԿ͔Βௐࠪ͢Δ͔
    • Α͘ൃੜ͢ΔΞϥʔτ͸༧ΊରԠϑϩʔΛ༻ҙ͓ͯ͘͠
    • ex. υΩϡϝϯτͳͲΛ࡞੒͢Δ
    • ো֐ͷ؅ཧ
    • ͍ͭɺͲͷΑ͏ͳো֐͕Կ݅ൃੜ͔ͨ͠؅ཧ͢Δ
    • ౷ܭ৘ใΛऔಘͯ͠܏޲Λ෼ੳ͢Δ
    

    View Slide

16. ؂ࢹπʔϧͷ঺հ
    

    View Slide

17. ϞχλϦϯάπʔϧͷ঺հ
    • Zabbix
    • Φʔϓϯιʔεͷ؂ࢹπʔϧ
    • ΠϯϑϥϞχλϦϯάʹ޲͍͍ͯΔ
    • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹ؂ࢹ͕Մೳ
    • Datadog
    • ༗ྉͷSaaSܕ؂ࢹπʔϧ
    • ओཁΫϥ΢υαʔϏεͱͷ࿈ܞ΋ॆ࣮
    • APM΋2017೥΋ϦϦʔε͞Εͨ
    

    View Slide

18. ϞχλϦϯάπʔϧͷ঺հ
    • mackerel
    • ͸ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕ؂ࢹαʔϏε
    • αϙʔτ΍υΩϡϝϯτ͕೔ຊޠͳͷͰ҆৺
    • Prometheus
    • Φʔϓϯιʔεͷ؂ࢹπʔϧ
    • Googleͷ؂ࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ
    • άϥϑͳͲͷ࡞੒͸GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ
    

    View Slide

19. ϞχλϦϯάπʔϧͷ঺հ
    • New Relic
    • ༗ྉͷSaaSܕϞχλϦϯάαʔϏε
    • ΞϓϦέʔγϣϯ؂ࢹ(APM)Ͱओʹར༻͞Ε͍ͯΔҹ৅
    • ֤ݴޠͷίʔυ಺ʹSDKΛೖΕΔ͜ͱͰࣗಈͰ

    ΞϓϦέʔγϣϯͷϝτϦΫεΛϞχλϦϯάͰ͖Δ
    

    View Slide

20. ϞχλϦϯάπʔϧͷ঺հ
    • Pingdom
    • ࢮ׆؂ࢹαʔϏε
    • άϩʔόϧΤϯυϙΠϯτʹରͯ͠

    HTTP(S)ϦΫΤετΛ౤͛ͯ֎ܗ؂ࢹΛߦ͏
    • PagerDurty
    • Πϕϯτ௨஌Λ͢ΔͨΊͷSaaSܕ؂ࢹ௨஌αʔϏε
    • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ
    • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞੒Մೳ
    

    View Slide

21. ੈքͷ؂ࢹπʔϧࣄ৘
    • SREcon 18ͰͷΞϯέʔτ݁Ռ
    

    View Slide

22. ࢀߟࢿྉ
    

    View Slide

23. ؂ࢹʹ͍ͭͯ΋ͬͱΑ͘஌Δ
    • ৄղ γεςϜɾύϑΥʔϚϯε
    • Brendan Greggஶɺ੢࿬ ༃ߛ ؂༁ɺ௕ඌ ߴ߂ ༁
    • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ

    ؂ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ
    • Monitoring Modern Infrastructure by Datadog
    • ͜Ε͔ΒͷϞχλϦϯά͸Ͳ͏ͨ͠Β͍͍͔
    • Ϋϥ΢υ؀ڥΛ࢖͍ͬͯͯಈతʹϦιʔε͕

    มԽ͢Δ৔߹ͷ؂ࢹํ๏ͳͲࢀߟʹͳΔ
    

    View Slide

24. Q & A
    

    View Slide

25. ͋Γ͕ͱ͏͍͟͝·ͨ͠
    

    View Slide