Upgrade to Pro — share decks privately, control downloads, hide ads and more …

監視入門!監視で困ってませんか?

Show Murai
June 20, 2018
290

 監視入門!監視で困ってませんか?

Show Murai

June 20, 2018
Tweet

Transcript

  1. ؂ࢹೖ໳ʂ
    ؂ࢹͰࠔͬͯ·ͤΜ͔ʁ
    αϙʔλʔζCoLabษڧձ Jun 20 2018
    ଜҪ ᠳଠ࿕

    View Slide

  2. ͖ΐ͏͸ͳ͢͜ͱ
    1. ࣗݾ঺հ
    2. ؂ࢹͱ͸
    3. ؂ࢹઓུΛ࿅Δ
    4. ৭ʑͳ؂ࢹͷํ๏΍πʔϧͷ঺հ
    5. ࢀߟࢿྉ

    View Slide

  3. ࣗݾ঺հ

    View Slide

  4. ࣗݾ঺հ
    • ଜҪᠳଠ࿕
    • @Show_murai
    • גࣜձࣾ LOB
    • Site Reliability Engineer
    ※ຊ೔ͷൃද͸ݸਓͷݟղͰ͋Γɺॴଐ͢Δ૊৫ͷެࣜݟղͰ͸͋Γ·ͤΜ

    View Slide

  5. ࣗݾ঺հ
    • ژ౎ग़਎ ౦ژࡏॅ
    • ࣾձਓ 6೥໨
    • ֶੜͷࠒ͸ը૾ೝࣝɺ

    ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠
    • ৽ଔͰωοτϫʔΫػثͷ

    αʔόʔαΠυΤϯδχΞ΍ͬͯ·ͨ͠
    • લ৬͸αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ
    • झຯ͸ཱྀߦ

    View Slide

  6. ؂ࢹͱ͸

    View Slide

  7. ؂ࢹΛ͢Δ໨త
    • γεςϜͷঢ়ଶΛ஌Δ
    • ݈߁਍அͷΑ͏ͳ΋ͷ
    • ࠓͷঢ়ଶ͕ద੾͔Ͳ͏͔Λ஌Δ
    • γεςϜো֐Λݕ஌͢Δ
    • ো֐࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛ໨ࢦ͢
    • ϘτϧωοΫΛ୳͢
    • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ
    • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά

    View Slide

  8. ؂ࢹΛ͢ΔϨΠϠʔ
    • γεςϜϦιʔεϨΠϠʔ
    • ϋʔυ΢ΣΞɺωοτϫʔΫ
    • OSɺCPUɺMemoryɺDisk࢖༻ྔ
    • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ
    • γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺ؂ࢹΤʔδΣϯτ
    • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά
    • αʔϏεϨΠϠʔ
    • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔
    • ΞΫηεͷԠ౴࣌ؒʹ஗Ԇ͕ൃੜ͍ͯ͠ͳ͍͔

    View Slide

  9. ؂ࢹʹؔ͢Δ༻ޠ
    • ؂ࢹϝτϦΫε
    • औಘ͢Δ஋ͷ͜ͱ
    • ᮢ஋(͖͍ͪ͠)
    • ʮ80%Λ௒͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ
    • τϦΨʔ
    • ؂ࢹͯ͠ಛఆͷ৚݅ʹ౰ͯ͸·ͬͯ

    Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏
    • Ξϥʔτ
    • τϦΨʔ৚݅ʹ౰ͯ͸·ͬͨ৔߹ɺ௨஌Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)

    View Slide

  10. ؂ࢹઓུΛཱͯΔ

    View Slide

  11. ؂ࢹͷઓུ
    • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ
    • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ
    • HTTPϦΫΤετͷԠ౴଎౓͸ઈର1ඵҎԼ
    • ϩάͷফࣦ͸ઈରμϝ
    • σʔλϕʔεͷॻ͖ࠐΈ͸ઈରʹམͱͤͳ͍
    • ؂ࢹ͢Δ߲໨/؂ࢹ͠ͳ͍߲໨ΛܾΊΔ
    • ؂ࢹ͸γεςϜෛՙʹ΋ͳΔ৔߹͕͋Δ
    • ؂ࢹ߲໨͕ଟ͗ͯ͢ԿΛݟΕ͹Α͍͔ΘΒ͔ͳ͘ͳΔ
    • ਖ਼͍͠ᮢ஋ͷઃఆ
    • ؂ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ
    • ฏۉɺ࠷େ/࠷খ஋ɺύʔηϯλΠϧ

    View Slide

  12. ϝτϦΫεͷҙຯΛཧղ͢Δ
    • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ
    • ϩʔυΞϕϨʔδ
    • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛ଴ͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου
    ͷ߹ܭ஋ϩʔυΞϕϨʔδ
    • CPUͷ౷ܭ৘ใ(vmstat)
    • Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ
    • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ
    • ΞΠυϧ࣌ؒɿͳʹ΋࣮ߦ͍ͯ͠ͳ͍࣌ؒ
    • I/O଴ͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Εͯ଴͍ͬͯΔ࣌ؒ
    • ౪·Εͨ࣌ؒɿԾ૝؀ڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠

    View Slide

  13. ద੾ͳᮢ஋ͷܾఆ
    • ؅ཧ͢ΔγεςϜʹͱͬͯ“ద੾”ͳᮢ஋
    • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ৔߹ɺ

    ϝϞϦ࢖༻཰ͷᮢ஋͸ߴΊʹઃఆ͓ͯ͘͠
    • “ΦΦΧϛগ೥”ΛݮΒ͢
    • ᮢ஋ʹΑΓΞϥʔτ௨஌͕ͨ͘͞Μ͖ͯɺ

    ຊདྷΩϟονΞοϓ͍ͨ͠௨஌Λݟಀ͞ͳ͍Α͏ʹ͢Δ
    • ᮢ஋͸దٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠
    • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ࢖༻཰্͕͕Δ͔΋͠Εͳ͍

    View Slide

  14. ϨΠϠʔ͝ͱͷ؂ࢹ
    • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘
    • γεςϜϦιʔεϨΠϠʔ
    • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ…
    • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ
    • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ
    • ϓϩηε؂ࢹɺΞϓϦέʔγϣϯϩά؂ࢹɺ࣮ߦ࣌ؒ؂ࢹɺ஗Ԇ؂ࢹ
    • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲౰ऀ
    • αʔϏεϨΠϠʔ
    • ࢮ׆؂ࢹɺΤϯυϙΠϯτ؂ࢹ
    • ରԠऀɿ͢΂ͯͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ

    View Slide

  15. ো֐࣌ͷӡ༻ϑϩʔΛܾΊΔ
    • ΤεΧϨʔγϣϯϙϦγʔͷ࡞੒
    • ো֐௨஌Λड͚औΔਓͷ༏ઌ౓ΛܾΊΔ
    • ΞϥʔτΛड͚औͬͯԿ͔Βௐࠪ͢Δ͔
    • Α͘ൃੜ͢ΔΞϥʔτ͸༧ΊରԠϑϩʔΛ༻ҙ͓ͯ͘͠
    • ex. υΩϡϝϯτͳͲΛ࡞੒͢Δ
    • ো֐ͷ؅ཧ
    • ͍ͭɺͲͷΑ͏ͳো֐͕Կ݅ൃੜ͔ͨ͠؅ཧ͢Δ
    • ౷ܭ৘ใΛऔಘͯ͠܏޲Λ෼ੳ͢Δ

    View Slide

  16. ؂ࢹπʔϧͷ঺հ

    View Slide

  17. ϞχλϦϯάπʔϧͷ঺հ
    • Zabbix
    • Φʔϓϯιʔεͷ؂ࢹπʔϧ
    • ΠϯϑϥϞχλϦϯάʹ޲͍͍ͯΔ
    • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹ؂ࢹ͕Մೳ
    • Datadog
    • ༗ྉͷSaaSܕ؂ࢹπʔϧ
    • ओཁΫϥ΢υαʔϏεͱͷ࿈ܞ΋ॆ࣮
    • APM΋2017೥΋ϦϦʔε͞Εͨ

    View Slide

  18. ϞχλϦϯάπʔϧͷ঺հ
    • mackerel
    • ͸ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕ؂ࢹαʔϏε
    • αϙʔτ΍υΩϡϝϯτ͕೔ຊޠͳͷͰ҆৺
    • Prometheus
    • Φʔϓϯιʔεͷ؂ࢹπʔϧ
    • Googleͷ؂ࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ
    • άϥϑͳͲͷ࡞੒͸GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ

    View Slide

  19. ϞχλϦϯάπʔϧͷ঺հ
    • New Relic
    • ༗ྉͷSaaSܕϞχλϦϯάαʔϏε
    • ΞϓϦέʔγϣϯ؂ࢹ(APM)Ͱओʹར༻͞Ε͍ͯΔҹ৅
    • ֤ݴޠͷίʔυ಺ʹSDKΛೖΕΔ͜ͱͰࣗಈͰ

    ΞϓϦέʔγϣϯͷϝτϦΫεΛϞχλϦϯάͰ͖Δ

    View Slide

  20. ϞχλϦϯάπʔϧͷ঺հ
    • Pingdom
    • ࢮ׆؂ࢹαʔϏε
    • άϩʔόϧΤϯυϙΠϯτʹରͯ͠

    HTTP(S)ϦΫΤετΛ౤͛ͯ֎ܗ؂ࢹΛߦ͏
    • PagerDurty
    • Πϕϯτ௨஌Λ͢ΔͨΊͷSaaSܕ؂ࢹ௨஌αʔϏε
    • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ
    • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞੒Մೳ

    View Slide

  21. ੈքͷ؂ࢹπʔϧࣄ৘
    • SREcon 18ͰͷΞϯέʔτ݁Ռ

    View Slide

  22. ࢀߟࢿྉ

    View Slide

  23. ؂ࢹʹ͍ͭͯ΋ͬͱΑ͘஌Δ
    • ৄղ γεςϜɾύϑΥʔϚϯε
    • Brendan Greggஶɺ੢࿬ ༃ߛ ؂༁ɺ௕ඌ ߴ߂ ༁
    • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ

    ؂ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ
    • Monitoring Modern Infrastructure by Datadog
    • ͜Ε͔ΒͷϞχλϦϯά͸Ͳ͏ͨ͠Β͍͍͔
    • Ϋϥ΢υ؀ڥΛ࢖͍ͬͯͯಈతʹϦιʔε͕

    มԽ͢Δ৔߹ͷ؂ࢹํ๏ͳͲࢀߟʹͳΔ

    View Slide

  24. Q & A

    View Slide

  25. ͋Γ͕ͱ͏͍͟͝·ͨ͠

    View Slide