Upgrade to Pro — share decks privately, control downloads, hide ads and more …

監視入門!監視で困ってませんか?

Show Murai
June 20, 2018
290

 監視入門!監視で困ってませんか?

Show Murai

June 20, 2018
Tweet

Transcript

  1. ࣗݾ঺հ • ଜҪᠳଠ࿕ • @Show_murai • גࣜձࣾ LOB • Site

    Reliability Engineer ※ຊ೔ͷൃද͸ݸਓͷݟղͰ͋Γɺॴଐ͢Δ૊৫ͷެࣜݟղͰ͸͋Γ·ͤΜ
  2. ࣗݾ঺հ • ژ౎ग़਎ ౦ژࡏॅ • ࣾձਓ 6೥໨ • ֶੜͷࠒ͸ը૾ೝࣝɺ
 ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠

    • ৽ଔͰωοτϫʔΫػثͷ
 αʔόʔαΠυΤϯδχΞ΍ͬͯ·ͨ͠ • લ৬͸αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ • झຯ͸ཱྀߦ
  3. ؂ࢹΛ͢Δ໨త • γεςϜͷঢ়ଶΛ஌Δ • ݈߁਍அͷΑ͏ͳ΋ͷ • ࠓͷঢ়ଶ͕ద੾͔Ͳ͏͔Λ஌Δ • γεςϜো֐Λݕ஌͢Δ •

    ো֐࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛ໨ࢦ͢ • ϘτϧωοΫΛ୳͢ • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά
  4. ؂ࢹΛ͢ΔϨΠϠʔ • γεςϜϦιʔεϨΠϠʔ • ϋʔυ΢ΣΞɺωοτϫʔΫ • OSɺCPUɺMemoryɺDisk࢖༻ྔ • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ •

    γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺ؂ࢹΤʔδΣϯτ • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά • αʔϏεϨΠϠʔ • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔ • ΞΫηεͷԠ౴࣌ؒʹ஗Ԇ͕ൃੜ͍ͯ͠ͳ͍͔
  5. ؂ࢹʹؔ͢Δ༻ޠ • ؂ࢹϝτϦΫε • औಘ͢Δ஋ͷ͜ͱ • ᮢ஋(͖͍ͪ͠) • ʮ80%Λ௒͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ •

    τϦΨʔ • ؂ࢹͯ͠ಛఆͷ৚݅ʹ౰ͯ͸·ͬͯ
 Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏ • Ξϥʔτ • τϦΨʔ৚݅ʹ౰ͯ͸·ͬͨ৔߹ɺ௨஌Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)
  6. ؂ࢹͷઓུ • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ • HTTPϦΫΤετͷԠ౴଎౓͸ઈର1ඵҎԼ • ϩάͷফࣦ͸ઈରμϝ •

    σʔλϕʔεͷॻ͖ࠐΈ͸ઈରʹམͱͤͳ͍ • ؂ࢹ͢Δ߲໨/؂ࢹ͠ͳ͍߲໨ΛܾΊΔ • ؂ࢹ͸γεςϜෛՙʹ΋ͳΔ৔߹͕͋Δ • ؂ࢹ߲໨͕ଟ͗ͯ͢ԿΛݟΕ͹Α͍͔ΘΒ͔ͳ͘ͳΔ • ਖ਼͍͠ᮢ஋ͷઃఆ • ؂ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ฏۉɺ࠷େ/࠷খ஋ɺύʔηϯλΠϧ
  7. ϝτϦΫεͷҙຯΛཧղ͢Δ • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ϩʔυΞϕϨʔδ • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛ଴ͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου ͷ߹ܭ஋ϩʔυΞϕϨʔδ • CPUͷ౷ܭ৘ใ(vmstat)

    • Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ • ΞΠυϧ࣌ؒɿͳʹ΋࣮ߦ͍ͯ͠ͳ͍࣌ؒ • I/O଴ͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Εͯ଴͍ͬͯΔ࣌ؒ • ౪·Εͨ࣌ؒɿԾ૝؀ڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠
  8. ద੾ͳᮢ஋ͷܾఆ • ؅ཧ͢ΔγεςϜʹͱͬͯ“ద੾”ͳᮢ஋ • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ৔߹ɺ
 ϝϞϦ࢖༻཰ͷᮢ஋͸ߴΊʹઃఆ͓ͯ͘͠ • “ΦΦΧϛগ೥”ΛݮΒ͢ •

    ᮢ஋ʹΑΓΞϥʔτ௨஌͕ͨ͘͞Μ͖ͯɺ
 ຊདྷΩϟονΞοϓ͍ͨ͠௨஌Λݟಀ͞ͳ͍Α͏ʹ͢Δ • ᮢ஋͸దٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠ • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ࢖༻཰্͕͕Δ͔΋͠Εͳ͍
  9. ϨΠϠʔ͝ͱͷ؂ࢹ • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘ • γεςϜϦιʔεϨΠϠʔ • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ… • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ •

    ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ • ϓϩηε؂ࢹɺΞϓϦέʔγϣϯϩά؂ࢹɺ࣮ߦ࣌ؒ؂ࢹɺ஗Ԇ؂ࢹ • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲౰ऀ • αʔϏεϨΠϠʔ • ࢮ׆؂ࢹɺΤϯυϙΠϯτ؂ࢹ • ରԠऀɿ͢΂ͯͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ
  10. ϞχλϦϯάπʔϧͷ঺հ • Zabbix • Φʔϓϯιʔεͷ؂ࢹπʔϧ • ΠϯϑϥϞχλϦϯάʹ޲͍͍ͯΔ • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹ؂ࢹ͕Մೳ •

    Datadog • ༗ྉͷSaaSܕ؂ࢹπʔϧ • ओཁΫϥ΢υαʔϏεͱͷ࿈ܞ΋ॆ࣮ • APM΋2017೥΋ϦϦʔε͞Εͨ
  11. ϞχλϦϯάπʔϧͷ঺հ • mackerel • ͸ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕ؂ࢹαʔϏε • αϙʔτ΍υΩϡϝϯτ͕೔ຊޠͳͷͰ҆৺ • Prometheus •

    Φʔϓϯιʔεͷ؂ࢹπʔϧ • Googleͷ؂ࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ • άϥϑͳͲͷ࡞੒͸GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ
  12. ϞχλϦϯάπʔϧͷ঺հ • Pingdom • ࢮ׆؂ࢹαʔϏε • άϩʔόϧΤϯυϙΠϯτʹରͯ͠
 HTTP(S)ϦΫΤετΛ౤͛ͯ֎ܗ؂ࢹΛߦ͏ • PagerDurty

    • Πϕϯτ௨஌Λ͢ΔͨΊͷSaaSܕ؂ࢹ௨஌αʔϏε • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞੒Մೳ
  13. ؂ࢹʹ͍ͭͯ΋ͬͱΑ͘஌Δ • ৄղ γεςϜɾύϑΥʔϚϯε • Brendan Greggஶɺ੢࿬ ༃ߛ ؂༁ɺ௕ඌ ߴ߂

    ༁ • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ
 ؂ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ • Monitoring Modern Infrastructure by Datadog • ͜Ε͔ΒͷϞχλϦϯά͸Ͳ͏ͨ͠Β͍͍͔ • Ϋϥ΢υ؀ڥΛ࢖͍ͬͯͯಈతʹϦιʔε͕
 มԽ͢Δ৔߹ͷ؂ࢹํ๏ͳͲࢀߟʹͳΔ