Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Linuxos_for_system_metrics

88f4e84b94fe07cddbd9e6479d689192?s=47 soudai sone
September 25, 2017

 Linuxos_for_system_metrics

https://mackerelio.connpass.com/event/66208/

Mackerel / NewRelic / Elasticsearch Seminarでの資料です
#mackerelio

88f4e84b94fe07cddbd9e6479d689192?s=128

soudai sone

September 25, 2017
Tweet

Transcript

  1. 1 -JOVY04͔ΒݟΔ .BDLFSFMͷ ύϑΥʔϚϯεϞχλϦϯά .BDLFSFM/FX3FMJD &MBTUJDTFBSDI 4FNJOBS

  2. 2

  3. 3 • ીࠜ ૖େ JE4PVEBJ • גࣜձࣾ ͸ͯͳ • .BDLFSFMνʔϜ

    • $VTUPNFS3FMJBCJMJUZ&OHJOFFS ٕज़Ͱօ༷ͷ໰୊Λղܾ͢Δ͓࢓ࣄͰ͢ ࣗݾ঺հ
  4. 4 ࠓ೔ͷΰʔϧ ΞϓϦέʔγϣϯ ϛυϧ΢ΣΞɾ04ɾωοτϫʔΫ ςΩετɾϩά αʔϏε

  5. 5 ࠓ೔ͷΰʔϧ ΞϓϦέʔγϣϯ ϛυϧ΢ΣΞɾ04ɾωοτϫʔΫ ςΩετɾϩά αʔϏε

  6. 6 ύϑΥʔϚϯεϞχλϦϯά͸৬ਓܳ ࠓ೔ͷΰʔϧ

  7. 7 ԿΛݟΕ͹͍͍͔Θ͔Βͳ͍ʜ ࠓ೔ͷΰʔϧ

  8. 8 άϥϑΛݟͯ΋Կॲ͕ѱ͍ͷ͔Θ͔Βͳ͍ʜ ࠓ೔ͷΰʔϧ

  9. 9 ͦ͜Ͱʂʂ ࠓ೔ͷΰʔϧ

  10. 10 -JOVYͷύϑΥʔϚϯεϞχλϦϯάΛ ஌ΔɾݟΔɾվળ͢Δ ࠓ೔ͷΰʔϧ

  11. 11 -JOVYͷύϑΥʔϚϯεϞχλϦϯάΛ ஌ΔɾݟΔɾվળ͢Δ ࠓ೔ͷΰʔϧ

  12. 12 -JOVYͷύϑΥʔϚϯεϞχλϦϯάΛ ஌ΔɾݟΔɾվળ͢Δ ࠓ೔ͷΰʔϧ Ͱ͖Δʂ-JOVYͷϞχλϦϯάʂʂ

  13. 13  .BDLFSFMͱ͸  -JOVYͷϞχλϦϯά  ύϑΥʔϚϯεϞχλϦϯάͷεεϝ  ·ͱΊ ࠓ೔ͷΞδΣϯμ

  14. 14  .BDLFSFMͱ͸  -JOVYͷϞχλϦϯά  ύϑΥʔϚϯεϞχλϦϯάͷεεϝ  ·ͱΊ ࠓ೔ͷΞδΣϯμ

  15. 15 ௚ײతͳϢʔβʔମݧ

  16. 16 ΞʔΩςΫνϟ Mackerel͔Β ֎෦αʔϏε ΁ͷ௚઀؂ࢹ ΤʔδΣϯτ͔Β ϝτϦοΫΛ౤ߘ HTTPS REST API

  17. 17 ؆୯ɻ͙͢ ͸͡ΊΒΕ·͢ • ΨΠυʹ͕ͨͬͯ͠ίϚϯυΛ࣮ߦ͢Δ͚ͩ • ਺෼͋Ε͹े෼Ͱ͢ mackerel-agent written in

    Go
  18. 18  .BDLFSFMͱ͸  -JOVYͷϞχλϦϯά  ύϑΥʔϚϯεϞχλϦϯάͷεεϝํ  ·ͱΊ ࠓ೔ͷΞδΣϯμ

  19. 19 -JOVYͰΑ͘ݟΒΕΔϝτϦοΫ -JOVYͷϞχλϦϯά

  20. 20 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ
  21. 21 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ
  22. 22 ࣮ߦ଴ͪͷʢ࣮ߦΩϡʔ಺ʹ͋Δʣϓϩηεͷ਺ͱ σΟεΫͷ*0଴ͪͷϓϩηεͷ਺ͷ߹ܭ஋ ϩʔυΞϕϨʔδ

  23. 23 ࣮ߦ଴ͪͷʢ࣮ߦΩϡʔ಺ʹ͋Δʣϓϩηεͷ਺ͱ σΟεΫͷ*0଴ͪͷϓϩηεͷ਺ͷ߹ܭ஋ ϩʔυΞϕϨʔδ ͭ·ΓϩʔυΞϕϨʔδ͕ߴ͚Ε͹ $16΍%JTL*0͕٧·͍ͬͯΔ͜ͱΛද͢

  24. 24 VQUJNF VQ VTFS MPBEBWFSBHF   ϩʔυΞϕϨʔδ

  25. 25 VQUJNF VQ VTFS MPBEBWFSBHF   ϩʔυΞϕϨʔδ

  26. 26 VQUJNF VQ VTFS MPBEBWFSBHF   ϩʔυΞϕϨʔδ

  27. 27 VQUJNF VQ VTFS MPBEBWFSBHF   ϩʔυΞϕϨʔδ 3つ並んでいる値は左から順番に 「1分間の平均値」

    「5分間の平均値」 「10分間の平均値」
  28. 28 VQUJNF VQ VTFS MPBEBWFSBHF   ϩʔυΞϕϨʔδ 3つ並んでいる値は左から順番に 「1分間の平均値」

    「5分間の平均値」 「10分間の平均値」
  29. 29 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ ϩʔυΞϕϨʔδͷ෼ؒͷฏۉ஋
  30. 30 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ
  31. 31 $16࢖༻཰ͷׂ߹Λ஌Δ $16

  32. 32 $16࢖༻཰ͷׂ߹Λ஌Δ $16 $16͕ͷ৔߹ʹ Ͳ͜Ͱ࢖͍ͬͯΔ͔Λ஌Δ

  33. 33 UPQ 5BTLTUPUBM SVOOJOH TMFFQJOH TUPQQFE [PNCJF $QV T VT

    TZ OJ JE XB IJ TJ TU .FNLUPUBM LVTFE LGSFF LCVGGFST 4XBQLUPUBM LVTFE LGSFF LDBDIFE $16
  34. 34 UPQ 5BTLTUPUBM SVOOJOH TMFFQJOH TUPQQFE [PNCJF $QV T VT

    TZ OJ JE XB IJ TJ TU .FNLUPUBM LVTFE LGSFF LCVGGFST 4XBQLUPUBM LVTFE LGSFF LDBDIFE $16
  35. 35 UPQ 5BTLTUPUBM SVOOJOH TMFFQJOH TUPQQFE [PNCJF $QV T VT

    TZ OJ JE XB IJ TJ TU .FNLUPUBM LVTFE LGSFF LCVGGFST 4XBQLUPUBM LVTFE LGSFF LDBDIFE $16
  36. 36 UPQ $QV T VT TZ OJ JE XB IJ

     TJ  TU VTFSTZTUFNOJDFJEMF *0XBJUIBSEXBSFTPGUXBSFTUFBM $16
  37. 37 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN •

    DQVJEMF
  38. 38 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN •

    DQVJEMF ΧʔωϧҎ֎͕࢖༻ͨ࣌ؒ͠ͷׂ߹
  39. 39 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN •

    DQVJEMF *0଴ͪʹΑΓΞΠυϧঢ়ଶͰ ͋ͬͨ࣌ؒͷׂ߹
  40. 40 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN •

    DQVJEMF Χʔωϧ͕࢖༻ͨ࣌ؒ͠ͷׂ߹
  41. 41 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN •

    DQVJEMF *0଴͕ͪͳ͘ɺ͔ͭ$16͕ ΞΠυϧঢ়ଶͰ͋ͬͨ࣌ؒͷׂ߹
  42. 42 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ
  43. 43 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ ࠓ೔͸͕࣌ؒͳ͍ͷͰׂѪ
  44. 44 .BDLFSFMຊ

  45. 45

  46. 46 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL

    • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ શͯͷ߲໨ʹ͍ͭͯৄࡉ͕͋Γ·͢ʂ
  47. 47  .BDLFSFMͱ͸  -JOVYͷϞχλϦϯά  ύϑΥʔϚϯεϞχλϦϯάͷεεϝ  ·ͱΊ ࠓ೔ͷΞδΣϯμ

  48. 48 ͜Μͳܦݧ͋Γ·ͤΜ͔ʁ ύϑΥʔϚϯεϞχλϦϯάͷεεϝ

  49. 49 ͸ͯͳϒοΫϚʔΫͷϗοτΤϯτϦʔೖΓͯ͠ ΞΫηεٸ૿ʂʂ ύϑΥʔϚϯεϞχλϦϯάͷεεϝ

  50. 50 ߴ໐ΔΞϥʔτɺߴ·ΔϩʔυΞϕϨʔδ ύϑΥʔϚϯεϞχλϦϯάͷεεϝ

  51. 51 MPBEBWH্͕͕ΔͱγεςϜʹෛՙ͕͔͔͍ͬͯΔ ߴ·ΔϩʔυΞϕϨʔδ

  52. 52 MPBEBWH্͕͕ΔͱγεςϜʹෛՙ͕͔͔͍ͬͯΔ ߴ·ΔϩʔυΞϕϨʔδ ͔͠͠ଈো֐ͱ͸ݶΒͳ͍

  53. 53 ॠؒతʹॲཧ͕ूதͯ͠΋ɺ ฏৗ࣌ͷෛՙʹ·Ͱམͪண͘͜ͱ͕Ͱ͖Δ͔Ͳ͏͔ ߴ·ΔϩʔυΞϕϨʔδ

  54. 54 ʮ࣮ࡍʹࡹ͍͍ͯΔॲཧྔʢ Y ʣʯ ʮࡹ͘΂͖ॲཧͷ૯ྔʢ Z ʣʯ ͕ YZ ʹͳ͍ͬͯͳ͍͔

    ϩʔυΞϕϨʔδ
  55. 55 ϩʔυΞϕϨʔδ

  56. 56 ϩʔυΞϕϨʔδ εύΠΫ͍ͯ͠Δ͕ ͙͢ʹऩଋ͍ͯ͠ΔͷͰ໰୊͸ແ͍

  57. 57 ϩʔυΞϕϨʔδ

  58. 58 ϩʔυΞϕϨʔδ X < Y の状態を放っておくと、どんどんと処理待ちプロセスが 溜まり、処理されるのが遅れてくる一方になる

  59. 59 ϩʔυΞϕϨʔδ 根本的な対策を講じる必要があり、 CPUかDISCにボトルネックがあると推測できる

  60. 60 $16ͷϝτϦοΫ͔ΒݪҼΛಡΈऔΔ MPBEBWH ͷ্ঢத

  61. 61 σΟεΫͷ*0ੑೳ͕ωοΫ DQVJPXBJU͕ߴಅ͍ͯ͠Δ৔߹

  62. 62 σΟεΫͷ*0ੑೳ͕ωοΫ DQVJPXBJU͕ߴಅ͍ͯ͠Δ৔߹ %JTDͷϝτϦοΫͷ3FBEͱ8SJUFΛ֬ೝ

  63. 63 ΧʔωϧҎ֎ͷϓϩηε͕ݪҼ DQVVTFS͕ߴಅ͍ͯ͠Δ৔߹

  64. 64 ΧʔωϧҎ֎ͷϓϩηε͕ݪҼ DQVVTFS͕ߴಅ͍ͯ͠Δ৔߹ ྫ͑͹ΞϓϦέʔγϣϯ

  65. 65 ΧʔωϧҎ֎ͷϓϩηε͕ݪҼ DQVVTFS͕ߴಅ͍ͯ͠Δ৔߹ ྫ͑͹ΞϓϦέʔγϣϯ ΞϓϦͷվળΛߦ͏͔ɺ$16ͷεϖοΫΛ্͛Δ͜ͱͰ վળ͞ΕΔՄೳੑ͕͋Δ

  66. 66 ϞχλϦϯά͓ͯ͘͜͠ͱͰཧ༝͕Θ͔Δ

  67. 67 ΦʔόʔεϖοΫͷαʔόΛར༻͍ͯ͠Δ $16Λ࢖༻཰͕ৗʹ௿͍৔߹

  68. 68 ΦʔόʔεϖοΫͷαʔόΛར༻͍ͯ͠Δ $16Λ࢖༻཰͕ৗʹ௿͍৔߹ ίετμ΢ϯͷνϟϯεʂ ແବͳϦιʔεΛ࡞Βͳ͍

  69. 69  .BDLFSFMͱ͸  -JOVYͷϞχλϦϯά  ύϑΥʔϚϯεϞχλϦϯάͷεεϝ  ·ͱΊ ࠓ೔ͷΞδΣϯμ

  70. 70 ύϑΥʔϚϯεϞχλϦϯά͸೉͍͠ ·ͱΊ

  71. 71 ύϑΥʔϚϯεϞχλϦϯά͸೉͍͠ ·ͱΊ ݟΔ΂͖஋ɺ৚݅͸αʔϏε΍αʔόͷ໾ׂʹΑͬͯҧ͏

  72. 72 ύϑΥʔϚϯεϞχλϦϯά͸೉͍͠ ·ͱΊ ݟΔ΂͖஋ɺ৚݅͸αʔϏε΍αʔόͷ໾ׂʹΑͬͯҧ͏ 8FCαʔόͱ%#αʔόͰ΋ݟΔ΂͖ϝτϦοΫ͸มΘΔ 8FCαʔϏε͔ۀ຿ܥ͔Ͱ΋ݟΔ΂͖ϝτϦοΫ͸มΘΔ

  73. 73 ύϑΥʔϚϯεϞχλϦϯά͸೰·͍͠ ·ͱΊ

  74. 74 ύϑΥʔϚϯεϞχλϦϯά͸೰·͍͠ ·ͱΊ εύΠΫͳͷ͔ɺগ্ͮͭ͠ঢͨ͠ͷ͔͸࣌ܥྻσʔλ͕ඞཁ

  75. 75 ύϑΥʔϚϯεϞχλϦϯά͸೰·͍͠ ·ͱΊ εύΠΫͳͷ͔ɺগ্ͮͭ͠ঢͨ͠ͷ͔͸࣌ܥྻσʔλ͕ඞཁ աڈͷσʔλ͸औΔ͜ͱ͕ग़དྷͳ͍ ͔ͩΒͦ͜໰୊͕ى͜Δલ͔ΒϞχλϦϯά͢Δࣄ͕େࣄ

  76. 76 ϞχλϦϯάͷ஌ݟΛ.BDLFSFM͕ڞ༗͢Δ ·ͱΊ

  77. 77  1MVHJOʹΑΔऩू͢΂͖ϝτϦοΫͷछྨ  ϩʔϧʹΑΔαʔόͷ·ͱΊํ  άϥϑΞϊςʔγϣϯ΍άϥϑϘʔυʹΑΔ Θ͔Γ΍͍͢ϝτϦοΫͷݟํ ʜ FUD

    .BDLFSFM͕ڞ༗͢Δ஌ݟ
  78. 78 ҰาਐΜͩ.BDLFSFMͷར༻๏ .BDLFSFMͰ৽ͨͳੈքΛ

  79. 79 ॊೈͳάϥϑදݱʢܭࢉࣜʣ ࠩ෼ લिͱͷॏͶ͋Θͤ ࠷େ ࠷େɾฏۉɾ࠷খ ߹ܭ

  80. 80 কདྷ༧ଌ • աڈͷ܏޲Λ෼ੳ͠ɺকདྷͷ༧ଌʹج͍ͮͯܯࠂ • ྫ͑͹ɺσΟεΫ͕ރׇ͢Δ1ϱ݄લʹ͓஌Βͤ͢Δ͜ͱ΋ Critical > 80% কདྷ

    Trends 1ϱ݄લ ݱࡏ
  81. 81 ϗετ؅ཧͱͯ͠ͷ.BDLFSFM • ͓࢖͍ͷπʔϧͱ࿈ܞ͠ɺ༻్ʹԠͯ͡૊Έ߹ΘͤΔ͜ͱ͕Ͱ͖ ·͢ Server Server Server Server Deploy

    Configuration API mkr
  82. 82 ؾʹͳΔํ͸.BDLFSFMຊ

  83. 83 Έͳ͞Μ΋Ұॹʹָ͠Έ·͠ΐ͏ʂ ·ͱΊ

  84. 84 ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠