Mackerel Meetup #7

Mackerel Meetup #7

AWS Integration with Mackerel

Fc8163b687f0db1b9d41a57e5b607025?s=128

Hiromichi Sugiyama

May 12, 2016
Tweet

Transcript

  1. mackerel.io mackerel.io The server monitoring platform we always wanted Mackerel

    Meetup #7 12 May 2016 AWS Integration with Mackerel Hatena Co., Ltd. Hiromichi Sugiyama
  2. Hiromichi Sugiyama / ਿࢁ ޿௨ 株式会社はてな サービス開発本部 Mackerelチームプロデューサー 経歴 -

    某大手製造業のIT事業会社 - 大規模環境でのインフラエンジニア - オープンソースのモニタリングツール - ITILベースのサービスマネジメント - SaaSシステム(ITサービス管理) - はてなでMackerel事業へ携わる id:sugiyama88
  3. 1 Mackerel Overview & Recent Topics

  4. Mackerelͱ͸ʁ • "SaaSܕ"αʔόʔ؂ࢹαʔϏε • ΤϯδχΞ͕ཉ͔ͬͨ͠zϫΫϫΫz͢ΔΑ ͏ͳػೳΛఏڙ͠ɺѹ౗తͳzޮ཰ԽzΛ࣮ݱ • ͸ͯͳͷओྗαʔϏεΛ͑͞͞ଓ͚͖ͯͨ ʢ࠷ߴͷυοάϑʔσΟϯάʣ •

    2014.9.17ਖ਼ࣜϦϦʔεʢ1೥8ϱ݄ʣ
  5. ΞʔΩςΫνϟʔ • Mackerelから 外部サービス への直接監視 ΤʔδΣϯτ͔Β ϝτϦοΫΛ౤ߘ )5514 3&45"1*

  6. ௚ײతͳϢʔβʔମݧ

  7. ؆୯ʹ௚͙͸͡ΊΒΕΔ • ΨΠυʹै͏͚ͩ • ͨͬͨ਺෼ mackerel-agent written in Golang

  8. ࠷খͷϧʔϧ͕࠷ߴͷརศੑΛ • ΤʔδΣϯτΛ্ཱͪ͛Δ͚ͩͰ • ࣗಈతʹ؂ࢹ͕࢝·Γ • ಉ͡ϩʔϧͷϗετ͸ಉ͡άϥϑ΁

  9. ৗʹਐԽ͠ଓ͚ΔαʔϏε 毎週新機能のリリースを継続中 陳腐化せず常に進化 ̕ि࿈ଓ

  10. બ͹ΕΔཧ༝ • ಋೖʗUI͕؆୯Ͱ෼͔Γ΍͍͢ • ։ൃεϐʔυ • ϚϧνΫϥ΢υͰ࢖͑Δ • ೔ຊޠαϙʔτ͕ॆ࣮ •

    NewRelicͱͷซ༻
  11. Standardϓϥϯվగ Discount↓ Upgrade↑

  12. OSS΁ͷίϯτϦϏϡʔτ • Golang https://go-review.googlesource.com/#/c/21190/

  13. OSS΁ͷίϯτϦϏϡʔτ • Graphite https://github.com/graphite-project/carbon/pull/535 https://github.com/graphite-project/whisper/pull/162

  14. OSS΁ͷίϯτϦϏϡʔτ • Graphite https://github.com/graphite-project/graphite-web/pull/1492 https://github.com/graphite-project/graphite-web/pull/1447

  15. 2 Mackerel Feature Recommendations (5)

  16. 1.Ξϥʔτ௨஌ʹάϥϑ • Slack, HipChat, TypeTalk, Yammer

  17. 2.URL֎ܗ؂ࢹ • ར༻ऀࢹ఺ͷHTTP/HTTPS؂ࢹ • ֎෦͔ΒͷϨεϙϯελΠϜΛՄࢹԽ • εςʔλείʔυɾϨεϙϯελΠϜͰΞϥʔτ • ΩʔϫʔυͷଘࡏνΣοΫ •

    SSLূ໌ॻͷ༗ޮظݶΛνΣοΫ Web Service URL
  18. 3.؂ࢹϧʔϧͷίʔυԽ • zInfrastructure as Codez • mkr monitor diff/pull/push •

    JSONܗࣜͰϧʔϧΛѻ͏
  19. ؂ࢹϧʔϧΛGitͰ؅ཧ

  20. 4.ϝτϦοΫΛࣜͰܭࢉɾՄࢹԽ 差分 前週との重ねあわせ 最大 最大・平均・最小 合計

  21. 5.͓ؾʹೖΓొ࿥ • େن໛؀ڥͰͷར༻ʹ࠷ద • Ϣʔβʔ͝ͱʹΑ͘ར༻͢ΔαʔϏ ε΍ΧελϜμογϡϘʔυΛొ࿥

  22. 3 AWS Integration

  23. AWS Integration • AWS CloudWatch API͔Β༷ʑͳϝ τϦοΫ΍ΠϕϯτΛऔಘ͠ՄࢹԽ • 1୆ͷϗετͱͯ͠؅ཧ •

    ELBɺRDS͔Βॱ֦࣍େ • Standardϓϥϯ API Amazon CloudWatch Amazon RDS Amazon ELB
  24. ෳ਺ͷΞΧ΢ϯτ΍Ϧʔδϣϯ΁΋ରԠ

  25. ؆୯ͳొ࿥͚ͩͰOK

  26. RDSϗετৄࡉ

  27. RDSΠϕϯτ΋ՄࢹԽ

  28. ELBϗετৄࡉ

  29. αʔϏεμ΢ϯ࣌ʹ͸Ξϥʔτ

  30. αʔϏεʗϩʔϧʗϗετͰ؅ཧ

  31. ಛ௃ • αʔϏεશମΛ၆ᛌͯ͠؅ཧ • AWSΞΧ΢ϯτ΍Ϧʔδϣϯ੍໿ͳ͠ • ؆୯ͳઃఆͷΈʢཁΩʔొ࿥ʣ • த௕ظతͳ෼ੳ •

    ϚϧνΫϥ΢υ
  32. ͓͢͢Ίͷ؂ࢹߏ੒ • URL֎ܗ؂ࢹ ར༻ऀࢹ఺ͰϨεϙϯελΠϜ΍ূ໌ॻͷ༗ޮظݶΛ؂ࢹ • ΤʔδΣϯτ/ϓϥάΠϯ؂ࢹ EC2Πϯελϯε΍ίϯςφͷৄࡉϝτϦοΫ΍֤छͷ νΣοΫ؂ࢹ • AWSΠϯςάϨʔγϣϯ

    CloudWatch APIͰ͔͠औಘͰ͖ͳ͍֤छͷϝτϦοΫ΍Π ϕϯτΛ؂ࢹ • DBϓϥάΠϯ؂ࢹ RDSͷMySQLͳͲʢ΋͏͙͢ผϗετ͔Βऔಘͨ͠ϝτ ϦοΫΛࣝผՄೳʹͳΔʣ
  33. 4 Mackerel Vision

  34. Ϋϥ΢υԽͷྲྀΕ • ։ൃπʔϧ͸Ϋϥ΢υ΁ • svn/git → GitHub (GitHub Enterprise) •

    Jenkins → TravisCI, CircleCI • ࣮ߦ؀ڥ΋Ϋϥ΢υ΁ • ΦϯϓϨ → AWS, GCP, Azure
  35. Mackerel΁ͷྲྀΕ • ӡ༻πʔϧ΋Ϋϥ΢υ΁ • Zabbix, Nagios → Cloudwatch, NewRelic and

    Mackerel !! • ࢖͍΍͍͢UIʹΑΔɺΑΓ҆ఆͨ͠ӡ༻Λ
  36. Infrastructure as Code • ϗετઃఆΛίʔυԽ ʢChef/puppetʣ • Mackerelͷઃఆ΋CodeͰ؅ཧ • ؂ࢹϧʔϧ/μογϡϘʔυͷίʔυԽ

    • ॱ࣍ɺAPIԽΛਪਐ
  37. Mackerelͷະདྷ • All-in-OneαʔϏεͰ͸ͳ͍ • ༷ʑͳπʔϧ/αʔϏεͱͷ࿈ܞ • Slack/GitHub/Reactio • γεςϜ؅ཧͷίΞπʔϧͱͯ͠ͷ Mackerel

  38. DevOpsͷத֩ͱͯ͠ • ϥΠϑαΠΫϧશମͷޮ཰ԽΛଅਐ %FW 0QT

  39. ৬ਓܳΛΞϧΰϦζϜͰࢧԉ 過去の傾向から将来を予測して警告 $SJUJDBM 将来 5SFOET ϱ݄લ 現在 ۙ೔ ϦϦʔε

  40. MackerelͷϏδϣϯ ΤϯδχΞΛϫΫϫΫͤ͞Δ ʮ௚ײతαʔόʔ؂ࢹαʔϏεʯ

  41. ͍͞͝ʹҰͭ

  42. େن໛ʂʢ1Role 2,554 hostsʣ

  43. ͍͞͝ʹɺ΋͏Ұͭ

  44. We are Hiring • ηʔϧεΤϯδχΞʢٸืʣ • 8FCΞϓϦέʔγϣϯΤϯδχΞ

  45. mackerel.io