モダンな監視を今こそ実装する

2021年2月5日 クラスメソッド株式会社主催 re:Growth 2020 Online インフラ特別号〜AWS re:Invent 振り返り勉強会〜 で発表した資料です

2. モダンな監視を今こそ実装する
3. 自己紹介 吉井 亮 ネクストモード株式会社 Twitter: @YoshiiRyo1 経歴: FE ～ SES ～ ERP Consul ～ Classmethod ～ Now 好きな言葉: 「No human labor is no human error」
4. 4 本日の内容  re:Invent 2020 監視系アップデート  監視アンチパターン  モダンな監視  注目のアップデート
5. 5 re:Invent 2020 監視系アップデート CloudWatch Lambda Insightsが一般利用開始に EC2がNWパフォーマンスメトリクス取得をサポート Amazon AppFlowがLookout for Metricsに対応 AWS IoT SiteWise plugin for Grafanaを発表
6. 6 re:Invent 2020 監視系アップデート AWS IoT Device Defenderのカスタムメトリクス AWS IoT Events/SiteWiseでアラームに対応 Amazon Managed Service for Prometheusを発 表 Amazon Managed Service for Grafanaを発表
7. 7 re:Invent 2020 監視系アップデート AWS Personal Health Dashboardが情報の集約に 対応 AWS Cost Anomaly Detectionが一般利用開始に
8. 8 re:Invent より前発表 監視系アップデート RDS Performance Insightのアップデート RDS for PostgreSQLのSQLレベルメトリクス 性能データをセグメント化するためのディメンションを追加 プレビュー版 AWS Distro for OpenTelemetry 発表
9. 9 SPECIAL THANKS BlackBelt 2020 年 AWS re:Invent 速報 Part3 https://d1.awsstatic.com/webinars/jp/pdf/se rvices/20201221_BlackBelt2020_reinvent202 0digest_wk3_public_A.pdf
10. 10 監視アンチパターン
11. 11 監視アンチパターン ☹ 画一的なしきい値 サーバー負荷を考慮せず、HW リソースに対し 80％ Warning, 90％ Fatal のようなしきい値を設定してしまっている ログは「 *error* || *warn*」でひっかけ
12. 12 監視アンチパターン ☹ ツール依存 一つの統合監視ツールで全てを視ようとしている シェルスクリプトでカスタムメトリクスを量産 無理してしなくていいですよ
13. 13 監視アンチパターン ☹ 怒涛の通知 起こさなくていい通知で深夜起こされる 通知が多すぎて見たくない、見れない せめて Notice と Action Required 別けましょう
14. 14 監視アンチパターン ☹ 通知の後の行動を忘れている 通知飛ばしたいいけど、何をしてよいのか? 通知と対になる復旧手順書がほしい 問題ないことを確認したらそのまま しばらくすると同じ通知が来る 通知を減らす活動が必要
15. 15 監視アンチパターン ☹ サーバー追加は手動 監視対象にエージェント、監視する側には定義追加 システムのスケールに監視が追いつかない
16. 16 モダンな監視
17. 17 モダンな監視の要素  ツールの組み合わせ  ユーザー視点  サービスを使う  監視対象の動的追加  継続的な改善がある
18. 18 ツールの組み合わせ • サービスの観測性 • ServiceLens, Synthetic など • 分散アプリケーションの分析やデバッグ • X-Ray, 主要 SaaS など • インフラのメトリクス • ログ分析 • ネットワーク分析
19. 19 ユーザー視点 「ユーザーが困る事象は何か?」という観点 • サービス停止 • レスポンスの低下や無反応
20. 20 サービスを使う 監視サーバーは直接的な利益を産まない 監視サーバーのバージョンアップ辛い・・・ AWS 提供のマネージドサービス、または、 特化した SaaS を使う
21. 21 監視対象の動的追加 サービスを起動したらそのまま監視対象 コンテナ → サイドカー EC2 → ユーザーデータ、Golden Image など
22. 22 継続的な改善がある 取得メトリクスの見直し、更新 監視対象ログファイルの見直し、更新 しきい値の見直し、追加、廃止 復旧の自動化 手順の更新
23. 23 注目のアップデート
24. 24 注目のアップデート Amazon Managed Service for Prometheus Amazon Managed Service for Grafana https://aws.amazon.com/jp/blogs/aws/reinvent-2020-liveblog-werner-vogels-keynote/ より引用
25. 25 まだ Preview です Amazon Managed Service for Prometheus (AMP) is in open preview. The preview is open to all AWS accounts and you do not need to request access. Features may be added or changed before announcing General Availability. The preview currently supports the following Regions: •US East (Ohio) •US East (N. Virginia) •US West (Oregon) •Europe (Frankfurt) •Europe (Ireland) Amazon Managed Service for Grafana (AMG) is in preview. If you want to use this service while it is in preview, register at https://pages.awscloud.com/grafanaPreview.html. Features may be added or changed before announcing General Availability. The preview currently supports the following Regions: ・US East (N. Virginia) ・Europe (Ireland)
26. 26 Q. Prometheus とは? Prometheusは、 アクティブなエコシステムを備えたオープンソースの システム監視およびアラートツールキット。 マイクロサービス (kubernetes, ECS等) の メトリクス収集に特に強みがある。
27. 27 Prometheus Architecture https://prometheus.io/docs/introduction/overview/ より引用
28. 28 様々な Exporter Prometheus 公式 or 3rd party の Exporter を 追加することで監視対象を増やす https://prometheus.io/docs/instrumenting/exporters/ • Node exporter (official) • MySQL server exporter (official) • JMX exporter (official) • 他多数
29. 29 Q. Grafana とは? 一言で表すと Data Visualization ツール。 Prometheus で収集したメトリクスを Grafana で加工してグラフィカルに表示。 アラートを飛ばすことも可能。
30. 30 出来合いのダッシュボードを使う ・ダッシュボード https://grafana.com/grafana/dashboards ・プラグイン https://grafana.com/grafana/plugins 一から作らなくても済む 公開されているものを積極的に使う
31. 31 想像する構成 ECS EKS その他AWSリソース CloudWatch Developer SRE CloudWatch Logs metrics logging CloudWatch ServiceLens Insight 系 X-Ray tracing alert alert
32. 32 tracing https://observability.workshop.aws/ja/servicelens/_explore_servicelens.html より引用
33. 33 logging https://observability.workshop.aws/ja/logsinsights/_start.html より引用
34. 34 34