Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AMP, AMG, X-Ray等、AWSマネージドサービスを活用した監視環境構築

nutslove
February 22, 2022
1.1k

AMP, AMG, X-Ray等、AWSマネージドサービスを活用した監視環境構築

2021年9月にGAされたAMP(Amazon Managed Service for Prometheus)、AMG(Amazon Managed Grafana)やX-Ray等、AWSマネージドサービスの導入を検討されている方のお役に立てばと思います。

nutslove

February 22, 2022
Tweet

Transcript

  1. A M P 等 、 A W S マ ネ

    ー ジ ド サ ー ビ ス を 活 用 し た 監 視 環 境 構 築 2 0 2 2 年 2 月 2 2 日 李 俊 起
  2. 選択したOSSツール Grafana Prometheus VictoriaMetrics OpenTelemetry Grafana Tempo DashBoard メトリクス長期保存 ログ保存

    ログ転送 トレース取得 トレース保存 メトリクス取得 データ可視化 Grafana promtail Grafana Loki
  3. vmalert 構成 Remote Write Prometheus Pull VictoriaMetrics アラート 連携 クエリー

    SNS Lambda アラートシステム Push Grafana Tempo OpenTelemetry Push Metrics Logs Traces EC2 Instance 各exporter アプリ 運用共通基盤 監視対象システム EKS Cluster Grafana EKS Cluster 各exporter EC2 Instance 各exporter Alertmanager クエリー
  4. AMP、AMG、ADOTがGA! ・ AMP、AMG、ADOTが2021年9月にGAされ、 東京リージョンから利用可能となったので、 AWSマネージドサービスを活用した構成に再度見直しを実施 ※AMP(Amazon Managed Service for Prometheus)

    ※AMG(Amazon Managed Grafana) ※ADOT(AWS Distro for Opentelemetry) → Opentelemetryから取得したトレースをX-Rayに 連携できるように機能追加したAWS提供ディストリビューション
  5. Grafana Alertmanager たどり着いた構成 Remote Write Prometheus Pull アラート 連携 クエリー

    SNS Lambda アラートシステム Push Push Metrics Logs Traces EC2 Instance 各exporter アプリ 運用共通基盤 監視対象システム EKS Cluster EKS Cluster 各exporter EC2 Instance 各exporter クエリー ADOT Collector ADOT クエリー 変更となった箇所
  6. AMP、AMG利用時注意点 サービス 注意点 備考 AMP メトリクス保存期間が 150日固定 ハードリミットのため上限緩和不可。 150日より前のデータが必要な場合は、 別のツールと組み合わせた利用を検討。

    取込可能サンプル/sの上限 ※70,000/s 下記PromQLでPrometheusのサンプル数を確認 prometheus_tsdb_head_samples_appended_total AMG 認証方式 AWS SSOとSAML認証のみ ※SAML認証の場合はAzure AD等、 Third Partyと連携した方が手っ取り早い Private Subnetへのクエリー不可 どうしてもAMGを使いたい場合はPublic Subnetに するか、AWSサービスのみの構成を検討 1アカウントで利用可能な WorkSpaceは5つまで ハードリミットのため上限緩和不可。 ※AMPのservice quotas https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP_quotas.html ※AMGのservice quotas https://docs.aws.amazon.com/ja_jp/grafana/latest/userguide/AMG_quotas.html