adot-collectorを本番環境に導入してみた

About us Soushi Hiruta コンテナを活用したマイクロサービス基盤設計、構築 SPA、BackendAPI基盤設計、構築 AWS CDK歴　1.5年ほど

CodeCatalystのDev Environmentsでpythonがaliasバージョン固定されている CodeCatalystのDev Environmentsでpyenvで別のバージョンいれても。。。 CodeCatalystのDev EnvironmentsはAmazonLinux2 /etc/profile.d/python3_default.sh

Agenda ● 可観測性 ● マイクロサービスでの可観測性の課題 ● 収集方法 ● 構成図 ● 変更前 ● 変更前の課題 ● AWS Distro for OpenTelemetry Collector ● 構成図 ● 本番環境に適用して発生した課題 ● まとめ

可観測 ● マイクロサービス的システムでは分散システムになって、メトリクス だけは不十分 AWS Distro for OpenTelemetryを試してみた https://zenn.dev/kobayashi_m42/articles/try-aws-distro-for-opentelemetry

可観測

解決策

収集方法 ● Cloudwatch Agent ● AWS Distro for Open Telemetry ( ADOT )

全体構成図 CloudwatchAgent

CloudwatchAgent ● ヒストグラムに対応していない、jvm metricsなどコンテナ単位で収 集しているので、長期的な傾向がみずらい ● Cloudwatch logs、カスタムメトリクスの課金 ●

AWS Distro for Open Telemetry

構成図 ●

コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml メトリクス取得間隔、取得先の設定 左の例だと20s間隔で取得

コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml AMP Amazon Managed Prometheusの エンドポイントを設定

コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml Containerinsightsで取得できるcpu、メモ リも取得できる

コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml 受信(receivers)、処理(processors)、 exporterの設定を行う

AMPメトリクスのグラフ化 https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-onboard-query-standalone-grafana.html Amazon managed for Grafanaなど利用する。 AWS Signature Version 4 (SigV4) authenticationに対応したGrafanaである必要あり

問題ないようにみえたが。。。 ●

● メモリ使用量が右肩上がり。。。

Memory Limiter Processor https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterproce ssor#memory-limiter-processor

Memory Limiter Processor https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterproce ssor#memory-limiter-processor

Memory Limiter Processor https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterproce ssor#memory-limiter-processor processorsに、memory_limiterをいれ る

まとめ ● ● ADOT sidecarを利用することでenvoy metrics、jvm metricsなど をAmazon managed for prometheusにエクスポートできる ● sidecarのメモリ制限は必須

紹介したリファレンス ● ● オブザーバビリティ・エンジニアリング 
 https://www.oreilly.co.jp/books/9784814400126/ 
 ● WS Distro for OpenTelemetryを試してみた 
 https://zenn.dev/kobayashi_m42/articles/try-aws-distro-for-opentelemetry ● https://github.com/aws-observability/aws-otel-collector ● https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimite rprocessor#memory-limiter-processor ●