adot-collectorを本番環境に導入してみた

1. adot-collectorを本番環境に導入してみた
2. About us Soushi Hiruta コンテナを活用したマイクロサービス基盤設計、構築 SPA、BackendAPI基盤設計、構築 AWS CDK歴　1.5年ほど
3. CodeCatalystのDev Environmentsでpythonがaliasバージョン固定されている CodeCatalystのDev Environmentsでpyenvで別のバージョンいれても。。。 CodeCatalystのDev EnvironmentsはAmazonLinux2 /etc/profile.d/python3_default.sh
4. Agenda • 可観測性 • マイクロサービスでの可観測性の課題 • 収集方法 • 構成図 • 変更前 • 変更前の課題 • AWS Distro for OpenTelemetry Collector • 構成図 • 本番環境に適用して発生した課題 • まとめ
5. 可観測 • マイクロサービス的システムでは分散システムになって、メトリクス だけは不十分 AWS Distro for OpenTelemetryを試してみた https://zenn.dev/kobayashi_m42/articles/try-aws-distro-for-opentelemetry
6. 可観測
7. 解決策
8. 収集方法 • Cloudwatch Agent • AWS Distro for Open Telemetry ( ADOT )
9. 全体構成図 CloudwatchAgent
10. CloudwatchAgent • ヒストグラムに対応していない、jvm metricsなどコンテナ単位で収 集しているので、長期的な傾向がみずらい • Cloudwatch logs、カスタムメトリクスの課金 •
11. AWS Distro for Open Telemetry
12. 構成図 •
13. コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml メトリクス取得間隔、取得先の設定 左の例だと20s間隔で取得
14. コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml AMP Amazon Managed Prometheusの エンドポイントを設定
15. コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml Containerinsightsで取得できるcpu、メモ リも取得できる
16. コンフィグ https://github.com/aws-observability/aws-otel-collector/blob/main/config/ecs/ecs-amp-prometheus.yaml 受信(receivers)、処理(processors)、 exporterの設定を行う
17. AMPメトリクスのグラフ化 https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-onboard-query-standalone-grafana.html Amazon managed for Grafanaなど利用する。 AWS Signature Version 4 (SigV4) authenticationに対応したGrafanaである必要あり
18. 問題ないようにみえたが。。。 •
19. • メモリ使用量が右肩上がり。。。
20. Memory Limiter Processor https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterproce ssor#memory-limiter-processor
21. Memory Limiter Processor https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterproce ssor#memory-limiter-processor
22. Memory Limiter Processor https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterproce ssor#memory-limiter-processor processorsに、memory_limiterをいれ る
23. まとめ • • ADOT sidecarを利用することでenvoy metrics、jvm metricsなど をAmazon managed for prometheusにエクスポートできる • sidecarのメモリ制限は必須
24. 紹介したリファレンス • • オブザーバビリティ・エンジニアリング 
 https://www.oreilly.co.jp/books/9784814400126/ 
 • WS Distro for OpenTelemetryを試してみた 
 https://zenn.dev/kobayashi_m42/articles/try-aws-distro-for-opentelemetry • https://github.com/aws-observability/aws-otel-collector • https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimite rprocessor#memory-limiter-processor •