ECS Fargate+Mackerelにおける監視費用を削減するまでの話

ECS Fargate+Mackerelにおける監視費用を削減するまでの話 JAWS-UGコンテナ支部入門編 #7 初心者大歓迎LT大会 2022.08.09 株式会社ヌーラボ中野
1

自己紹介 2 @maaaato Masayuki Nakano 💻: ヌーラボ Backlog課 Git Team
❤: 筋トレ/ウマ娘/ジョジョ/アニメ鑑賞/AWS 🏠: 󰘋と🐈と暮らしてます Embedded SREをしています

きょうお話すること ECS Fargateの監視にMackerelとCloudWatch Container Insightsを利用 • Mackerelの費用を削減するための経緯と行ったこと • Mackerel、CloudWatch Container
Insightsでどういう監視をしているのか質問や気になる事がありましたらお気軽にTwitterで！ 3

なにがあったのかとある日のこと... 4 うわーぜったいうちやん... 最近リリースしたアプリのホストメトリック数ってどうなっているっけ？あれ？Mackerelの費用が上がってるなホストメトリック数の超過が
目立つねちょっと調べてみますね〜言葉ではなく心で理解

Mackerelにおけるホストについてホストとは「そのシステムを構成する最小単位」 1. スタンダートホスト a. mackerel-agentをインストールしたホスト（e.g. EC2など） 2. マイクロホスト a.
mackerel-container-agentをサイドカーとして利用したホスト（e.g. ECS Fargateなど） 5

Mackerelにおけるホストについてホストとは「そのシステムを構成する最小単位」 1. スタンダートホスト a. mackerel-agentをインストールしたホスト（e.g. EC2など） 2. マイクロホスト a.
mackerel-container-agentをサイドカーとして利用したホスト（e.g. ECS Fargateなど） 6

マイクロホストメトリック数とは？ >CPU使用率やメモリの使用量、ロードアベレージなど、サーバーにひも付くメトリックを「ホストメトリック」と呼んでいます。 ※https://ja.mackerel.io/pricing より引用マイクロホストメトリック数は上限値が設定されており 30となっている 30メトリック毎に1マイクロホスト分の費用が発生するつまり30を超えると俺が二人分になる！（2マイクロホスト扱い） 7

ECS Fargateの構成について • 1つのClusterに複数のServiceが存在 • Serviceのタスクの内訳 ◦ Applicationコンテナ ◦ サイドカーとしてLogコンテナと
mackerel-container-agentがある • LogはAmazon Kinesis Data Firehose経由でログをElasticsearchに送信している 8

ECS Fargateのタスクと監視について 9 CloudWatch Alarmのアラート条件 1. Running Task CountがDesired Task
Countを下回った 2. Running Task Countが0になった Application,Logのメトリクスを収集（自身のメトリクス含む） mackerel-plugin-gostatsを利用してカスタムメトリクスも収集 CloudWatch Container InsightsでTaskのプロセス監視 MackerelでTaskのリソース監視

超過したホストメトリック数に対してどういう判断をしたか Application以外のメトリクスは必要がないと判断理由としてチームで毎朝メトリクスをチェックしている Log、mackerel-container-agentのメトリクスが安定していることがわかったため、メトリクス取得対象から外すことにした 10 mackerel-container-agent 自身のメトリクス送信も止める

特定のコンテナをignoreする 11 roles: - "Git: api" plugin: metrics: gostats: command:
mackerel-plugin-gostats -port=9000 -path=/api/stats ignoreContainer: '\A(mackerel-container-agent|Log)\z' mackerel-container-agentのyamlファイルにignoreContainerを追加（正規表現が利用可能）

おどろきの結果ホストメトリック数が30を切る状態になりホストメトリックの超過一覧から運用しているコンテナが消えたもちろんMackerelの費用も下がることになり笑顔が溢れた 12 メトリックの対象からLogと mackerel-container-agentが消えた

まとめ • ホストメトリック数の扱いを把握できてなかった • ホストメトリックの見直しをするにあたり必要がなくなったコンテナのメトリクス取得を止める判断をした ◦ 必要かどうか判断をして止めたが、必要のあるメトリクスであれば無理に止める必要はないと考えている •
Application以外のコンテナのメトリクスがMackerel上では反映されないのでパッと見た時にリソース消費が減ったように錯覚 13

ECS Fargate+Mackerelにおける監視費用を削減するまでの話

ECS Fargate+Mackerelにおける監視費用を削減するまでの話

developer@nulab.co.jp
PRO

More Decks by developer@nulab.co.jp

Other Decks in Technology

Featured

Transcript