Mackerel開発者が使ってほしいAWSインテグレーションの機能4選

2023/11/21 今更聞けないAWSインテグレーション Mackerel Drinkup #13 で発表した資料です

https://mackerel.io/ja/blog/entry/event/mackerel-drink-up-13-notice

Transcript

1. mackerel.io Mackerel開発者が使ってほしい AWSインテグレーションの機能4選 Mackerel Drink Up #13
2. AWSインテグレーションの概要
3. AWSインテグレーションとは • AWSのリソースをMackerelで監視するための機能 ◦ EC2, RDS, etc... • mackerel-agentを利用しなくてもMackerel単体で動作する • AWSのAPIを使っている 1 2
4. AWSインテグレーション設定の流れ 1. (AWSで)IAMのロールにMackerelが所有するアカウントIDを追加 2. (AWSで)必要な権限をロールに設定 3. (Mackerelで)ロールの情報をMackerelに登録 4. (Mackerelで)必要なサービスを選択 詳しい手順はドキュメントを参照ください https://mackerel.io/ja/docs/entry/integrations/aws 設定が終われば5分ごとに、ホストの追加やメトリックの収集を行う (1のアカウントが2の権限で4のサービスをクロールする)
5. AWSインテグレーションで登録したホスト • インテグレーションで登録したホストは追加の情報がある ◦ リストでアイコンを表示したり ◦ ホスト詳細でメタデータを表示したり
6. 連携したホストの運用 • 以降は通常のホストと同じように扱える • ただし、このまま運用すると困るときがある ◦ サービス・ロールが未設定 ▪ Mackerelはサービスやロールでホストを郡として扱うように デザインされている ▪ 手動で設定してもいいが変化の多いオーガニゼーションだと 大変 ◦ 不要なホストまで登録される ▪ 検証などで作ったホストはMackerelに登録したくない ◦ リソースを削除してもMackerelに残りつづける ▪ メトリック投稿がなければ課金はされないがノイズになる
7. AWSインテグレーションの機能紹介
8. 登録するリソースをタグで絞り込む タグと除外タグ
9. 登録するリソースをタグで絞り込む(1/2) • 特定のAWSリソースだけMackerelに登録したい場合 ◦ 「タグ」に一致したリソースだけを登録できる ◦ <タグ名>:<値>と書く ▪ 例: Service:mackerel-diamond ◦ "," で繋げると、どれかに1つでも一致したら登録 ▪ 例: Service:mackerel-diamond, Service:mackerel-dev • 社内ではAWSリソースをChefやTerraformで管理していることが多い ◦ そこで Service:Mackerel などと設定するようになっている
10. 登録するリソースをタグで絞り込む(2/2) • 特定のリソースをMackerelに登録したくない場合 ◦ 除外タグでMackerelへの登録を抑制できる ◦ タグの書式は「タグ」と同じ ▪ 例: Role:mackerel-monitor, Role:admin-console • 「タグ」と「除外タグ」は「除外タグ」が優先 ◦ タグでマッチしても除外タグに含まれていれば登録されない ▪ タグ: Service:mackerel-diamond ▪ 除外タグ: Role:admin-console
11. 注意: タグ取得の権限も必要 • タグを取得するため、ロールへ権限追加が必要なリソースもある ◦ SQS ◦ ElastiCache ◦ Step Functions
12. ロールを自動で設定する デフォルトロールとタグによる割り当て
13. デフォルトロールを設定する • ホストの登録時にインテグレーションが自動で割り当てるロール • 古くからある機能 • AWSサービスごとに1つだけ設定できる • 新規のホストのみ対象とする ◦ 途中で設定を変更しても既存ホストのロールは変わらない
14. デフォルトロールの注意点 • デフォルトロールはAWSサービスごとに1つしか設定できない ◦ ElastiCacheならElastiCacheで1つだけ ◦ 例: Mackerel本体のRedisと時系列DBのRedisは分けたい • 複数のサービス・ロールが存在する場合どうするか ◦ デフォルトロールを使わず手動で設定する ◦ インテグレーションの設定を分ける ▪ それぞれでタグを使って絞り込み ▪ デフォルトロールを設定する • 後者の場合は、管理も大変だしタグ取得でAWSのAPIを実行するた め高コストになる
15. タグによるサービス・ロール割り当て(1/2) • AWSのタグを利用してサービス・ロールを割り当てる機能 • 対応しているサービスにはタグアイコンが付いている • 使い方 ◦ AWSタグの名前は mackerel-integration で固定 ◦ タグの値は <Service>:<Role> でサービス・ロールを記述する ◦ 複数のサービス・ロールを割り当てる場合は "/" で区切る
16. タグによるサービス・ロール割り当て(2/2) • 何が嬉しいのか ◦ 柔軟な(1台単位で)サービス・ロール割り当てができる ▪ primaryとsecondaryでサービス・ロールを分けたい等 ◦ タグの値が更新されたときにも対応している ▪ ただし同期ではない、追加のみ ▪ 反映するまでに数時間を要する場合がある ◦ サービス・ロールの設定もAWSコンソールで管理できる
17. 自動退役 リソース削除と同時に退役する
18. 自動退役(1/2) • AWSのリソースを削除したときMackerelのホストも退役する機能 ◦ もともとmackerel-agentやEC2では対応していた ◦ TerminatedとしてAPIから取得できるため • RDSに対応した ◦ チェックを入れるだけで使える
19. 自動退役(2/2) • 想定される利用シーン ◦ 新規に立てる際のIaCなど試行錯誤 ◦ バックアップを復元して一時的に使う ◦ Aurora であれば Reader の増減や Auto Scaling • 自動退役を有効にした次の監視から対象になる ◦ 設定前に削除したAWSのリソースは対象にならない ◦ リソース削除時点で以下の場合は対象にならない ▪ 自動退役が無効になっている ▪ インテグレーション設定が無効になっている ▪ タグフィルターにより除外されている
20. 取得メトリックを制限する
21. 前提: Mackerelはホスト単位の課金モデル • Mackerelの課金はメトリック数によって変動する • 1メトリックでも基準を超えると1ホスト換算される ◦ マイクロホストの場合は30メトリックなので超えやすい • 運用費など予算が決まっている場合は困る ◦ 必要のないメトリックを減らして利用料を下げたい
22. 取得するメトリックの制限 • 不要なメトリックを除外する機能 ◦ デフォルトは全て取得 • 予算を固定したい場合に使うと便利
23. 新規メトリックの自動追加 • 利用可能になったメトリックを自動追加するか決める機能 • メトリックの制限といっしょに使うと便利
24. 利用可能なメトリックが増えるとき • AWSのアップデートで利用可能なメトリックは増えていく • 利用可能なメトリックが増える場合 ◦ メトリック追加の告知を出して、一定期間後に実装している ◦ 予算を超えると困る場合があるから • 新規メトリックは取得しない設定にするのはどうか ◦ 必要になったときにメトリックがないと調べられない ◦ 可能な限りメトリックを収集しておきたい • なので今までは「デフォルトで追加しつつ告知を出す」運用だった ◦ 欲しい人にはすぐ使えなくて不便 ◦ 予算がある人は取得しない設定にするための手間がかかる
25. Terraformでも扱える AWSインテグレーションの設定はTerraformから扱えるようになっている Terraform Registry • https://registry.terraform.io/providers/mackerelio-labs/mackerel/latest/docs GitHub Repository • https://github.com/mackerelio-labs/terraform-provider-mackerel
26. まとめ • 4つの機能を紹介した ◦ 登録するリソースをタグで絞り込む ◦ ロールを自動で設定する ◦ 自動的に退役する ◦ 取得メトリックを制限する • 手作業を減らせるので使ってみてほしい • 感想、要望など聞かせてください