petなEC2をまとめて監視してみた

20240311 OpsJaws#27 でお話しした内容です。

監視の存在しないEC2をスケールする形で監視するシナリオでお話します。

Transcript

1. petなEC2をまとめて監視してみた
 20240311 OpsJAWS #27
 #opsjaws #jawsug HAGITA Atsushi @_athagi
2. 自己紹介
 名前：萩田 篤(@_athagi)
 所属：株式会社 Works Human Intelligence
 肩書：EM, SM
 仕事：DX推進（Developer eXperience）
 好きなAWSサービス：AWS Support, IAM, SSM
 

3. 目次
 1. 目指すゴール
 2. 各コンポーネントの説明
 a. Resource GroupとTag
 b. Run CommandとDocuments
 c. State Manager
 d. 通知
 3. まとめ

4. 目指すゴール

5. 目指すゴール
 シナリオ
 • まだ監視の存在しないEC2インスタンス
 • それぞれが別々のワークロードで利用されている
 • 今後EC2インスタンスは増える可能性がある
 • （SaaSは利用せずに）AWSで完結させたい
 • なるべく楽がしたい

6. 目指すゴール
 

7. 各コンポーネントの説明

8. Resource GroupとTag
 
 

9. Resource GroupとTag
 • 大切に育てていたインスタンスをまとめて管理で きるようにする
 • Tag Editor等を利用してインスタンスにタグを付与 （CFnインポートできるとgood）
 • Resource Groupの対象とするインスタンスはAND 式でフィルタできる
 • 作成したリソースグループを起点にして管理でき るようにしていく
 • タグを設定しておくことでAWS Backupの設定でも 楽ができる

10. Run CommandとDocuments
 

11. Run CommandとDocuments
 
 
• Systems Managerで管理ができるように権限付与を行う
 ◦ AmazonSSMManagedInstanceCore
 ▪ SSMがEC2を管理下におくための基本的なポリシー 
 ◦ CloudWatchAgentServerPolicy
 ▪ CloudWatchに対してデータを送信できるようにするポリシー 
 • 数分後にSystems Manager側からも見えるようになる
 • 高速セットアップやRun Commandで実行対象として作成したResource Groupを選 択できるようになる
 • Session Managerも利用できる

12. Run CommandとDocuments
 
 
• Parameter StoreにCW用のconfig.jsonを用意
 ◦ 文字数制限(4096バイト)があるので注意 
 • CloudWatch Agentとconfig.jsonをインストールでき るDocumentを作成
 ◦ 高速セットアップだと任意のconfig.jsonを配布 できない
 ◦ 以下をまとめたDocumentを作成
 ▪ AWS-ConfigureAWSPackage 
 • Agent をインストール＆最新の状態に保つ 
 ▪ AmazonCloudWatch-ManageAgent 
 • config.jsonをインストールする 
 • 設定方法が複数（configの上書き、追加、部分 更新）がある

13. State Manager
 
 
 
 

14. State Manager
 • Resource Groupにインスタンスが追加・変更されたタイミングで自動で発火するよ うにする
 • cronで時刻ベースで実行する設定も追加できる
 • 任意のタイミングで実行させたいときは、CLIでstart-associations-once を実行す る
 • 高速セットアップ（Host Management）のCloudWatch Agentのインストールは無効 化しておく
 関連付けはいつリソースに適用されますか? 

15. State Manager
 それぞれのインスタンスに対しての実行結果が確認できる

16. State Manager
 • インスタンス/ステップごとに実行結果のログをRun Commandの実行ログから確認 できる
 • S3やCloudWatch Logsに保存することも可能

17. 通知
 
 

18. 通知
 
 
• 送信されたメトリクスからダッシュボードやアラームを作成し、Chatbot経由で slack等に送信
 ◦ slackのスレッドで簡易的にクエリできる
 • Alermからlambda経由でRun Commandを実行したり、インスタンスを再起動した りできる

19. まとめ

20. まとめ
 
 
• インスタンスに適切にタグとロールを付けるところから始める
 • Resource Groupを利用してインスタンスをまとめる
 • Run CommandでCloudWatch Agentの管理をする
 • State Managerを利用して自動的に設定変更を配布する
 • Chatbotを使ってslackに通知をする
 
 • 増えたとしても楽に設定配布はできるようになったが、かゆいところに手が届かな いので作り込む必要がある