AWS の AI エージェント「DevOps Agent」にアラート調査を任せてみた

AWS DevOps Agent で CloudWatch Alarm 発報後のアラート調査を試した検証記録です。
AWS Chatbot 通知との時間差、生成される調査レポート、Custom Skills による調査手順の制御を試しました。

発表イベント：
https://classmethod.connpass.com/event/385807/

Transcript

1. AWS のAIエージェント「DevOps Agent」 に アラート調査 を任せてみた — 無料トライアル期間の検証記 — ⽣成AIネタ勉強会 2026/05/14 Y. Nakamura
2. 本⽇お話しすること 1. AWS DevOps Agent とは？ 2. 知りたいこと 3. レポート⽣成の検証 4. ⾯⽩いなと思った点 5. うまくいかなった点 6. まとめ
3. プロフィール 3 Y. Nakamura • Backend Engineer • 普段：AWSを使った設計‧開発 • 今⽉頑張りたいこと：AWSの資格取得 • GitHub： enumura1 プロフィール
4. 1-1 / WHAT IS IT AWS DevOps Agent とは？ • 自律的に稼働する AI エージェント • モデル：Amazon Bedrock foundation models • 単発の LLM 応答ではなく、自律的に「仮説 → 検証 → 結 論」の推論ループを回し、調査結果を導く • ユースケース：障害・環境調査、レポート作成 参考： ・About AWS DevOps Agent ・Leverage Agentic AI for Autonomous Incident Response with AWS DevOps Agent
5. 1-2 / PRICING 無料トライアル期間 参考：AWS DevOps Agent Pricing (2026-04 時点) 今なら2ヶ月の無料トライアル期間あり！ せっかくなら触ってみたい・・💰！！
6. 2-1 / try 知りたいこと & 試すこと 知りたかったこと 1. どんな調査レポートが生成される？ 2. DevOps Agent の動き方は？ 3. 調査の観点はプロンプトで制御できる？ 4. Chatbot通知 vs Agent通知、どっちが速い？ 🤔
7. 2-1 / try 知りたいこと & 試すこと やってみたこと 1. わざとバグを仕込む 2. CloudWatch のアラート発報 3. DevOps Agent が自律的に検知・調査 4. 調査結果を Slack に通知 知りたかったこと 1. どんな調査レポートが生成される？ 2. DevOps Agent の動き方は？ 3. 調査の観点はプロンプトで制御できる？ 4. Chatbot通知 vs Agent通知、どっちが速い？ 🤔
8. 2-2 / try 構築したアーキテクチャ Lambda バグトリガー用の関数 CloudWatch Alarm 発火 SNS Topic AWS Chatbot 現： Amazon Q Dev Slack 通知 Lambda + boto3 Layer DevOps Agent Agent Space GitHub read-only Slack 通知 + レポート 即時通知（Chatbot）と 詳細調査（DevOps Agent）を並走 KeyError ALARM Fan-out 呼びだし notify SDK 呼び出し SDKで直接 コミット履歴 report
9. 2-2 / try 構築したアーキテクチャ Lambda バグトリガー用の関数 CloudWatch Alarm 発火 SNS Topic AWS Chatbot 現： Amazon Q Dev Slack 通知 Lambda DevOps Agent Agent Space GitHub read-only Slack 通知 + レポート Chatbot vs Agent 初回通知、どっちが速い？時間差は？ KeyError ALARM Fan-out 呼びだし notify SDK 呼び出し SDKで直接 コミット履歴 report 通知 通知 + boto3 Layer
10. 3-1 / VERTIFICATION 検証1：Chatbot 通知 と Agent 通知の時間差 意図的にエラー 15:22:29 アラーム状態へ
11. 3-1 / VERTIFICATION 検証1：Chatbot 通知 と Agent 通知の時間差 通知の時間差はほぼなかった（約 10秒程度） 15:22:29 アラーム状態へ 15:22:32 15:22:41
12. 3-2 / VERTIFICATION 検証2：生成される調査レポートの内容 日本語 での通知に対応。調査状況が 段階的 に通知 〜 初回通知
13. 3-2 / VERTIFICATION 検証2：生成される調査レポートの内容 Lambda の 周辺メトリクス・ログ と commit 履歴まで横断して調査。最後にサマリ的なものを生成 〜 スレッド
14. 3-2 / VERTIFICATION 検証2：生成される調査レポートの内容 オペレーター 向け画面（web アプリ） 〜
15. 3-3 / VERTIFICATION 検証3：DevOps Agent 動き方 オペレータアクセス画面
16. 3-3 / VERTIFICATION 検証3：DevOps Agent 動き方 仮説 → 検証 → 結論 を繰り返すマルチステップの推論。並列実行する場面も観測。 調査計画を作成 調査実施 怪しい点を特定
17. 3-4 / VERTIFICATION 検証4：調査の流れを制御できるのか Skillsを活用。エラーの調査手順をstep1→ step2 → 3 〜 step5 の順で指示 --- name：ambda-investigation-procedure description：Lambda エラーを5ステップで調査する手順（要約） --- Step 1： エラーログを確認 (CloudWatch Logs) Step 2： ソースコード該当行を確認 (GitHub ±10行) Step 3：依存リソースを確認 (Secrets Manager / IAM) Step 4：設定変更履歴を確認 (CloudTrail 6h) Step 5：コード変更履歴を確認 (git log 24h) SKILL.md
18. 3-4 / VERTIFICATION 検証4：調査の流れを制御できるのか Skills を自動で読み込み。調査開始 skills を読み込み step1 開始
19. 3-4 / VERTIFICATION 検証4：調査の流れを制御できるのか Skills で DevOps Agent の調査の流れを制御できた（step ~ step5）
20. 3-4 / VERTIFICATION 検証4：調査の流れを制御できるのか 調査のノウハウが個人スキルじゃなく Skills に乗る。調査品質が属人化しない
21. 3階層のSkills。自己学習する Skills もあり 参考：Leverage Agentic AI for Autonomous Incident Response with AWS DevOps Agent 4-1 / FINDING 面白いなと思った点
22. AWS 提供 Skill AWS側で事前に組み込み ユーザー定義 Skill カスタムで作成可能 Learned Skill（自己学習） ⭐ リソース同士の関係性を学習・更新 過去の調査履歴を分析 Learned Skill：使うほど その環境に特化したエージェントに育つ 3階層 4-1 / FINDING これ面白いなと思った点
23. • 最終のサマリレポートの内容は Skills で制御がうまくいかず、、 ◦ Web アプリ 側： ▪ skillsで制御できなかった ▪ まれにうまくことはあり ◦ Slack 側： ▪ skillsで制御できなかった 5-1 / PITFALLS うまくいかなった点
24. Web アプリ 側 Slack 側 本来：🔴 サマリ / 🔍 根本原因 / ✅ 修正手順 / 📊 関連情報 の構造で出したかったがうまくいかず 5-1 / PITFALLS うまくいかなった点 調査完了 調査完了 skills読み込み
25. 6-1 / WRAP-UP • DevOps Agent は段階的な調査・レポート生成を行う • 初回通知の時間差は Chatbot と DevOps Agent で約10秒ほど • Agentは 仮説 → 検証 → 結論 を繰り返すマルチステップの動き方 • Custom Skills：エージェントの調査の流れを制御できた • Learned Skills：使えば使うほどその環境特化されたSkillsが作成 まとめ
26. Appendix
27. 05 / OTHER Appendix：Lambda 組み込み boto3 が古い エラー発生 [ERROR] UnknownServiceError: Unknown service: 'devops-agent'. Valid service names are: accessanalyzer, account, acm, acm-pca, aiops, amp, amplify, ... aidevops, ... bedrock, bedrock-agent, ... FIX Lambda Python 3.13 ランタイム同梱の boto3 は まだ DevOps Agent のサービスモデルを持ってなかった ・webhookを使ってDevOps Agentをコール ・Lambda Layer に新しいboto3をアップロード