AWS DevOps Agent スキルをつかいこなそう / Master AWS DevOps Agent Skills

9/26 JAWS-UG KYUSHU QUEST 2026 in Fukuoka
https://jawsug-fukuoka.connpass.com/event/403616/

Transcript

1. JAWS-UG KYUSHU QUEST 2026 in Fukuoka AWS DevOps Agent スキルをつかいこなそう 山口 正徳 JAWS-UG 千葉支部 AWS Community Hero 1
2. 自己紹介 山口 正徳 JAWS-UG千葉支部 グローバル認定/表彰 ・AWS Community HERO ・AWS Ambassador ・APJ AWS Community Leaders Award 2回受賞（2022、2024） ・AWS Gold Jacket Club ・AWS re:Inforce 2025 登壇 日本国内認定/表彰 ・AWS Samurai 2020 ・Japan AWS Top Engineer 2019 〜 2026 ・JAWS DAYS 2021 実行委員長 ・AWS BuilderCards 日本語化発起人 © 2025, Amazon W eb Serv ices, Inc. or its af filiates. All rights reserved.
3. これまでの AWS DevOps Agent 登壇資料 ・AWS DevOps Agent 検証で見えた可能性と限界 https://speakerdeck.com/kinunori/aws-devops-agent ・AWS DevOps Agent x ECS on Fargate検証 https://speakerdeck.com/kinunori/aws-devops-agent-x-ecs-on-fargate ・AWS DevOps Agentはチームメイトになれるのか？ https://speakerdeck.com/kinunori/can-aws-devops-agent-become-a-teammate ・AWS DevOps Agent を使いこなす (チョークトーク資料) https://speakerdeck.com/kinunori/aws-dev-ops-agent-chalk-talk-aws-summit-japan-2026 ・現場で使える AWS DevOps Agent 活用ノウハウ https://speakerdeck.com/kinunori/aws-devops-agent-release-management-and-know-how ・AWS DevOps Agent の「スキル」を使いこなそう https://aws.amazon.com/jp/builders-flash/202609/full-use-devops-agent-skill/ AWS DevOps Agent 山口 で検索 3
4. 本セッションについて AWS DevOps Agentを活用するうえで重要な機能である「スキル」に焦点を当て て取り上げます。 1. AWS DevOps Agent 概要 2. AWS DevOps Agent が提供するスキルの全体像 3. エージェントスキルとは 4. 学習済みスキルとは 5. まとめ 4
5. 1. AWS DevOps Agent 概要 5
6. AWS DevOps Agentとは リリース管理から本番運用までを担うフロンティアエージェント 1 インシデント対応 アラームや Webhook を起点に自動で調査を開始。テレメトリ・コード・デプロイ履歴を相関させ、根本原因と緩和策を Slack や Jira などサードパーティの管理サービスに送信する。 2 予防的な信頼性向上 過去のインシデントの傾向を分析し、可視観測性、インフラ・パイプライン構成、アプリの回復性など改善点と具体的な改善 方法をプロアクティブに提案する。 3 オンデマンドの SRE タスク チャットからオンデマンドに調査や運用に関わる作業を実行可能。レポートの作成や傾向分析など、定期実行するカスタムエ ージェントも作成できる。 4 リリース管理 （プレビュー） PR やチャットからリリースに向けたレビュー作業を実行。コードの依存関係、アクセス制御、組織標準への準拠を確認し、 AWS 管理のサンドボックスで動作確認とユーザーが用意する実環境を使ったリリーステストを行う（9/26時点でプレビュー） 6
7. AWS DevOps Agent 仕組み インテグレーション インシデントトリガー AWS DevOps Agent マネージドサービス IAM、AWS IDC、 外部Identity Provider (IdP) 認証認可 ServiceNow, PagerDuty, Dynatrace, Webhooks 3P Observability ツール Dynatrace, Datadog, Splunk, New Relic, Grafana, Azure Resource Integration, CI/CD GitHub, GitLab, Azure DevOps MCPサーバー OAuth 2.0 + API Keys経由で 拡張可能 解析とレポート Management Console, EventBridge, Slack オペレーター 管理 専用のWebアプリから Agentへの指示等を行う マネージメントコンソール からセットアップ AIエンジン AWS DevOps Agent Using Amazon Bedrock オンデマンド 根本原因調査 インシデント対応 評価 出力内容： ・ 改ざん不可のAgent Journal ・ 過去インシデント分析 ・ 推奨事項 ・ タイムライン ・ 根本原因分析 ・ 復旧計画 ・ AWS Supportケースとの連携 （コンテキスト自動共有） インシデントの緩和 7
8. DevOps周辺サービスとの違い サービス 中心的な役割 開始点 DevOps Agentとの主な違い CloudWatch 収集・可視化・アラーム 閾値・異常検知ル ール／人 ・調査の主要な情報源 ・DevOps Agent は CloudWatch 以外のツールや コード・デプロイ履歴も横断する CloudWatch investigations 生成 AI によるテレメトリ調 査と根本原因仮説 アラーム／人 ・CloudWatch のテレメトリに閉じる ・トポロジ学習・スキル・メモリ・外部ツール連携 を持たない DevOps Guru MLによる異常検出・インサ イト 継続分析 ・事前学習済み ML モデルによる検知を提供 ・コードやデプロイ履歴を読んだ根本原因分析や、 組織固有の知識の学習は行わない ・インサイトは調査材料になる Kiro CLI 開発支援・Q&A・ChatOps 人の質問 ・実行者の権限でローカルに動くため、書き込みの 安全性は利用者が担保する ・DevOps Agentの書き込みは承認・スコープ縮 小・監査・ガードレールが組み込まれている SSM Automation 定義済みRunbookの実行 人／イベント ・決められた手順の自動実行。DevOps Agent が 提示した緩和策の実行基盤にもなる 8
9. 2. AWS DevOps Agent が提供するスキルの全体像 9
10. なぜスキルが重要なのか？ AWS DevOps Agent が自力で手に入れられるのは発生した「事実」のみ 自動で学べること 教えないと埋まらないこと 情報的知識 ＝ 何があり、どうつながっているか 手続き的知識 ＝ 自分たちはどう判断し、どう動くか • リソースと依存関係のトポロジ • 独自エラーコードや機能フラグの意味 • コードとパイプラインの構造 • 「このアラームは夜間バッチ中は無視」という合意 • アラームごとの過去の根本原因 • 本番のロールバックはこの手順でしか行わない • うまくいったツールの使い方 • メトリクスは Datadog、ログは Splunk という使い分け メモリが担う知識領域 スキルが担う知識領域 テレメトリのどこにも書かれていない知識は、外から与えるしかない。 10
11. 自律調査を実現するためにはスキルが不可欠 自律調査に人の指示を挟んでいたら自律ではない ① 深夜 3:00 アラーム発火 モニタリングツール ②エージェントが自動で ③スキルから人の知識や経験を 調査開始 エージェントに与える アラートをトリガーに自動調査が起動 手順・閾値・出力形式はスキルに従う Datadog / CloudWatch / Webhook ④Slack や Jira に結果を ポスト 担当者がアラートに気づきSlackを読む 頃には調査は完了 人手を介さずに調査品質を一定に揃える手段はスキルのみ 暗黙知を形式知にする 繰り返しの排除 次工程の自動化 環境を熟知しているエンジニアの判断を手 「同じ指示を繰り返す必要がなくなる」 出力フォーマットを固定するスキルを使う 順として書き、それをエージェントが確実 こともスキルの主な利点。 と、調査結果をそのままチケット起票やエ に実行する。 対話的なチャットなら人が毎回指示するこ スカレーション先に渡すことができる。 誰が対応しても同じ手順、同じ品質になる とでエージェントの動作を補助できるが、 AWS ブログ(※)も人手を介さないパイプ ことを目的として形式知にする。 自律調査では補助するタイミングがない。 ラインが紹介されている。 ※ https://aws.amazon.com/jp/blogs/mt/use-aws-devops-agent-to-triage-and-route-aws-health-event-impact/ 11
12. AWS DevOps Agent 全体像 利用可能なスキルは３種類 ③ 学習済みスキル (メモリへ移行) エージェントスキル ① AWS 提供スキル ② カスタムスキル 作成者 AWS 作成者 ユーザー 利用者から 見えない 利用者から 見える 編集 できない 編集 できる 管理場所 （内部） 管理場所 エージェント スペース 標準的な調査の土台 作成者 DevOps Agent ユーザーから 見える 編集 自動更新 手動の再生成も可能 管理場所 エージェント スペース 組織固有の手順を教える 環境を自動で学ぶ 12
13. 3. エージェントスキルとは 13
14. AWS 提供スキル ユーザーの意識とは関係なく常に動いている組み込みスキル • AWS の内部で実績のある運用アプローチを反映しているスキル。 AWS が継続的に保守・提供しているためユーザーが意識する必要はない。 • 設定する箇所はなく常に有効。中身や個別スキルの一覧は非公開。 ユーザーが内容を確認したり編集したりする手段は提供されていない。 • AWS サービスを対象とした、標準的な調査や運用タスクのベースとなる。 カスタムスキルを 1 つも登録していない状態でも、このスキルは常に動いている。 カスタムスキルは、このAWS提供スキルを土台として機能するものと捉えられる。 組織固有の知識やアプリケーション固有の経験を必要としない場面では、AWS提供スキル だけで十分に運用できる場合もある。 14
15. カスタムスキル 組織固有の知識・経験（手順）をエージェントに与える • スキル構造 my-skill/ • ├── SKILL.md # 必須 メインのドキュメント ├── references/ # 任意 references/ は参考ドキュメントを格納 └── assets/ # 任意 assets/ は画像・図・データを格納 SKILL.mdに書くこと（マークダウン形式で日本語にて記載可能） • いつ、どのように使うか • ステップ形式の調査手順 • シナリオごとの判断分岐 • 期待する出力と成功基準 15
16. カスタムスキルでダッシュボードもカスタマイズできる 16
17. カスタムスキルの用途例 調査手順 インシデントフィルタリング ツール活用ガイド 特定の種類の障害に対する、ステップ形 式の調査手順と判断分岐。確認する順序、 閾値、判断ツリー、期待する出力を明記 する。 調査が不要なインシデントの条件を定め、 調査を起動させない。計画メンテナンス 中の低重要度アラームの除外など。 どのデータをどのツールで取り、結果を どう読むかを教える。カスタム MCP サ ーバーのツールや、複数の監視製品を併 用する環境に効果的。 期待効果： 根本原因分析の質、調査時間短縮 期待効果：アラート整理とコスト削減 期待効果：調査時間短縮とコスト削減 出力フォーマットの規定 リファレンスの提供 カスタムエージェント用 調査結果を決まった構造で出力させ、後 続の自動処理につなぐ。後続のLambda やSlack通知のフォーマット規定などに 活用。 構成図やメトリクスの基準値など、テレ メトリにない知識を一緒に渡す。Zipで まとめてアップロード可能。 カスタムエージェント（目的を絞り、ス ケジュールで実行できる専用のエージェ ント）に割り当てる。 期待効果：自動化、可読性 期待効果：根本原因分析の質 期待効果 ：定型業務の品質 17
18. カスタムスキル例 AWS DevOps Agent 受注管理システム 受注管理システム用エージェントスペース ECS Fargate ALB oms-alb Aurora oms-db oms-api SQS（DLQ） SQS Lambda oms-orderdlq oms-orderqueue oms-orderworker 失敗 名前解決: MCP サーバー oms-ops-tools 3 ツール oms_resolve_store_name 2 スキル oms-error-investigation SKILL.md: 調査手順・ログ仕様・名前解決・Slack 書式 references/error-codes.md: エラーコード一覧 （description がタスクに合致したときロード） 5 Bearer で呼出 トークン取得 Secrets Manager Lambda oms/store-resolver/ api-token oms-store-nameresolver （Bearer 認証 ） 店舗名を検索 トポロジ・メモリ （AWS 提供スキル、学習した環境の知識） 外部 API 4 トー クン はツー ル内部 での み扱 い、 エージ ェント には 渡さ ない 在庫・発注 スキルに沿った調査ステップ DynamoDB store-master Step 1 影響範囲の把握（Logs Insights） ログ・メトリクス 2 Amazon CloudWatch Step 2 店舗管理 ID の名前解決 Step 3 切り分け（デプロイ・上流・DB） ログ メトリクス アラーム /oms/ api /oms/ order-worker OMS, Lambda, SQS, Aurora oms-api-alb-5xx oms-order-dlqdepth 等 ① アラーム発火で調査開始 ② ログ・メトリクス・デプロイ履歴を参照 ③ 店舗管理 ID を MCPサーバーを使って名前解決 Step 4 根本原因の判定（確度付き） 1 Slack #店舗サポート用チャネル 6 店舗サポートスタッフ向けに固定フォーマットで投稿 ・発生時刻／影響件数／影響店舗（店舗名＋ID） ・根本原因（確度）／店舗への依頼／推奨対応 ・CRITICAL 時は @store-support-oncall Step 5 店舗名を添えて Slack に投稿 オペレーター（システム担当） ④ MCPサーバー内ではツールが動作し、トークン取得 → Lambda → DynamoDBへ問い合わせ ⑤ 店舗名を受け取る 18 ⑥ 店舗名を添えて Slack に投稿
19. カスタムスキル例 19
20. カスタムスキル作成時の注意点 AWS DevOps Agentがスキルを使うかの判断は description に依存する 使われにくい description 使われやすい description description: これはRDS調査のスキルです description: Amazon RDSインスタンスのデータベースレイテン シー、接続エラー、またはクエリタイムアウトを調査する際に、こ のスキルを使用してください。 曖昧な description や空欄は、本文がどれだけよく書けてい ても、スキルごとスキップされる原因になる。 発動すべき場面（症状・エラー種別・対象サービス）は具体 的に書かれているべき。 スキルを書く時のポイント アラームの内容を明示する アラーム名、ロググループ、エラ ーコードなど、エージェントへの インプットに現れる語をそのまま 書く 症状・対象・エラー種別の3点 で書く 他のスキルと区別する 実機で確かめる 同じ入力で複数のスキルが反応し 想定する入力で1回動かして、調査 性能、障害など抽象的な状況では なく、「〜のときに使う」など具 ないか並べて確認する（誤作動を の記録（または出力の形）でスキ 防止） ルが使われたかを判断する 体的な事象を書く 20
21. 3. 学習済みスキルとは 21
22. AWS DevOps Agent 全体像（再掲） 利用可能なスキルは３種類 ③ 学習済みスキル (メモリへ移行) エージェントスキル ① AWS 提供スキル ② カスタムスキル 作成者 AWS 作成者 ユーザー 利用者から 見えない 利用者から 見える 編集 できない 編集 できる 管理場所 （内部） 管理場所 エージェント スペース 標準的な調査の土台 作成者 DevOps Agent ユーザーから 見える 編集 自動更新 手動の再生成も可能 管理場所 エージェント スペース 組織固有の手順を教える 環境を自動で学ぶ 22
23. 学習済みスキル 学習済みスキルは作るものではなく育つもの。現在はスキルからメモリへ移行(※) 学習済みスキル（メモリ）は４種類 • understanding-agent-space（Agent Space Understanding） • understanding-dependencies（Code Dependencies） • understanding-pipeline-topology（Pipeline Topology） • tool-use-best-practice（Tool Use Best Practices） ※ https://docs.aws.amazon.com/ja_jp/devopsagent/latest/userguide/about-aws-devops-agent-learned-skills.html 23
24. スキルとメモリの違い スキルは「進め方の知識」、メモリは「判断に使う知識」 スキル メモリ どう調べるか・どう進めるかを与える 試行回数に応じ、環境についての知識が増える 人の知識をMarkdownに落とし込み、調査手順、判断分岐、 構成・依存関係、過去の原因、ツール利用の知見など、次 ツールの使い方、出力形式などを指示する。 の調査にも役立つ知識を保持する。 ① ログとメトリクスを確認する ① 注文APIは決済APIを同期呼び出しする ② 直近の変更と時刻を照合する ②過去には決済APIの遅延が原因だった ③ 根拠付きで原因候補を報告する など 生成AIを活用して、組織の暗黙知を形式知へ。 そしてスキルとしてエージェントに与える。 ③注文APIのログは /app/orders にある など 業務特性を踏まえた障害調査、エラーコード 一覧などはメモリで情報を与える。(※) ※学習スキル（メモリ）は手動で編集・作成できないが、カスタムメモリストアを利用することでチャットからメモリを 作成し、情報を与えることができる 24
25. Agent Space Understanding 環境のリソースと関係性の地図となるメモリ • エージェントスペースの対象となる対象環境の構成や依存関係を整理する。全体の概要、 論理コンテナ（コンポーネントの集合単位）ごとのメモリ、重要なリクエスト経路ごとのメ モリで構成される。 • 人が運用資料を読む場合と同じように、索引を見て、注文障害なら注文サービスのページを 開くというように動作する。関係性の低いメモリを毎回読むことはしない。 • アプリケーションの中心となるリクエスト経路とそれが通るコンポーネント。コードリポジ トリと論理コンテナの対応。AWSアカウントとリージョンの組み合わせ、AWS以外の Azure環境との関連性などを学習する。 障害箇所からの依存関係の追跡、リクエスト経路などからどのログ、メトリクス、トレースを 見るべきかの特定に活用する。 25
26. Code Dependencies / Pipeline Topology 変更の「影響先」と「本番までの工程」を理解するメモリ • Code Dependencies： サービス同士、パッケージ同士の依存関係を網羅した地図 サービスの呼び出し、イベント連携、共通ライブラリの利用関係を記憶する。 注文API • → 呼び出し → 決済API 例：決済APIの変更が、注文処理に影響する可能性 を調べる。 Pipeline Dependencies： プロジェクトのパイプラインを、始点からリリースまで通して表した地図 ある変更が、リリースの工程のどこまで進んでいるかを把握する。 コード変更 → ビルド／テスト → 検証環境 → 承認 → 本番環境 26
27. Tool Use Best Practices 過去の調査経験から、効率のよいツールの使い方を蓄積するメモリ • 成功した使い方を再利用する。調査に役立ったクエリやパラメータを記憶する。 例：CloudWatch Logs Insights の検索式や、環境固有のメトリクスの指定方法。 • よくある失敗と対処方法を記憶する。アクセスできないアカウントへの問い合わせや、 形式の誤ったクエリなどを避け、同じ失敗による調査のやり直しを減らす。 • 必要な情報を残して、取得結果を絞り込む。大量の応答を返すツールについて、 調査に必要な情報を保ちながら、出力を小さくする指定方法や処理方法を記憶する。 調査に合うツールと使い方を選び、不要な呼び出し・失敗・過剰な出力を減らすために エージェントが試行錯誤の結果を記録し、次回の調査に活用する。 27
28. まとめ 28
29. エージェントに追加知識を！目的を意識してスキルを活用しよう スキル化することで暗黙知を形式知へ。目的を意識してスキルを作成し、効果を測定して活 用を進める。そして定期的にスキルの棚卸しを行うことが大切。 種別 根本原因調査の質を向上 時間・コストを削減 一貫性・自動化の実現 AWS 提供スキル（すべての土台） 直接的に効果あり 直接的に効果あり — カスタムスキル（① 調査手順） 直接的に効果あり 直接的に効果あり 副次的に効果あり — 直接的に効果あり — 副次的に効果あり 直接的に効果あり — カスタムスキル（④ 出力フォーマット規定） — — 直接的に効果あり カスタムスキル（⑤ リファレンスの提供） 直接的に効果あり 副次的に効果あり — — 副次的に効果あり 直接的に効果あり Agent Space Understanding（メモリ） 直接的に効果あり 直接的に効果あり — Code Dependencies／Pipeline Topology（メモリ） 直接的に効果あり 副次的に効果あり — Tool Use Best Practices（メモリ） 副次的に効果あり 直接的に効果あり — カスタムスキル（② インシデントフィルタリング） カスタムスキル（③ ツール活用ガイド） カスタムスキル（⑥ カスタムエージェント用） 29
30. スキルの作成、ブラッシュアップもエージェントに行わせよう これまでかかる労力から実現が難しかったインシデント調査ごとの振り返りを AWS DevOps Agent に行わせてスキルの作成とブラッシュアップのサイクルを回す。 DevOps Agent とチャットで障害調査を振り返る チャ ットか ら障害 調査の 調査結果の インシデント 確認 緩和策の適用 振り 返り指 示 次回 に活か せるス キル、 振り 返り結果 の生成 メモ リの作 成を指 示 DevOps インシデント Agentによる 発生 調査開始 振り 返り結 果から スキル 化 すべ きこと 、メモ リに記 録 アラート検出 すべ きこと の整理 を指示 30
31. ご清聴ありがとうございました。 31