アラート調査向けAIエージェントの本番導入とその後/AI Agents for Alert Investigation: Production Deployment and After

by SadayoshiTada

Embed

Start on current slide

Slide 1

Slide 1 text

アラート調査向けAIエージェントの本番導入とその後 2026/06/30 The SRE Backlog: 蔵出し事例共有会多田貞剛/@taddy_919

Slide 2

Slide 2 text

多田貞剛 @taddy_919 自己紹介 2022/03 入社バクラク事業部 Platform Engineering部 SREグループ最近ベンチプレスで100kgを挙げられるようになりました © LayerX Inc. 2

Slide 3

Slide 3 text

バクラクの紹介

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

目次 © LayerX Inc. 目次開発しているエージェントの紹介本番導入で取り組んだこと運用後に発生した課題課題に対する解決策今後の展望まとめ 6

Slide 7

Slide 7 text

開発しているエージェントの紹介

Slide 8

Slide 8 text

エージェント開発を検討したきっかけ © LayerX Inc. 開発しているエージェントについてバクラクにはプロダクト間で連携している機能があり、プロダクトをまたぐアラート調査が複雑になるアラート調査では関連システムのバックエンド/フロントエンドそれぞれの挙動を確認する調査に当たってはそれぞれのサービス依存関係を把握しつつ調べるアラートに関連するシステムの処理フローを横断的に追うプロダクトチームの新入社員が上記の調査に対応できるようになるまでの学習コストが高い SREを介さなくてもプロダクトチームで調査や修正対応が継続するよう支援したい 8

Slide 9

Slide 9 text

内製化 © LayerX Inc. 開発しているエージェントについてアラート調査は一定程度、定型化できている特定時間帯における関連システムのメトリクス、トレース、ログを確認これらの対応手順をアラートごとにNotionにまとめて運用しているアラート調査には自動化の余地があると感じ、そのための改善を行うことにした他のソリューション(AWS DevOps Agent / Datadog Bits Investigation)と比較し、内製することにした比較軸1 / 比較軸2 9

Slide 10

Slide 10 text

システム調査エージェントとはアラートに関連するメトリクス・ログ・トレース情報を自動で調査・分析するAIエージェント © LayerX Inc. 開発しているエージェントについて Slackからアラート情報を渡すことで自動調査専門のMCPを使って複数データソース(AWS、Datadog)に渡って調査した結果をレポートする調査結果から優先度付けて改善の提案を行う 10

Slide 11

Slide 11 text

使用している技術(1) © LayerX Inc. 開発しているエージェントについて Python uv: Pythonのパッケージ・プロジェクト管理ツール Strands Agents: AIエージェントSDK Claude Sonnet 4.6: Anthropic社の大規模言語モデル Slack Bolt: Slackアプリ開発用のフレームワーク 11

Slide 12

Slide 12 text

使用している技術(2) © LayerX Inc. 開発しているエージェントについて Datadog MCP Server: Datadogの監視データにアクセスするためのMCPサーバー CloudWatch MCP Server: AWS CloudWatchのメトリクス確認やログ分析などを行うためのMCPサーバー AWS Documentation MCP Server: AWS公式ドキュメントにアクセスするためのMCPサーバー 12

Slide 13

Slide 13 text

実行環境 © LayerX Inc. 開発しているエージェントについて AWS上に構築 ALB + ECS Fargate + Bedrock(日本リージョン) バクラクでは大半のコンピューティングリソースがECS Fargateで構成されており、CI/CDやインフラの自動生成等既存のプラットフォームに載ることで高速に検証を回せるため採用した Amazon Bedrockのモデルでは学習のオプトアウトが適用済みのため採用した AWS公式ドキュメント 13

Slide 14

Slide 14 text

システム調査エージェントの構成図開発しているエージェントについて © LayerX Inc. 14

Slide 15

Slide 15 text

システム調査エージェントの振る舞い大まかに以下のような振る舞いをします © LayerX Inc. 開発しているエージェントについて 15

Slide 16

Slide 16 text

本番導入で取り組んだこと

Slide 17

Slide 17 text

SREチームのアラートに設定した © LayerX Inc. 本番導入 SREチームにメンションされるアラートを対象に設定 Slackのアラート通知を受け取ったエージェントが自動で調査・レポートを投稿 SREの調査の手間を減らし、レポートを最終確認するだけの状態を目指した 17

Slide 18

Slide 18 text

本番導入:SREチームのアラートに設定した © LayerX Inc. 18

Slide 19

Slide 19 text

他システムとの統合 © LayerX Inc. 本番導入内製のインシデント管理ツールからAPIで初期調査を行えるようにした上記ツールにメンションすることで初期調査を行い、その結果をSlackに投稿する 19

Slide 20

Slide 20 text

本番導入:他システムとの統合 © LayerX Inc. 20

Slide 21

Slide 21 text

運用後に発生した課題

Slide 22

Slide 22 text

課題は大きく2つあった課題起きていたこと 1. 調査が非効率システム特有のコンテキストを持たず、広く探索していた 2. 間違った情報を調査・レポートする誤った調査をレポートすることがあった © LayerX Inc. 運用後に発生した課題 22

Slide 23

Slide 23 text

課題1: 調査が非効率 © LayerX Inc. 運用後に発生した課題アラートから自動調査するにあたってはどういった観点で調査を行うべきかを持っていないと、非効率な調査になるこの状態で調査をしようとすると広く探索し、調査時間が長期化したりレポート内容も期待通りではなかった 23

Slide 24

Slide 24 text

課題2: 間違った情報を調査・レポートしていた © LayerX Inc. 運用後に発生した課題例えばレイテンシーアラートの調査では、必要な情報を含むレポートが出る時と、誤った情報を含むレポートが出る時があり安定しなかった遅いRPC名を見ただけで根本原因を断定してレポートしていた実際にはtraceを掘ってspan詳細を確認しないと主因は特定できないエージェントは「調査レポートを出す」ことを責務として進めてくれたが、「必要な情報が揃っているか」を判断するための機構がなかった 24

Slide 25

Slide 25 text

解決策の検討

Slide 26

Slide 26 text

課題1への対応: Strands AgentsのSkillsを使う © LayerX Inc. Skillsによるコンテキスト投入 Strands AgentsのAgent Skillsを使い、専門的な指示を必要なときだけAgentに読み込ませるエージェントが必要だと判断したタイミングで、該当するSkillの詳細指示をロードする Strands Agents Skills 26

Slide 27

Slide 27 text

Slide 28

Slide 28 text

課題2への対応: 調査レポート投稿前にチェック機構を追加 © LayerX Inc. 精度向上への取り組み調査後の投稿前にレポートチェック機構を追加必要な情報（ex. 根本原因・数値等）が含まれているか確認チェック機構を通過しないレポートはSlackに投稿しないように制御 28

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

今後の展望

Slide 32

Slide 32 text

インシデント管理ツールとの統合強化 © LayerX Inc. 今後の展望インシデント管理ツールとの統合は、現状は初期調査の結果をインシデント管理ツールに返すだけになっており、より連携を強化したいアラートの調査ログや次のアクションを記録するデータをインシデント管理ツール側に貯めておくことでシステム調査エージェントが過去対応を参照して調査の効率化を目指していきたい 32

Slide 33

Slide 33 text

まとめ

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

ご清聴ありがとうございました！