僕の考えた最強のDevOpsエージェントだよなーと考えながら作ってるエージェントの話 / The Agent I'm Building While Thinking, "This Must Be the Ultimate DevOps Agent"

はじまりは、Issue から PR を作りたいという小さな目的でした。しかし Issue と PR のリポジトリが違い、吊るしのエージェントでは届かなかったため、自分たちで作ることにしました。

この発表では、その小さなエージェントに現場の困りごとを 1 つずつ渡し、育ててきた過程をお話しします。

- リポジトリをまたいだ Issue からの PR 作成と AI レビュー
- MCP による esa・Backlog からのレビュー用コンテキスト取得
- Slack Ops と Git Ops の 2 つの入り口
- 100 を超える AWS アカウントを対象にした、GuardDuty 通知・障害・コスト異常の一次調査
- Amazon Inspector を使った CVE 該当調査の CSV 出力（実装の 12 時間後に実戦投入）
- Backlog への自動起票による起票漏れの削減
- エラーログとソースコードをもとにした修正 PR の提案

これは完成された「最強」のエージェントの話ではありません。指摘の漏れ、過検知、ハルシネーションに悩み、「Codex や Copilot でいいのでは？」と自問しながら、今もレビュー機能の沼で格闘しています。

---

It started with a simple goal: creating pull requests from issues. But our issues and code lived in different repositories, and off-the-shelf agents couldn't bridge that gap, so we built our own.

This talk tells the story of how that small agent grew by taking on real problems from the field, one at a time:

- Issue-to-PR across repositories, plus AI code review
- Review context from esa and Backlog via MCP
- Two entry points: Slack Ops and Git Ops
- First-pass investigation of GuardDuty alerts, incidents, and cost anomalies across 100+ AWS accounts
- CVE impact reports in CSV from Amazon Inspector, put to real use just 12 hours after shipping
- Automatic Backlog ticket creation to stop requests from slipping through
- Proposing fixes as pull requests, based on error logs and source code

This isn't a story about a finished "ultimate" agent. We're still deep in the swamp of improving AI review: fighting missed findings, false positives, and hallucinations, while asking ourselves, "Shouldn't we just use Codex or Copilot?"

Transcript

1. 僕の考えた最強のDevOpsエージェントだよなーと考えながら 作ってるエージェントの話 2026.5.27 株式会社エス・エム・エス 山口隆史 © SMS Co., Ltd. 1
2. 新SREじぇクトX〜挑戦者たち〜 はじめはIssueからPRを作りたいだけだった。 IssueとPRのリポジトリが違い吊るしのエージェントでは届かなかった ならば、自分で作るしかない。男たちは立ち上がった。 GitHubを読ませ、PRを作らせ、レビューをさせた。 esaとBacklogに認証を通し、Slackから呼べるようにした。 気づけば、それはIssueからPRを作るだけのAgentではなくなっていた。 これは、完成されたAgentの話ではない。 最強を夢見ながら、今日もレビュー機能の沼で格闘している男たちの熱き 物語である。 © SMS Co., Ltd. X SREじぇクト 2
3. 自己紹介 氏名：山口隆史(やまぐちたかし) 所属：株式会社エス・エム・エス プロダクト推進本部 技術推進グループ 業務：全社SREとしての活動 略歴：フリーランス、SIer、Web系を渡り歩く→現職（2024/05〜） 自称：Security Hub芸人 通称：千葉支部公式AWS BuilderCards審判員 好きなAWSサービス：営業、Security Hub、GuardDuty 他：AWS Community Builder(Security & Identity)、JAWS-UG千葉支部運営 Snyk Ambassador、SRE NEXTコアスタッフ 第022587号 © SMS Co., Ltd. 3
4. © SMS Co., Ltd. 4
5. 会社概要 基礎情報 業績 会社名 株式会社エス・エム・エス（英語表記）SMS Co., Ltd. 社会課題の解決につながる事業を 創造・拡大し、継続的に成長 設立 2003年 4月4日 市場情報 東京証券取引所プライム市場（証券コード:2175） 資本金 25億5,172万円（2026年3月31日時点） 従業員数 連結：4,660人、単体：3,214人（2026年3月31日時点） 関連会社 国内：4社、海外：アジア・オセアニア等16の国と地域 ミッション 「高齢社会に適した情報インフラを構築することで人々の 売上推移 *1 （売上高・億円） 生活の質を向上し、社会に貢献し続ける」 高齢社会に求められる領域を、医療・介護/障害福祉・ヘルスケア ・シニアライフと捉え、価値提供先であるエンドユーザ・従事者・事 業者をつなぐプラットフォームとしての情報インフラを構築し、40以 上のサービスを展開 *1：第7期迄は単体数値、第8期より連結数値にて記載 © SMS Co., Ltd. 5
6. サービス一覧（一部抜粋） 分野 キャリア 区分 人材紹介サー ビス DR・その他 介護・障害福祉 経営支援 ヘルスケア シニアライフ 海外 © SMS Co., Ltd. サービス 介護職向け人材紹介 看護師向け 人材紹介 保育士向け 人材紹介 放射線技師向け 人材紹介 臨床検査技師向け 人材紹介 臨床工学技士向け 人材紹介 職種横断ダイレクト 看護師・看護学生向け リクルーティング コミュニティ 管理栄養士・栄養士向け 人材紹介 看護学生向け 就職情報 PT/OT/ST向け 人材紹介 治療家*1・セラピスト向け 人材紹介 看護師の職場を 診断するツール ケアマネジャー・相談員 ・障がい福祉の人材紹介 介護で働く人の ためのスクール 介護・医療・福祉の 管理栄養士・栄養士 柔道整復師・あはき師 資格講座情報 向けコミュニティ 向け受験参考書 高齢社会の 障害福祉事業者向け 介護事業の 介護/障害福祉 業務支援 事業者向け経営支援 経営者・管理者向け情報 調査・研究・情報発信 遠隔指導重症化 遠隔指導特定保健指導 予防サービス サービス 企業の健康管理 業務サポート 産業保健に 関わる人向け情報 医療介護業界特化型 ストレスチェック 女性の健康経営 サポート 介護で悩む人向け コミュニティ 高齢者向け 食事宅配紹介 高齢者向け 住宅紹介 医療従事者向け医薬情報 ICTを活用した 禁煙サポート 行動療法に特化した 禁煙サポート 障害のある方向け 人材紹介 障害のある方向け 就労支援事業所情報 仕事と介護の 両立支援ソリューション リフォーム会社 紹介 医療従事者向け人材紹介 (マレーシア、フィリピン、アイルランド、UK、ドイツ等) 建設・不動産 業界向け人材紹介 葬儀社紹介 認知症予防 ソリューション 認知症患者とその家族 向け認知症情報 看護師向け キャリアサービス ＊1．柔道整復師、あん摩マッサージ師、はり師、きゅう師のこと 6
7. アーキテクチャ図 © SMS Co., Ltd. 7
8. はじまりは小さなToilの削減だった それは、IssueからPRを作るための、 小さなAgentがほしいところから始まった。 しかし、最初の壁はすぐに現れた。 Issueがあるリポジトリと、PRを作るリポジトリが違った。 吊るしのエージェントでは、現場の導線に届かなかった。 © SMS Co., Ltd. 8
9. ならば、自分たちで作るしかない AgentはGitHubを読み、Issueを理解し、別のリポジトリにPRを 作るようになった。 PRが作れるようになると、AIレビューでシュッとマージできるよ うにしたくなった。 レビュー機能が追加された。 © SMS Co., Ltd. 9
10. コンテキストが足りない レビューにはコンテキストが必要だった。 diffだけではほしい情報にたどり着けない。 MCPでesaとBacklogを検索できるようにした。 PRにリンクがあるIssueも参照するようにした。 © SMS Co., Ltd. 10
11. 2つの入り口 この頃、AgentはSlackからも、GitHub Issueからも呼び出せるよ うになっていた。 Slack OpsとGit Ops。 2つの入口ができた。 © SMS Co., Ltd. 11
12. 鳴り止まない通知 そんな中、現場では別の問題が起きていた。 クラウドサービスからの迷惑メールがひどく、GuardDuty通知が 鳴り止まなかった。 人が毎回見るにはつらい。 Agentに一次調査をさせることにした。 © SMS Co., Ltd. 12
13. 立ちはだかるマルチアカウントの壁 AWSアカウントは100を超えていた。 調査のたびにアカウントをまたぐのは大変だった。 ReadOnly権限をStackSetsで配った。 © SMS Co., Ltd. 13
14. 広がる調査対象 ReadOnly権限があるなら、GuardDutyだけではない。 障害の一次調査もできるはずだった。 CloudWatch Logsを見る。 CloudTrailを見る。 AWSリソースの状態やメトリクスを見る。 Agentは障害調査にも踏み出した。 © SMS Co., Ltd. 14
15. 次に見えてきたのは、コストだった Cost Anomalyの調査も、Agentに任せてみたくなった。 何が増えたのか。 どのサービスが怪しいのか。 調査対象は、セキュリティから障害、 そしてコストへと広がっていった。 © SMS Co., Ltd. 15
16. やがて、ひとつの考えが浮かんだ GitHubが読める AWSも確認できる エラーログも見られる ならば、ログからソースの該当箇所を探し、修正PRまで出せるの ではないか Agentは調査するだけの存在から、変更を提案する存在になろうと していた © SMS Co., Ltd. 16
17. 実装直後に実戦投入したこともあった InspectorからCVE調査するのは大変だった。 マネコンで検索し一つ一つ影響を確認し、対応のためにスプシにま とめる作業を毎回実施することは困難だった。 そこでCVE該当調査CSV出力機能を作った。 すると、12時間後に本当に役に立った。 嬉しいような、 そんなに早く出番が来てほしくなかったような、 微妙な気持ちになった。 © SMS Co., Ltd. 17
18. Backlogへの起票もれが増えてきた Slackからの依頼。 GitHub Issueからの依頼。 依頼が増え起票漏れが増えてきた。 Slackは絵文字リアクションでBacklogを起票する。 GitHub Issueは自動でBacklogを起票する。 現場に笑顔が戻った。 © SMS Co., Ltd. 18
19. そして最後に、深い沼が待っていた AI-Agent自身の開発のスピードをあげていくには、レビュー機能 の充実が必要だった。 もっと良いレビューをさせたい。 もっと安全にマージしたい。 もっと見逃しを減らしたい。 もっと過検知を減らしたい。 © SMS Co., Ltd. 19
20. そして、沼にハマった レビュー機能をもりもりにしていった。 しかし、指摘の漏れやハルシネーションが発生する。 Codexでいいんじゃね？ Copilotとどっちがいいの？ と思う自分との戦い。 ここまでやったら最強のレビューAgentにしたい。 © SMS Co., Ltd. 20
21. 旅はまだ終わらない これは完成された最強のDevOpsエージェントの話ではない。 IssueからPRを作る小さなAgentに、現場の困りごとを1つずつ渡 していった話である。 気づけばそれは、Slack Ops、Git Ops、AWS調査、CVE調査、障 害一次調査、コスト調査、PR作成、AIレビューをつなぐものに なっていた。 「僕の考えた最強のDevOpsエージェントだよなー」 そう考えながら、今も作り続けている。 © SMS Co., Ltd. 21
22. © SMS Co., Ltd. 22
23. Appendix: レビュー機能の構成 PR情報と事前学習を使ってFocus Analyzerが観点を作り、並列レビューを統合・検証する 事前学習 Project Knowledge repo / 過去PR / 運用 PR情報 PR diff PR body changed files Focus Analyzer 観点分離 reviewer spec生成 Reviewer lane A 例: Terraform IaC / AWS Reviewer lane B 例: 要件適合 PR目的 / Issue Consolidator Findings採否 重複排除 Severity調整 Reviewer lane C 例: PR固有観点 Auth / DB / UI 読み方: PR情報 + 事前学習 → 観点生成 → 並列レビュー → 採否・重複排除 Final Verifier / QA Gate 根拠確認 / contract確認 / ハルシネーション抑制 / GitHub Review整形 © SMS Co., Ltd. 23