HolmesGPTで始めるSREエージェント入門！プラットフォームの障害調査はAIにお任せ〜

by SANGHYUK LEE

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

すべて内製開事業紹介 IT事業医療‧ヘルスケア事業海外事業⼈材の最適配置事業 SaaS事業 M&A事業発！

Slide 6

Slide 6 text

売上推移 2025年度実績約 1762 億円* 創業から黒字経営年間130%成長 ※会計基準変更前

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

HolmesGPTとの出会い 2025年10月、HolmesGPTに出会いました • オープンソースのSREエージェント。Robusta社が開発 • 2025年10月、CNCF Sandboxプロジェクトに採択 ○ これは触ってみたい！けどLLMだしお金かかるかな … ○ 触ってみたら意外とお金かからない • いまも日々成長しているプロジェクト © 2026 Leverages Co., Ltd. 08

Slide 14

Slide 14 text

HolmesGPT is 何？アラートを渡すと自分で調べて原因を返すAIエージェント • LLMが「何を見るか」を決め、kubectl や PromQL を自分で実行する • 最後に、根本原因の仮説と根拠（実行したコマンドと結果）を返す • SRE名探偵としてのプロンプト・ペルソナがぎっしり詰め込まれている ○ (※実際に探偵ごっこをやってくれたりはしないようです) ○ 以前Claudeにアラートだけコピペしたら説教されたことも... 明白な事実ほど誤解を招きやすいものはないよ © 2026 Leverages Co., Ltd. 09

Slide 15

Slide 15 text

CNCFエコシステムとの相性 Kubernetes周りの道具はだいたいデフォルトツールセットで繋がる！ • Kubernetes / Prometheus / Grafana / ArgoCD / OpenTelemetry 等は組み込みToolset • AWS・GCP・GitHub などは MCP サーバー経由で ○ クラウドコストデータも見るので簡易的なFinOpsエージェントとしても使えます • Toolsetは40以上。使うものを有効化するだけ • MCP経由なら何でもつながる！ • その他弊社で使っているもの(上記すべて含め) ○ NewRelic MCP ○ Datadog MCP ○ OpenCost MCP © 2026 Leverages Co., Ltd. 10

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slack連携の壁公式のSlack連携はRobustaの専用プラットフォーム経由でした • Slackアプリ「holmes」は Robusta のプラットフォームにのみ紐づく • OSS版のHolmesGPT単体にはSlack連携が無い（2026年9月現在） • HolmesGPTを既存のチャットプラットフォーム上で手軽に呼び出したい ○ 👉HolmesGPTのHTTP API があるじゃないか © 2026 Leverages Co., Ltd. 14

Slide 20

Slide 20 text

Slide 21

Slide 21 text

要件定義 holmes-slackbot • Slackとは Socket Mode（WebSocket）で接続。公開エンドポイント不要 • メンションを受けて HolmesGPT の API を叩き、スレッドに返す • OpenTelemetry SDKで計装し、Tempo → Grafanaで可視化 • Slackで受け取ったメッセージをHolmesGPTに投げるとき、文頭に [MUST] Answer in Japanese. と付け加える ○ 地味に便利なこだわりポイント ○ これが無いとたまに英語で返してくる © 2026 Leverages Co., Ltd. 16

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

構成図ホームズが、クラウドと監視系を見に行くアラート Prometheus / Grafana Amazon EKS Socket Mode Slack @holmes-lvgs とメンション holmes-slackbot AWS（MCP） HTTP API GCP（MCP） HolmesGPT NewRelic / Datadog Toolset / MCP でログ・メトリクスを取得 © 2026 Leverages Co., Ltd. 18

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

ユースケースいちばん効いたのは一次調査の「切り分け」と「原因特定」⼀次調査で「対応不要‧誤検知」と判断できた 6件根本原因や修正箇所まで特定できた 5件定期確認‧継続アラートの棚卸しに使えた 2件改善提案からPR作成まで進んだ 1件⼀次調査が速くなった（内容も概ね妥当） 1件回答の精度‧信頼性に課題があった 5件権限‧データ不⾜で調査できなかった 2件役⽴った 15件課題 7件 © 2026 Leverages Co., Ltd.

Slide 29

Slide 29 text

利用者の声効果検証シートに集まった、実際のコメント「一次調査からすぐ利用しておけばよかった」 — 障害対応で利用したチーム「必要権限ないでできる調査としては100点」 — データ基盤を運用するチーム「コンテキストを適切に与えれば現状の AI モデルで十分な価値が出そう」 — バッチのアラートを調査したチーム「手元のClaudeでの調査と比べると精度が低いように見えていて」 — 最終調査を別ツールで行ったチーム © 2026 Leverages Co., Ltd.

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

原因犯人は全LLMプロバイダーに送られていたプロンプトキャッシュ設定 • HolmesGPTはLLM呼び出しをLiteLLMで抽象化している • 2026年1月末から、Anthropic向けの cache_control_injection_points を全モデルに付けるように ○ v0.20.0 • Geminiでは context caching が有効になり、tools・system instruction と同時に使えず 400 • 2026年5月、Anthropicモデル限定に修正（PR #2069） ○ v0.31.0で修正 © 2026 Leverages Co., Ltd. 31

Slide 37

Slide 37 text

課題② どのチャンネルからでも、誰でも呼び出せてしまう • Slack Appは招待されたチャンネルならどこでも呼び出せる ○ Slack App側の認証機能は現状なし • 誰が・どこから・何を調べさせたかをHolmesGPT側で制御できない • 本番環境を読みに行くエージェントとしては少し怖い • DBやBigQueryなど、個人情報が入ってるデータはSlackに投稿されたくない © 2026 Leverages Co., Ltd. 32

Slide 38

Slide 38 text

Slide 39

Slide 39 text

解決① Gemini からAWS Bedrock の Claude Sonnetへ観点 Gemini 3.1-Flash-Lite Bedrock Claude Sonnet 4.6 ランダムなエラー発生消えた請求先 Google AWSに統一コスト安い上がった PR作成時のコーディングふつう少し上がった（気がする）力 ※ HolmesGPT v0.42.0 時点では Gemini 3.8-Flashでもうまく動作しています！ ※ HolmesGPTの開発とテストにはClaudeがメインで使われている模様。推奨モデルもClaude Sonnetになっている © 2026 Leverages Co., Ltd. 34

Slide 40

Slide 40 text

解決②…？ DBとBQアクセスできないように権限を絞る • DBはそもそも別途認証情報を与えないとアクセスできないため無問題 • BigQueryはGoogle CloudのViewer権限だとBigQueryにクエリできてしまう ○ Deny Policyを有効化し、BQ関連のアクセスを宣言的にブロック • まだ誰でもどのチャンネルでも呼び出せる状態 • 「誰が呼んだか」「どこで呼んだか」をholmes-slackbotは集計しているだけ © 2026 Leverages Co., Ltd. 35

Slide 41

Slide 41 text

Slide 42

Slide 42 text

今後① holmes-slackbotに認証認可を入れたい！ • holmes-slackbotが認証Gatewayとして働くようにしたい ○ 認可されたユーザー、チャンネルからの呼び出しのみHolmesGPTのAPIに投げる ○ それ以外は警告文と問い合わせチャンネルへの誘導文を投げる • DB、BigQueryも見れるエージェントを作りたい！ ○ 認証認可とエージェントガードレールを整えてクエリさせたい！ ○ 非エンジニアの需要が高い見込み • (現在Slackチャンネル認可機能はほぼ開発が終わって実装中！) © 2026 Leverages Co., Ltd. 37

Slide 43

Slide 43 text

今後② HolmesGPTにコントリビュートしたい！ • 使っていて見つけたバグや足りない機能をIssueとPRで報告したい • Issueは見てもらえてる • PRはRobusta社外からのものは一部メンテナー以外はあまり見てもらえないかも ○ 大LLM時代に見知らぬ人のPRを見るのは労力とリスクが高い ○ 定期的にMeetupも開催されているようなので参加したい！ © 2026 Leverages Co., Ltd. 38