Grafana MCP serverで なんかし隊 @kohbis ゆるSRE勉強会 #11 2025/06/13 

お話しすること ● オブザーバビリティ with AI ● オブザーバビリティ with MCP server ● Grafana MCP server 

オブザーバビリティ with AI（1/2） 異常検出（ Anomaly Detection） ● 機械学習と統計により「通常と異なる推移」のメトリクスを検出 ● 機械学習とパターン分析により「通常と異なる形式や値」のログを検出 自然言語クエリ生成（ Natural Language Query Generation） ● サービスごとに（やたらクセがある）クエリを自動生成 自然言語要約（ Natural Language Summarization） ● ログやメトリクスまたはそれらのダッシュボードを自動要約 etc. 

オブザーバビリティ with AI（2/2） AI 周り「そのもの」のオブザーバビリティ ● リソース使用率 / モデルの出力評価 リクエスト数 / レイテンシー / セキュリティ etc. ● 各サービスやツールの対応 ○ Monitoring the performance of Amazon Bedrock ○ Cloud Monitoring metrics for Vertex AI ○ Datadog LLM Observability ○ OpenTelemetry for Generative AI 

オブザーバビリティ with MCP Server うれしいこと ● サービスや担当者の習熟度に依存せず、誰でも再現性のある調査が可能に ● エージェントとの連携により、収集したデータを開発のワークフローに統合 ● （サービス、ツール連携、認証認可、出力整形をMCP Serverが一括して担える） 各サービスの対応 ● AWS MCP Servers ● Datadog MCP Server ● Sentry MCP Server 

Grafana MCP Server Grafana ● “The open-source platform for monitoring and observability” ● 複数のデータソースをクエリ、可視化、アラート設定、検索できる MCP Serverでできること（一部） ● Dashboardの取得、作成、更新、パネルデータの取得 ● Datasourceへのクエリ ○ Prometheus（Metrics）、Loki（Log）をサポート ○ Tempo（Trace）やPyroscope（Profile）は未対応 ● Alertingの取得（更新は未対応） ※ ほかできることはREADME参照。PR#156 まで記載されていたものはIssueが起票されているのでそのうち対応されそう 

なんかしたい 🤔 ゆるSREのLTに応募したものの ● ただGrafanaダッシュボードを一覧するだけは楽しくない ● PromQL（Prometheus）やLogQL（Loki）を書いてくれるのはうれしいがなんかパッ としない ● なんかトラシューっぽいことができたらよさそう？ 「おうちK8sクラスタがあるけど、そんないい感じの変化はないよな〜」 

いい感じだった 

調査開始 Copilot Chat (Claud Sonnet 4) on VSCode + Grafana MCP server 

ダッシュボード一覧 最初に利用するダッシュボードを選 択する 今回は準備しておいたHome Clusterというダッシュボードを使う 

ダッシュボード詳細 

なげぇ😇 

ダッシュボード詳細 

直近７日間の傾向 

メモリ/CPU増加の原因を調査させる 👈 めっちゃ頑張ったCopilotくん ● ノードごとのPod数変化に着目し、特 定の時間から該当ノードで Pod数 が増えている ことに気づく ● この挙動から「システム全体のロー リングアップデート」 が行われた可 能性を提示 

正解👏 

リソース使用率が増えた時間帯にやっていたこと K8sクラスタのアップグレード ● リソース使用率が減少したノード ○ アップグレードするため 稼働しているPodを退避した ● リソース使用率が増加したノード ○ 👆の退避された Podが 稼働するように なった Grafana MCP serverを活用した 自然言語のみでトラブルシューティング に成功 🎉 

ところで 

ずっと異なる発生時刻を表示し続けていた ● 発生時刻は2025年6月6日1時頃 ○ Grafana MCP serverで取得した メトリクスも該当時間のUNIX time ○ 調査でクエリするときも 👆のUNIX timeを使用している ● Copilot Chatの回答だけ 2025年6月7日15時頃と表示される 何らかの理由で誤ったコンテキストを 保持し続けてしまった？ なにもわからないので詳しい方教えてください🙇 

さいごに 

いろいろできそう ● エディタ（VSCode）でMCP serverを利用して コード修正まで Agentにお任せ ○ 例）今回特定した問題の修正 ■ リスケジューリング設定 ■ リソース調整 ● ダッシュボード要約によるモニタリング業務の効率化 ● アラート閾値に達しない範囲、中長期での傾向変化 

ありがとうございました