Grafana MCP serverでなんかし隊 / Try Grafana MCP server

ゆるSRE勉強会 #11 〜AI × SREの知見が聞きたい！〜
https://yuru-sre.connpass.com/event/353153/

Transcript

1. Grafana MCP serverで なんかし隊 @kohbis ゆるSRE勉強会 #11 2025/06/13
2. お話しすること • オブザーバビリティ with AI • オブザーバビリティ with MCP server • Grafana MCP server
3. オブザーバビリティ with AI（1/2） 異常検出（ Anomaly Detection） • 機械学習と統計により「通常と異なる推移」のメトリクスを検出 • 機械学習とパターン分析により「通常と異なる形式や値」のログを検出 自然言語クエリ生成（ Natural Language Query Generation） • サービスごとに（やたらクセがある）クエリを自動生成 自然言語要約（ Natural Language Summarization） • ログやメトリクスまたはそれらのダッシュボードを自動要約 etc.
4. オブザーバビリティ with AI（2/2） AI 周り「そのもの」のオブザーバビリティ • リソース使用率 / モデルの出力評価 リクエスト数 / レイテンシー / セキュリティ etc. • 各サービスやツールの対応 ◦ Monitoring the performance of Amazon Bedrock ◦ Cloud Monitoring metrics for Vertex AI ◦ Datadog LLM Observability ◦ OpenTelemetry for Generative AI
5. オブザーバビリティ with MCP Server うれしいこと • サービスや担当者の習熟度に依存せず、誰でも再現性のある調査が可能に • エージェントとの連携により、収集したデータを開発のワークフローに統合 • （サービス、ツール連携、認証認可、出力整形をMCP Serverが一括して担える） 各サービスの対応 • AWS MCP Servers • Datadog MCP Server • Sentry MCP Server
6. Grafana MCP Server Grafana • “The open-source platform for monitoring and observability” • 複数のデータソースをクエリ、可視化、アラート設定、検索できる MCP Serverでできること（一部） • Dashboardの取得、作成、更新、パネルデータの取得 • Datasourceへのクエリ ◦ Prometheus（Metrics）、Loki（Log）をサポート ◦ Tempo（Trace）やPyroscope（Profile）は未対応 • Alertingの取得（更新は未対応） ※ ほかできることはREADME参照。PR#156 まで記載されていたものはIssueが起票されているのでそのうち対応されそう
7. なんかしたい 🤔 ゆるSREのLTに応募したものの • ただGrafanaダッシュボードを一覧するだけは楽しくない • PromQL（Prometheus）やLogQL（Loki）を書いてくれるのはうれしいがなんかパッ としない • なんかトラシューっぽいことができたらよさそう？ 「おうちK8sクラスタがあるけど、そんないい感じの変化はないよな〜」
8. いい感じだった
9. 調査開始 Copilot Chat (Claud Sonnet 4) on VSCode + Grafana MCP server
10. ダッシュボード一覧 最初に利用するダッシュボードを選 択する 今回は準備しておいたHome Clusterというダッシュボードを使う
11. ダッシュボード詳細
12. なげぇ😇
13. ダッシュボード詳細
14. 直近７日間の傾向
15. メモリ/CPU増加の原因を調査させる 👈 めっちゃ頑張ったCopilotくん • ノードごとのPod数変化に着目し、特 定の時間から該当ノードで Pod数 が増えている ことに気づく • この挙動から「システム全体のロー リングアップデート」 が行われた可 能性を提示
16. 正解👏
17. リソース使用率が増えた時間帯にやっていたこと K8sクラスタのアップグレード • リソース使用率が減少したノード ◦ アップグレードするため 稼働しているPodを退避した • リソース使用率が増加したノード ◦ 👆の退避された Podが 稼働するように なった Grafana MCP serverを活用した 自然言語のみでトラブルシューティング に成功 🎉
18. ところで
19. ずっと異なる発生時刻を表示し続けていた • 発生時刻は2025年6月6日1時頃 ◦ Grafana MCP serverで取得した メトリクスも該当時間のUNIX time ◦ 調査でクエリするときも 👆のUNIX timeを使用している • Copilot Chatの回答だけ 2025年6月7日15時頃と表示される 何らかの理由で誤ったコンテキストを 保持し続けてしまった？ なにもわからないので詳しい方教えてください🙇
20. さいごに
21. いろいろできそう • エディタ（VSCode）でMCP serverを利用して コード修正まで Agentにお任せ ◦ 例）今回特定した問題の修正 ▪ リスケジューリング設定 ▪ リソース調整 • ダッシュボード要約によるモニタリング業務の効率化 • アラート閾値に達しない範囲、中長期での傾向変化
22. ありがとうございました