NewRelic MCPを活用して、APM監視から改善計画立てるまでの工数がゼロになった話 by エアークローゼット 辻 亮佑さん

event url: https://nrug.connpass.com/event/383731/

Transcript

1. NewRelic MCPを活用して APM監視から改善計画まで 工数がゼロになった話 Multi-Agent × MCP で実現する完全自律パフォーマンス改善 AI×オブザーバビリティ活用の最前線 by NRUG Vol.17 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 1
2. 辻 亮佑 Ryosuke Tsuji 株式会社エアークローゼット 執行役員CTO エンタープライズ向けシステム開発 → BtoCフロントエンド基盤構築。2015 年 エアークローゼットに参画。システム全体を管理しつつ、ビジネス全体と テクノロジーを管掌。日本最大級のファッションレンタルサービス airCloset を運営。
3. airCloset — 女性向けファッションレンタル プロのスタイリストが選んだ洋服が届く、月額制洋服レンタルサービス NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 3
4. airCloset のシステム構成 システム 対象 役割 Web / App お客さま 登録・返却・フィードバック スタイリングシステム スタイリスト コーディネート選定 倉庫連携 外部倉庫 出荷・返却・検品連携 WMS 倉庫内 在庫管理・ロケーション管理 バッチサーバ 自動処理 サブスク決済・ステータス遷移 管理コンソール 社内 CS・在庫・分析 基本的に全て内製 — 監視すべきシステムが多岐にわたる → だからこそ NewRelic NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 4
5. 今日お伝えしたいこと NewRelicにはとてつもない量のメトリクスが眠っている でも「見る → 分析する → 対処する」には必ず人の工数がかかる MCPとマルチエージェントを組み合わせれば 検出 → 原因特定 → 改善計画まで完全自律で回せる NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 5
6. こんな経験、ありませんか？ 1. アラートが来ても後回し — 「遅くなってるけど、今は機能開発が優先で...」 2. N+1やDBボトルネックが放置 — 「今は200msだし大丈夫」→ データ増加で突然 3秒に 3. 調査するにもコードを追うのが大変 — 遅いエンドポイントは分かった。でも原 因のコードはどこ？ NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 6
7. NewRelic MCP を活用して作ったもの NewRelic MCP の NRQL 実行・メトリクス取得を Gemini Agent のツールとして組み込み NR Analyzer — 完全自律型パフォーマンス分析AI 検出 → 原因コード特定 → 改善提案 → チケット起票まで人手ゼロ NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 7
8. NR Analyzer が解決すること 毎朝9時、AIが自律的にAPMを分析 → 問題検出 → コード調査 → チケット起票 Cloud Scheduler (毎日 9:00 JST) ↓ Gemini Agent (NewRelic MCP で APM全体を分析) ↓ 問題検出 Gemini Agent (Git Server MCP で原因コード特定) ↓ 原因特定 + 改善提案 Backlog チケット自動作成 (日英併記) エンジニアが朝出社したら、原因コード付きの改善チケットが届いている NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 8
9. NewRelic MCP が提供するツール Gemini Agent がこれらのツールを自律的に選択・実行 ツール 機能 NR Analyzerでの使い方 get_entity APMアプリ一覧 prod環境のアプリを特定 analyze_golden_metrics ゴールデンメトリクス RT・エラー率・スループットの健全性確認 analyze_transactions トランザクション詳細 DB呼出回数・外部API呼出の分析 execute_nrql_query 任意NRQL実行 AI生成NRQLで詳細データ取得 AIが状況に応じてツールを選択 → NRQLも自動生成 → 人がクエリを書く必要なし NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 9
10. 全体アーキテクチャ NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 10
11. 検出する6つの問題タイプ タイプ 検知条件 重視ポイント N+1クエリ DBクエリ > 15回/req & レスポンス < 500ms 今は速いが将来爆発 スロートランザクション 平均 > 1000ms すでに遅い 高エラー率 エラー率 > 5% ユーザー影響大 DBボトルネック DB時間が全体の70%以上 スケール阻害 外部API依存 外部呼出 > 10回/req 障害伝播リスク スループット急落 前週比で大幅減少 異常の兆候 特に重視: 「現在は問題になっていないが、スケール時に爆発するリスク」 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 11
12. Phase 1 — NewRelic MCPで問題を発見 Gemini Agent が NewRelic MCP を自律的に呼び出す Agent Loop の流れ Gemini: 「production APMの 一覧を見せて」 ↓ tool_call NewRelic MCP: get_entity ↓ 結果 Gemini: 「このアプリの ゴールデンメトリクスは？」 ↓ tool_call NewRelic MCP: analyze_golden_metrics ↓ 結果 Gemini: 「DBクエリ87回... これはN+1の疑いがある」 → Issue 生成 ポイント NRQLをAIが自動生成 調査の深さをAI自身が判断 最大50回のツール呼び出し 5分タイムアウトで安全制限 1日20回の実行上限 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 12
13. Phase 1 に渡すプロンプト Cloud Schedulerから起動 → Gemini Agentに渡される指示 System Prompt（抜粋） あなたはNewRelicのパフォーマンス 分析エキスパートです。 ▪ スコープ - production APMアプリのみ - 過去24時間 ▪ 調査手順 1. get_entity でアプリ一覧取得 2. golden_metrics で健全性確認 3. analyze_transactions で詳細調査 User Prompt（抜粋） 以下の問題を特定: 1. スロートランザクション (>500ms) 2. 高エラー率 (>3%) 3. N+1クエリ候補 (DB >11回/req) 4. DBボトルネック (DB >50%) 5. 外部API依存 (>5回/req) 特に重視: 「現在は問題ないが、 スケール時に爆発するリスク」 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 13
14. Phase 2 — 4段階の Deep Investigation 検出された問題ごとにAIが深堀り調査 Step 1 Step 2 Step 3 Step 4 NewRelic分析 → 原因コード特定 → 改善提案生成 → レポート作成 10 calls / 90s 60 calls / 5min 30 calls / 3min 10 calls / 90s Step 1: NewRelic分析 時系列データで変化点を特定 「いつから悪化したか」を特定 関連するコミットを検索 Step 2: 原因コード特定 git_grep で問題コードを検索 ファイルを読んで呼出しチェーンを追 跡 ORM別のアンチパターン検出 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 14
15. 各Stepに渡すプロンプト（1/2） Step 1: NewRelic分析 ▪ ツール: execute_nrql_query, commit_search (BQ) ▪ 調査タスク 1. 問題が最初に発生した時刻を特定 2. 悪化が始まった時刻を特定 3. 関連するコミットを特定 ▪ 出力: timeline, relatedCommits Step 2: 原因コード特定 ▪ ツール: git_grep, git_file, git_blame, git_log ▪ 最重要ルール ファイルパスを推測しない 必ず git_grep で検索してから開く ▪ 手順 1. ORM/フレームワーク特定 2. エンドポイント→コード追跡 3. 問題パターン検索 ▪ 出力: sourceCodeReferences NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 15
16. 各Stepに渡すプロンプト（2/2） Step 3: 改善提案 ▪ ツール: git_grep, git_file ▪ 改善の観点 - N+1 → バッチクエリ/Eager Loading - DB → インデックス/キャッシュ - 遅延 → 非同期化/タイムアウト ▪ 出力 - improvements[] (コード例付き) - effort / impact 評価 Step 4: レポート作成 ▪ 目的: Backlogチケット用の 最終レポートを作成 ▪ レポート要件 1. 問題の要約 2. 原因の特定 3. 改善提案と優先度の根拠 ▪ 出力 - rootCauseHypothesis (原因) - workaround (暫定対応) - permanentFix (恒久対応) NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 16
17. Tips: Agentic Loop の収束制御 AIが調査に没頭し、結論を出さないままループ上限に到達する問題 Before Agent: git_grep "handler" → 15件 Agent: git_file "handler.ts" → 200行 Agent: git_grep "findMany" → 8件 ...（max callsに到達） → 結論なしで終了 After — ツール結果に残り回数を注入 【システム通知】 残りツール呼び出し回数: 10回。 調査を収束させ、結果をJSON形式 で出力してください。 → AIが自律的に収束し結論を出す Step 2（原因特定）は残り10回、Step 4 は残り3回で発動。これだけで調査完了率 が劇的に改善。 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 17
18. Deep Investigation: コード特定の実例 Step 2 — AIがgit grepから原因コードを特定する流れ AI: git_grep "external-link" → src/modules/externalLink/handler.ts 発見 AI: git_file "src/modules/externalLink/handler.ts" → ループ内でDB呼び出しを発見 AI: git_grep "findMany|findFirst" file_pattern="*externalLink*" → 15箇所のDB呼び出し AI: git_blame "src/modules/externalLink/handler.ts" lines="45-60" → 2週間前のコミット 最重要ルール: ファイルパス推測禁止 — 必ず git_grep で検索してからファイルを 開く NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 18
19. Deep Investigation: 改善提案の生成 Step 3 → 4 — 具体的なコード改善案をレポート化 Step 3: 改善提案 問題タイプ 改善提案 N+1 バッチクエリ / Eager Loading DB インデックス追加 / キャッシュ 外部API 並列化 / Circuit Breaker effort (small/medium/large) と impact (high/medium/low) を付与 Step 4: レポート統合 Backlogチケットのフォーマットで出力: 概要: 問題の要約 期待した結果: DBクエリ5回以下 実際の結果: 87回のクエリ発行 原因: ループ内findMany 暫定対応策: eager loading追加 恒久対応策: DataLoaderパターン NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 19
20. 出力: 自動起票されるBacklogチケット（実例） エンジニアが朝見るチケット — 原因コード + 修正案付き NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 20
21. 重複排除と悪化検知 同じ問題を何度もチケット化しない仕組み 通知判定ロジック 状態 アクション 新規 チケット作成 既知 (Open) スキップ 再発 (7日以内) コメント追加 悪化 コメント追加 別の問題タイプ コメント追加 悪化判定の閾値 レスポンスタイム: 3倍以上 かつ 2秒 超 エラー率: +10pt以上 かつ 15%超 スループット: 50%以下に急落 データストア Firestore: Issue状態管理・重複排除 BigQuery: 実行ログ・メトリクス保存 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 21
22. なぜ自前のGit Serverが必要なのか GitHub MCP の限界とAgentic AIの要件 GitHub MCP の問題 Rate Limitが非常に厳しい Agentic Loopは1回の調査で60+ API 呼出し 複数Issue × 複数リポジトリですぐ枯 渇 自前Git Server (MCP) GCE VM上で動作 git_grep , git_file , git_blame 等 6ツール Rate Limit なし 全社リポジトリのクローンを保持 Agentic AI × 外部API = Rate Limitが最大のボトルネック。自前MCP で解決。 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 22
23. コスト 驚くほど安い ~$7 / 月 Gemini 3.0 Flash 使用 1日1回 × 30日（実測値） 内訳（1回あたり ~$0.23） 項目 トークン数 コスト Input ~440K tokens ~$0.22 Output ~2.6K tokens ~$0.01 安全制限 1日 20回まで Agent Loop: 50 tool calls / 5分 Deep Investigation: 110 tool calls / 10分 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 23
24. ここからは MCPで広がる活用の話 NewRelic MCPと社内MCPを組み合わせることで エンジニアもCSも、工数が劇的に減っている。 そしてこれらはNR Analyzerのさらなる強化にもつながる。 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 24
25. Graph RAG: コードを構造化して理解する ソースコードをNode（点）とEdge（線）の関係性で表現 [API Endpoint]──calls──→[Service]──calls──→[Repository]──queries──→[DB Table] │ │ └────────── 1つのリクエストの全データフローを追跡可能 ──────────────┘ 一般的なRAG（検索ベース） 質問 → Embedding検索 → 類似チャンク 関係性を辿れない 「この関数の呼出元は？」に答えられ ない Graph RAG（構造ベース） 質問 → 起点Node特定 → Edge走査 → 全経路 関係性を末端まで追跡 Cross-repository もEdge経由で接続 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 25
26. Code Graph と DB Graph 2つのGraphがNR Analyzerの調査精度を支える Code Graph — ソースコードの依 存関係 12リポジトリをパラメータレベルで 追跡 tree-sitterを拡張した独自静的解析 GitHub Push → 自動更新 → エンドポイントから原因関数まで一直 線 DB Graph — データベースの構造 辞書 17DB・994テーブルを検索可能 ORM定義 → 自動Graph化 セマンティック検索対応 → DBボトルネックのテーブル構造を即座 に把握 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 26
27. 社内MCPエコシステム NewRelic MCP以外にも、データソースごとにMCPを整備中 MCP Server 用途 主なツール Git Server ソースコード調査 git_grep, git_blame, git_log Code Graph コード依存関係 search_nodes, trace_connections DB Graph DB構造 + クエリ search_tables, sql_query_database Biz Graph ビジネス指標 search_initiatives, compare_metrics CSがエンジニアに聞くことなく、DB Graph経由で問い合わせを自己解決。バグ調 査もCode Graphで圧倒的に高速化。 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 27
28. 将来展望: NewRelic × Graph × AI自律運用 検出 → 修正 → PR → デプロイまでAIで NewRelic MCP Code Graph MCP Git Server MCP ↓ 問題検出 ↓ 影響範囲特定 ↓ コード修正 ↓ ↓ ↓ └──── AI Orchestrator ──────────────────────────────────────┘ ↓ Pull Request 自動作成 ↓ CI / テスト自動実行 ↓ レビュー → マージ → 自動デプロイ 年内目標: 一部のパフォーマンス問題（N+1クエリ等）は、検出からリリースまでAI が自律的に完結する世界を目指す NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 28
29. まとめ NR Analyzer NewRelic MCPで毎朝自動分析 4フェーズ Deep Investigation 原因コード特定 + 改善提案 Backlogチケット自動起票 基盤としてのGraph + MCP Code Graph: ソースコード構造 DB Graph: データベース辞書 社内MCP群でデータを構造化 将来: 検出→修正→デプロイまで自律 NewRelicのデータは宝の山。MCPでAIに渡せば、人の工数ゼロで改 善が回り始める。 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 29
30. Thank You! 質問・議論歓迎 NewRelic MCP × Multi-Agent — APM監視から改善計画まで工数ゼロ 30