オブザーバビリティ、本当に活用できてる？ 〜API連携×生成AIで成熟度を自動評価〜

「オブザーバビリティツールを導入したけど、チームによって活用度がバラバラ…」「セルフアセスメントをやってみたけど、主観的で形骸化してしまった…」。本セッションでは、こうした課題に対し、オブザーバビリティツール（New Relic / Datadog）のAPI連携と生成AIを組み合わせてデータ駆動型の成熟度評価を構築・展開した実践事例を紹介します。

Transcript

1. オブザーバビリティ、本当に活⽤できてる？ 〜API連携×⽣成AIで成熟度を⾃動評価〜 SRE NEXT 2026 2026年7⽉11⽇（⽇）
2. ⾃⼰紹介 庭野 悟（にわの さとる）  合同会社DMM.com ITインフラ本部 SRE部 • ミッション ◦ 全社的なオブザーバビリティ推進 • 主な活動 ◦ 「成熟度モデル」の策定とOSS公開 ◦ ⾃動アセスメントでの伴⾛⽀援 © DMM.com LLC 1
3. 今⽇のゴール＆アジェンダ 主観評価の限界を「データ駆動」で突破する⼿法を持ち帰る 1 背景と課題：セルフアセスメントの限界 2 解決策：API連携×⽣成AIによる⾃動評価 3 成果と学び：全社展開の実践と失敗談 4 ⼩さく始めるための第⼀歩 © DMM.com LLC 2
4. 背景と課題 © DMM.com LLC 3
5. オブザーバビリティツールの活⽤ 皆さんのチーム、オブザーバビリティツールを本当に 「活⽤」できていますか？ © DMM.com LLC 4
6. DMM社内の現状と課題 巨⼤で多様な事業を⽀えるシステム群 複数ツールが混在する複雑な環境 運⽤が各チームの裁量に依存 チーム間でツール活⽤度に格差が発⽣ © DMM.com LLC 5
7. セルフアセスメントの3つの壁 主観の限界 ⾃⼰評価と実態の乖離 ⼿動評価の限界 SREの⽬視確認では全社展開が 困難 ジレンマ 結果として「設定の有無」に終 始する表⾯的な評価 © DMM.com LLC 6
8. 実態と⾃⼰評価の乖離 ⾃⼰評価と実態のギャップ チームの認識：  ”⾃分たちはある程度活⽤できている” 実際に⾒えてきたデータ 主観評価では⾒えない ”⼤量エラーの⻑期放置” ”トレースとログの未連携” などの実態 © DMM.com LLC 7
9. 解決策 © DMM.com LLC 8
10. ⾃動評価へのアプローチ 実データ取得の⾃動化 画⾯の⽬視からAPI経由での取得へ移⾏ ⽣成AIの活⽤ ⽣成AIへの指⽰を起点に実データを⾃動取得 新たな仮説 実データを⽣成AIに解釈させれば⾃動評価可能 © DMM.com LLC 9
11. データ取得スクリプトの役割 実データ取得 ⽣成AIへの指⽰に応じてAPIを実⾏し、設定やエラー情報を取得 フォーマット変換 ⽣成AIが分析しやすい構造化フォーマットへ変換 独⾃スクリプト採⽤ セキュリティ要件を満たすためMCPではなく独⾃構築 © DMM.com LLC 10
12. アーキテクチャの全体フロー STEP 1 評価実⾏のプロンプトを送信 STEP 2 スクリプト実⾏によりAPIが実データを取得 STEP 3 ⽣成AIが実データと成熟度モデルを突合 © DMM.com LLC 11 STEP 4 ⽣成AIが分析結果を元にレポートを⽣成
13. 精度を担保するプロンプト設計 1番⽬ 〜 Phase 1 〜 基礎情報収集 2番⽬ 〜 Phase 1 〜 レビューと修正 3番⽬ 〜 Phase 2 〜 詳細分析 5番⽬ 〜 Phase 3 〜 レポート⽣成 © DMM.com LLC 12 4番⽬ 〜 Phase 2 〜 レビューと修正 6番⽬ 〜 Phase 3 〜 レビューと修正 レポート⽣成 サイクル
14. ツール⾮依存の成熟度モデル © DMM.com LLC 13 OSS公開 汎⽤的な評価基準として外部にも提供 共通のモノサシ どのオブザーバビリティツールでも同じ基準 で⽐較 運⽤の実践度 設定の有無ではなく実際の活⽤度を測る
15. 成果と学び © DMM.com LLC 14
16. ⾃動アセスメントの全社展開 • New Relic利⽤チームから展開を開始 • 客観的な事実データの提⽰でチームが前向きに • 主観では⾒えなかった本当の現在地を可視化 • アセスメント報告会で確かな⼿応えを獲得 © DMM.com LLC 15
17. 現場の⼼理的ハードルを越えるアプローチ 抵抗感の払拭 採点される懸念を解消 伴⾛者へ 評価者ではなく共に改善 客観性の価値 ⽣成AIを第三者として活⽤ © DMM.com LLC 16
18. ⾃⼰評価と⾃動評価の差異 • ⾃⼰評価と実データに明確なギャップが存在 • 活⽤できているつもりのチームほど差異が⼤きい • 差異の可視化が改善アクションの強⼒な起点に © DMM.com LLC 17
19. アセスメントレポートの価値 詳細な分析 実データに基づく客観的で深いインサイト スコア以上の価値 単なる点数提⽰で終わらせない構成 アクション特化 明⽇から何をすべきかの具体的提案 © DMM.com LLC 18
20. レーダーチャートによる可視化 強みと弱みの把握 6軸のチャートで現在地を直感的に可視化 傾向の⽐較 チーム間のばらつきや全社的な傾向を分析 優先度の決定 SREが⽀援に⼊るべき領域を明確化 © DMM.com LLC 19
21. 失敗談1：⽣成AIモデル選定の試⾏錯誤 1 ⾼精度モデルは⾼額でコスト⾒合わず 2 安価なモデルでコスト削減を試⾏ 3 複雑なタスクで出⼒のブレが発⽣ 4 精度と安定性からGemini 3.1 Proを選択 © DMM.com LLC 20
22. 失敗談2：⽣データの情報過多 初期の課題 ⽣データをそのまま渡し精度低下 不要なメタデータで無駄なトークン消費 改善策と結果 スクリプト側でデータ前処理を実施 ⽣成AIの評価精度安定とコスト⼤幅削減 © DMM.com LLC 21
23. 失敗談3：⻑⽂レポートからの脱却 初期の課題 ⽣成AI特有の⻑⽂で要点が埋没 情報量過多で受け取り側が疲弊 改善策 不要な説明セクションを⼤胆に削減 具体的なネクストアクション提⽰に特化 © DMM.com LLC 22
24. 運⽤コストとハルシネーション コストパフォーマンス 1レポート数千円台前半でも⼿動の⼈件費より圧倒的に安価 ハルシネーション対策 誤認識もチームと共に構成を⾒直す対話のきっかけに © DMM.com LLC 23
25. ⼩さく始めるための第⼀歩 © DMM.com LLC 24
26. ⼩さく始めるための3条件 ツールのAPI データ取得環境 ⽣成AI 実⾏できる環境 評価基準 成熟度モデル © DMM.com LLC 25
27. ⾃社向けへのカスタマイズ • 公開中のOSS成熟度モデルをフォーク • ⾃社の実態に合わせて成熟度モデルをカスタマイズ • ⾃社にとっての理想の状態を評価基準にする © DMM.com LLC 26
28. Inclusive SREへの接続 オブザーバビリティを「⼀部の詳しい⼈のもの」から 「全員のもの」へ © DMM.com LLC 27
29. 明⽇からできる最初の⼀歩 STEP 1 公開中の成熟度モデルをローカルにクローン STEP 2 ⾃チームの1アカウント分のデータを取得し配置 STEP 3 AIエディタで成熟度モデルを基準に壁打ちを実⾏ © DMM.com LLC 28
30. 3つのTakeaway データ駆動 主観の限界はデータで突破する ツール⾮依存 評価基準は特定のツールに縛られない 共創の出発点 評価はゴールではなく改善の始まり © DMM.com LLC 29
31. 今後の展望 精度向上 プロンプトの継続的な改善 完全⾃動化 定期的な評価サイクルの確⽴ ツール横断 他のツールを含めた本格展開 © DMM.com LLC 30
32. ご清聴ありがとうございました © DMM.com LLC 32 • OSS成熟度モデル / GitHub • DMM Developers Blog ◦ オブザーバビリティ成熟度モデルをGitHub公開！明⽇から使える評価フレームワーク ◦ DMM全体のオブザーバビリティってどのレベル？成熟度評価で分かったこと