オブザーバビリティ、本当に活用できてる？〜API連携×生成AIで成熟度を自動評価〜

by dmmsre

Embed

Start on current slide

Slide 1

Slide 1 text

オブザーバビリティ、本当に活⽤できてる？〜API連携×⽣成AIで成熟度を⾃動評価〜 SRE NEXT 2026 2026年7⽉11⽇（⽇）

Slide 2

Slide 2 text

⾃⼰紹介庭野悟（にわのさとる）合同会社DMM.com ITインフラ本部 SRE部 ● ミッション ○ 全社的なオブザーバビリティ推進 ● 主な活動 ○ 「成熟度モデル」の策定とOSS公開 ○ ⾃動アセスメントでの伴⾛⽀援 © DMM.com LLC 1

Slide 3

Slide 3 text

今⽇のゴール＆アジェンダ主観評価の限界を「データ駆動」で突破する⼿法を持ち帰る 1 背景と課題：セルフアセスメントの限界 2 解決策：API連携×⽣成AIによる⾃動評価 3 成果と学び：全社展開の実践と失敗談 4 ⼩さく始めるための第⼀歩 © DMM.com LLC 2

Slide 4

Slide 4 text

背景と課題 © DMM.com LLC 3

Slide 5

Slide 5 text

オブザーバビリティツールの活⽤皆さんのチーム、オブザーバビリティツールを本当に「活⽤」できていますか？ © DMM.com LLC 4

Slide 6

Slide 6 text

DMM社内の現状と課題巨⼤で多様な事業を⽀えるシステム群複数ツールが混在する複雑な環境運⽤が各チームの裁量に依存チーム間でツール活⽤度に格差が発⽣ © DMM.com LLC 5

Slide 7

Slide 7 text

セルフアセスメントの3つの壁主観の限界⾃⼰評価と実態の乖離⼿動評価の限界 SREの⽬視確認では全社展開が困難ジレンマ結果として「設定の有無」に終始する表⾯的な評価 © DMM.com LLC 6

Slide 8

Slide 8 text

実態と⾃⼰評価の乖離⾃⼰評価と実態のギャップチームの認識： ”⾃分たちはある程度活⽤できている” 実際に⾒えてきたデータ主観評価では⾒えない ”⼤量エラーの⻑期放置” ”トレースとログの未連携” などの実態 © DMM.com LLC 7

Slide 9

Slide 9 text

解決策 © DMM.com LLC 8

Slide 10

Slide 10 text

⾃動評価へのアプローチ実データ取得の⾃動化画⾯の⽬視からAPI経由での取得へ移⾏⽣成AIの活⽤⽣成AIへの指⽰を起点に実データを⾃動取得新たな仮説実データを⽣成AIに解釈させれば⾃動評価可能 © DMM.com LLC 9

Slide 11

Slide 11 text

データ取得スクリプトの役割実データ取得⽣成AIへの指⽰に応じてAPIを実⾏し、設定やエラー情報を取得フォーマット変換⽣成AIが分析しやすい構造化フォーマットへ変換独⾃スクリプト採⽤セキュリティ要件を満たすためMCPではなく独⾃構築 © DMM.com LLC 10

Slide 12

Slide 12 text

アーキテクチャの全体フロー STEP 1 評価実⾏のプロンプトを送信 STEP 2 スクリプト実⾏によりAPIが実データを取得 STEP 3 ⽣成AIが実データと成熟度モデルを突合 © DMM.com LLC 11 STEP 4 ⽣成AIが分析結果を元にレポートを⽣成

Slide 13

Slide 13 text

精度を担保するプロンプト設計 1番⽬〜 Phase 1 〜基礎情報収集 2番⽬〜 Phase 1 〜レビューと修正 3番⽬〜 Phase 2 〜詳細分析 5番⽬〜 Phase 3 〜レポート⽣成 © DMM.com LLC 12 4番⽬〜 Phase 2 〜レビューと修正 6番⽬〜 Phase 3 〜レビューと修正レポート⽣成サイクル

Slide 14

Slide 14 text

ツール⾮依存の成熟度モデル © DMM.com LLC 13 OSS公開汎⽤的な評価基準として外部にも提供共通のモノサシどのオブザーバビリティツールでも同じ基準で⽐較運⽤の実践度設定の有無ではなく実際の活⽤度を測る

Slide 15

Slide 15 text

成果と学び © DMM.com LLC 14

Slide 16

Slide 16 text

⾃動アセスメントの全社展開 ● New Relic利⽤チームから展開を開始 ● 客観的な事実データの提⽰でチームが前向きに ● 主観では⾒えなかった本当の現在地を可視化 ● アセスメント報告会で確かな⼿応えを獲得 © DMM.com LLC 15

Slide 17

Slide 17 text

現場の⼼理的ハードルを越えるアプローチ抵抗感の払拭採点される懸念を解消伴⾛者へ評価者ではなく共に改善客観性の価値⽣成AIを第三者として活⽤ © DMM.com LLC 16

Slide 18

Slide 18 text

⾃⼰評価と⾃動評価の差異 ● ⾃⼰評価と実データに明確なギャップが存在 ● 活⽤できているつもりのチームほど差異が⼤きい ● 差異の可視化が改善アクションの強⼒な起点に © DMM.com LLC 17

Slide 19

Slide 19 text

アセスメントレポートの価値詳細な分析実データに基づく客観的で深いインサイトスコア以上の価値単なる点数提⽰で終わらせない構成アクション特化明⽇から何をすべきかの具体的提案 © DMM.com LLC 18

Slide 20

Slide 20 text

レーダーチャートによる可視化強みと弱みの把握 6軸のチャートで現在地を直感的に可視化傾向の⽐較チーム間のばらつきや全社的な傾向を分析優先度の決定 SREが⽀援に⼊るべき領域を明確化 © DMM.com LLC 19

Slide 21

Slide 21 text

失敗談1：⽣成AIモデル選定の試⾏錯誤 1 ⾼精度モデルは⾼額でコスト⾒合わず 2 安価なモデルでコスト削減を試⾏ 3 複雑なタスクで出⼒のブレが発⽣ 4 精度と安定性からGemini 3.1 Proを選択 © DMM.com LLC 20

Slide 22

Slide 22 text

失敗談2：⽣データの情報過多初期の課題⽣データをそのまま渡し精度低下不要なメタデータで無駄なトークン消費改善策と結果スクリプト側でデータ前処理を実施⽣成AIの評価精度安定とコスト⼤幅削減 © DMM.com LLC 21

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

ご清聴ありがとうございました © DMM.com LLC 32 ● OSS成熟度モデル / GitHub ● DMM Developers Blog ○ オブザーバビリティ成熟度モデルをGitHub公開！明⽇から使える評価フレームワーク ○ DMM全体のオブザーバビリティってどのレベル？成熟度評価で分かったこと

Slide 33

Slide 33 text

No content