計測する環境から、答え合わせをする環境へ (Datadogで実現するAI運用最前線)

2026年8月に大阪で開催されたDatadog事例共有会での登壇資料です

Transcript

1. AIと使うDatadog 計測する環境から、 答え合わせをする環境へ 2026年8月7日 株式会社 i-plug 小椋 隆史
2. OfferBoxのご紹介 サービス特徴 • 新卒学生向けダイレクトリクルーティング • 1〜5月（特に3〜4月）にアクセスが急増 企業ユーザーの主な行動 ① 検索・オファー送信 ログイン → 検索 → プロフィール閲覧 → オファー送信 ② メッセージのやり取り ログイン → 日程調整等のメッセージ システム面での課題 検索機構はローンチ当初から RDBベース。 ⇒ 繁忙期に負荷が高まり、 DBスケールアップで対処 ⓒ i-plug,inc. All Rights Reserved.
3. 計測する環境としてのDatadogの活用 課題の特定とアプローチ • • 「本当にスケールアップ以外に手がないの か」という根本的な観点からAPMを徹底的に 見直し。 複数パラメータで構成されるクエリにおいて、 インデックスが正常に機能していないボトル ネック箇所を発見。 可視化と改善プロセス • 主要な操作群を「クリティカルユーザージャー ニー」と再定義し、SLOダッシュボードを用い てリアルタイム可視化。 具体的な改善内容 • インデックスの見直し 最適な複合インデックスの再設計と適用。 • LIKE検索のレンジ移行 時間範囲における中間一致LIKE検索をより 効率的な範囲(レンジ)条件へ書き換え。 • N+1問題の解消 不要な繰り返しクエリ発行を検知し結合。 • UIの遅延読み込み 複数タブ構成の画面で非表示タブを非同期・ 遅延読み込み化。 【改善サイクル】 1. 遅いアクションの特定 2. APMトレースによるクエリ抽出 3. EXPLAINによる実行計画の確認 4. ピンポイントの修正・効果検証 ⓒ i-plug,inc. All Rights Reserved.
4. 活用結果 改善前  改善後 詳細な取り組みはテックブログでも紹介しています https://iplug-tech.hatenablog.com/entry/2025/06/23/090000 ⓒ i-plug,inc. All Rights Reserved.
5. Datadogのよいこと・困りごと よいこと 困りごと • データ集積を通していろいろな情報を様々な観点で可視化で きる • どのデータをどうまとめると見やすいかの勘所を掴む必要があ る • alert通知からon-callの仕組みまで、サービス運用のカバー範 囲も広がっている • ピンポイントの変更の影響を把握するのに個別のクエリを事前 に知っておく必要があった ⓒ i-plug,inc. All Rights Reserved.
6. Datadog MCP を試してみる • 普段の開発で使っている Claude Code に Datadog MCP を接続してみた • セットアップはプラグインインストールで完了 /plugin install datadog@claude-plugins-official ⓒ i-plug,inc. All Rights Reserved.
7. 便利だったこと（1）個別パフォーマンス比較 従来の課題 これまでのperf改善はデプロイ後にAPMを見るやり方だった Datadog MCP による効果 • Datadog MCP 経由で、PRをキーにした前後比較ができた • APMで外観の変化を見るのが精一杯だったものが、変更箇 所を特定した精緻な値として見られる • フォーカスを絞ったPRを作ることは当たり前だが、個別に変 化を捉えやすくなるのは開発サイクルに効く ⓒ i-plug,inc. All Rights Reserved.
8. 便利だったこと（2）フレイキーテストの調査・分類 ―― 準備 取り組み 目的と背景 CIで不安定に成功・失敗する Flaky Test を抽出・分析・修正 につなげるフローを試行。 ステップ 具体的な準備 プロダクトコードのリポジトリに Datadog の Test Optimization 設定を追加する。 ⓒ i-plug,inc. All Rights Reserved.
9. Test Optimization の機能群（PHPでは使えなかった） auto_test_retries_enabled fail時の指定回数自動リトライ PHPにおける制限と可能性 ⚠ dd-traceの実装なし early_flake_detection_enabled 新規・変更テストを複数回実行し、マージ前に不安定を特定 test_impact_analysis_enabled コード変更の影響を受けるテストのみ実行 failed_test_replay_enabled 失敗テストのスタックトレース最上位フレームのローカル変数が見える code_coverage_enabled コードカバレッジ測定 ⓒ i-plug,inc. All Rights Reserved. これらは現在利用している PHPのdd-traceには実装が なく、使うことができませんでした。 💡 他言語での活用 PHP以外の言語を利用している開発環境であれば、こ れらの機能を導入して、より細やかで高度なテスト最適 化に対応可能です。
10. V1のFlaky Testが0件だった件 01背景とアプローチ 02Claudeの推測と検証 03判定条件と結論 新旧のコードベース 初期の仮説と推測 Flaky判定の真の条件 社内には新旧 2つのコードベース（古い方を V1、 新しい方を V2）が存在します。 Claudeの初期回答は「フィルター設定にミスがある のではないか」という推測でした。 判定には「同じコミットで成功と失敗が両方起き る」必要がありますが、 V1にはその記録自体が ありませんでした。 調査のきっかけ 追加調査による事実確認 Flaky検出がV2でのみ出たため、まずは現状把 握としてV1の状況確認を Claudeに指示しまし た。 さらに調査を進めると、テスト実行イベント自体は 正常に拾われており、正しく計測はされていること が分かりました。 ⓒ i-plug,inc. All Rights Reserved. ⚠ 重要な教訓 「記録が 0件」であることと、「テストが安定して いる（ Flakyが存在しない）」ことは全くの別問題 です。
11. Flaky判定されたテストケースを分類できた クラスタ（不具合・エラー要因の分類） 判定件数 カーソルページネーション （データの重複・欠落による検証フェイル） 9件 新規の HTTP 500 系エラー （サーバー側での予期せぬシステム例外） 6件 エラー本文なし （スタックトレース等のデバッグ情報が空の異常終了） 6件 fixture のID衝突 （1062 Duplicate entry / テスト用初期データ重複） 3件 DynamoDB の書き込み /読み取りタイミング競合 1件 環境依存 （openssl鍵の差異、実行環境の個別設定に起因） 1件 合計（総判定対象テストケース数） 25 件 ⓒ i-plug,inc. All Rights Reserved.
12. Claudeとうまく付き合う ―― 問い直しの型 💡 ターミナルから画面を切り替えずに調査・分析結果を見られるのは嬉しいが、 AIの出力を鵜呑みにせずコントロールする 01「0件です」を疑う 02探索の迷走を防ぐ 03事前に止める準備 04効いた指示 フラグ判定の誤り 材料がない時の空回り 調査前の撤退ルール 効果的なブレーキ flaky判定のクエリを @test.is_retry: true として0件を返してきたが、実際は @test.is_flaky: true だった。 エラー本文やスタックトレースが無いと き、仮説1つのまま探し方を5回変えても 成果はゼロ。別ディレクトリを掘り続け、 存在しないファイルを指名することも。 事前にルールを文字にして定義しておく ことで、AIの無限ループや空回りを防 ぎ、適切なタイミングで立ち止まることが できる。 検証は複数回、別の角度で実行させ る。調べすぎも方向がおかしいので、明 確に止めさせる制約をかけること。 💡 問い直しの型 📋 事前ルールの 3箇条 「見当たりません」と言われたら、「どこ を見てそう判断したのか」を確認し直 す。 1. 「見当たらない」で止めない 2. 別の角度で最低1回試す 3. それでも無ければ「無い」と明記して 終了 💡 問い直しの型 「どうやって調べた？」と確認し直すこ とで、誤ったクエリ指定が判明。 ⓒ i-plug,inc. All Rights Reserved. 🔑 軽いハーネス（制御） 「人間が再検証するときの手順を添え て」という指示が、回答の正確性を担 保する優れたハーネスとして機能し た。
13. おまけ：BitsAI の利用所感 01UIの複雑さから解放 02根拠ある推奨事項 03ダッシュボード提案 04柔軟なアラート調査 Datadogへの統合 専用トレーニング ウィジェットの自動配置 データ量と活用の最大化 Datadogに統合されているため、UIの 複雑さから解放されます。見たいページ やメトリクス、設定へのリンクも自動で提 示されます。 Datadog用に最適化してトレーニングさ れているため、推奨事項を根拠とともに 提示できます。「何をモニタリングすべき か」の公式ブログを学習しており高い信 頼度を誇ります。 ダッシュボードのウィジェット提案や配置 が可能です。実現可能性の検証や、必 要となる具体的なメトリクスを自動で探 し出して提示します。 細かな指示がなくともAPM・ログ・メトリ クスを縦断的に深く調査します。蓄積す るデータ量で回答精度が変わるため、 環境に合わせた活用設計が重要です。 ⓒ i-plug,inc. All Rights Reserved.
14. まとめ 💡 Datadog MCP と AI を組み合わせ、安全かつ効率的なデータ分析とダッシュボード運用を実現する 01Datadog MCP 02選択的データ取得 03BitsAI の活用 04軽いハーネス データソース化 効率的なアクセス 簡単な作成方法 安全な再検証 Datadog MCP の利用により、 Datadog をより簡単にアクセスできる データソースとして扱えるようになりまし た。 ダッシュボードを見たり作成したりしなく ても、必要な時に欲しいデータのみを選 択的に取得できます。 逆にダッシュボードを簡単に新規作成し たいユースケースであれば、BitsAI の 積極的な活用が適しています。 AIに調べさせるときは、人間が後から再 検証できる手順をセットで出させること が、信頼性を担保する軽いハーネスとし て機能します。 ⓒ i-plug,inc. All Rights Reserved.