Share
Embed
計測する環境から、答え合わせをする環境へ (Datadogで実現するAI運用最前線)
2026年8月に大阪で開催されたDatadog事例共有会での登壇資料です
Takashi OGURA
August 12, 2026
Transcript
14 slides
-
OfferBoxのご紹介 サービス特徴 • 新卒学生向けダイレクトリクルーティング • 1〜5月(特に3〜4月)にアクセスが急増 企業ユーザーの主な行動 ① 検索・オファー送信 ログイン
→ 検索 → プロフィール閲覧 → オファー送信 ② メッセージのやり取り ログイン → 日程調整等のメッセージ システム面での課題 検索機構はローンチ当初から RDBベース。 ⇒ 繁忙期に負荷が高まり、 DBスケールアップで対処 ⓒ i-plug,inc. All Rights Reserved. -
計測する環境としてのDatadogの活用 課題の特定とアプローチ • • 「本当にスケールアップ以外に手がないの か」という根本的な観点からAPMを徹底的に 見直し。 複数パラメータで構成されるクエリにおいて、 インデックスが正常に機能していないボトル ネック箇所を発見。
可視化と改善プロセス • 主要な操作群を「クリティカルユーザージャー ニー」と再定義し、SLOダッシュボードを用い てリアルタイム可視化。 具体的な改善内容 • インデックスの見直し 最適な複合インデックスの再設計と適用。 • LIKE検索のレンジ移行 時間範囲における中間一致LIKE検索をより 効率的な範囲(レンジ)条件へ書き換え。 • N+1問題の解消 不要な繰り返しクエリ発行を検知し結合。 • UIの遅延読み込み 複数タブ構成の画面で非表示タブを非同期・ 遅延読み込み化。 【改善サイクル】 1. 遅いアクションの特定 2. APMトレースによるクエリ抽出 3. EXPLAINによる実行計画の確認 4. ピンポイントの修正・効果検証 ⓒ i-plug,inc. All Rights Reserved. -
Datadogのよいこと・困りごと よいこと 困りごと • データ集積を通していろいろな情報を様々な観点で可視化で きる • どのデータをどうまとめると見やすいかの勘所を掴む必要があ る •
alert通知からon-callの仕組みまで、サービス運用のカバー範 囲も広がっている • ピンポイントの変更の影響を把握するのに個別のクエリを事前 に知っておく必要があった ⓒ i-plug,inc. All Rights Reserved. -
Datadog MCP を試してみる • 普段の開発で使っている Claude Code に Datadog MCP
を接続してみた • セットアップはプラグインインストールで完了 /plugin install datadog@claude-plugins-official ⓒ i-plug,inc. All Rights Reserved. -
便利だったこと(1)個別パフォーマンス比較 従来の課題 これまでのperf改善はデプロイ後にAPMを見るやり方だった Datadog MCP による効果 • Datadog MCP 経由で、PRをキーにした前後比較ができた
• APMで外観の変化を見るのが精一杯だったものが、変更箇 所を特定した精緻な値として見られる • フォーカスを絞ったPRを作ることは当たり前だが、個別に変 化を捉えやすくなるのは開発サイクルに効く ⓒ i-plug,inc. All Rights Reserved. -
便利だったこと(2)フレイキーテストの調査・分類 ―― 準備 取り組み 目的と背景 CIで不安定に成功・失敗する Flaky Test を抽出・分析・修正 につなげるフローを試行。
ステップ 具体的な準備 プロダクトコードのリポジトリに Datadog の Test Optimization 設定を追加する。 ⓒ i-plug,inc. All Rights Reserved. -
Test Optimization の機能群(PHPでは使えなかった) auto_test_retries_enabled fail時の指定回数自動リトライ PHPにおける制限と可能性 ⚠ dd-traceの実装なし early_flake_detection_enabled 新規・変更テストを複数回実行し、マージ前に不安定を特定
test_impact_analysis_enabled コード変更の影響を受けるテストのみ実行 failed_test_replay_enabled 失敗テストのスタックトレース最上位フレームのローカル変数が見える code_coverage_enabled コードカバレッジ測定 ⓒ i-plug,inc. All Rights Reserved. これらは現在利用している PHPのdd-traceには実装が なく、使うことができませんでした。 💡 他言語での活用 PHP以外の言語を利用している開発環境であれば、こ れらの機能を導入して、より細やかで高度なテスト最適 化に対応可能です。 -
V1のFlaky Testが0件だった件 01背景とアプローチ 02Claudeの推測と検証 03判定条件と結論 新旧のコードベース 初期の仮説と推測 Flaky判定の真の条件 社内には新旧 2つのコードベース(古い方を
V1、 新しい方を V2)が存在します。 Claudeの初期回答は「フィルター設定にミスがある のではないか」という推測でした。 判定には「同じコミットで成功と失敗が両方起き る」必要がありますが、 V1にはその記録自体が ありませんでした。 調査のきっかけ 追加調査による事実確認 Flaky検出がV2でのみ出たため、まずは現状把 握としてV1の状況確認を Claudeに指示しまし た。 さらに調査を進めると、テスト実行イベント自体は 正常に拾われており、正しく計測はされていること が分かりました。 ⓒ i-plug,inc. All Rights Reserved. ⚠ 重要な教訓 「記録が 0件」であることと、「テストが安定して いる( Flakyが存在しない)」ことは全くの別問題 です。 -
Flaky判定されたテストケースを分類できた クラスタ(不具合・エラー要因の分類) 判定件数 カーソルページネーション (データの重複・欠落による検証フェイル) 9件 新規の HTTP 500 系エラー
(サーバー側での予期せぬシステム例外) 6件 エラー本文なし (スタックトレース等のデバッグ情報が空の異常終了) 6件 fixture のID衝突 (1062 Duplicate entry / テスト用初期データ重複) 3件 DynamoDB の書き込み /読み取りタイミング競合 1件 環境依存 (openssl鍵の差異、実行環境の個別設定に起因) 1件 合計(総判定対象テストケース数) 25 件 ⓒ i-plug,inc. All Rights Reserved. -
Claudeとうまく付き合う ―― 問い直しの型 💡 ターミナルから画面を切り替えずに調査・分析結果を見られるのは嬉しいが、 AIの出力を鵜呑みにせずコントロールする 01「0件です」を疑う 02探索の迷走を防ぐ 03事前に止める準備 04効いた指示
フラグ判定の誤り 材料がない時の空回り 調査前の撤退ルール 効果的なブレーキ flaky判定のクエリを @test.is_retry: true として0件を返してきたが、実際は @test.is_flaky: true だった。 エラー本文やスタックトレースが無いと き、仮説1つのまま探し方を5回変えても 成果はゼロ。別ディレクトリを掘り続け、 存在しないファイルを指名することも。 事前にルールを文字にして定義しておく ことで、AIの無限ループや空回りを防 ぎ、適切なタイミングで立ち止まることが できる。 検証は複数回、別の角度で実行させ る。調べすぎも方向がおかしいので、明 確に止めさせる制約をかけること。 💡 問い直しの型 📋 事前ルールの 3箇条 「見当たりません」と言われたら、「どこ を見てそう判断したのか」を確認し直 す。 1. 「見当たらない」で止めない 2. 別の角度で最低1回試す 3. それでも無ければ「無い」と明記して 終了 💡 問い直しの型 「どうやって調べた?」と確認し直すこ とで、誤ったクエリ指定が判明。 ⓒ i-plug,inc. All Rights Reserved. 🔑 軽いハーネス(制御) 「人間が再検証するときの手順を添え て」という指示が、回答の正確性を担 保する優れたハーネスとして機能し た。 -
おまけ:BitsAI の利用所感 01UIの複雑さから解放 02根拠ある推奨事項 03ダッシュボード提案 04柔軟なアラート調査 Datadogへの統合 専用トレーニング ウィジェットの自動配置 データ量と活用の最大化
Datadogに統合されているため、UIの 複雑さから解放されます。見たいページ やメトリクス、設定へのリンクも自動で提 示されます。 Datadog用に最適化してトレーニングさ れているため、推奨事項を根拠とともに 提示できます。「何をモニタリングすべき か」の公式ブログを学習しており高い信 頼度を誇ります。 ダッシュボードのウィジェット提案や配置 が可能です。実現可能性の検証や、必 要となる具体的なメトリクスを自動で探 し出して提示します。 細かな指示がなくともAPM・ログ・メトリ クスを縦断的に深く調査します。蓄積す るデータ量で回答精度が変わるため、 環境に合わせた活用設計が重要です。 ⓒ i-plug,inc. All Rights Reserved. -
まとめ 💡 Datadog MCP と AI を組み合わせ、安全かつ効率的なデータ分析とダッシュボード運用を実現する 01Datadog MCP 02選択的データ取得
03BitsAI の活用 04軽いハーネス データソース化 効率的なアクセス 簡単な作成方法 安全な再検証 Datadog MCP の利用により、 Datadog をより簡単にアクセスできる データソースとして扱えるようになりまし た。 ダッシュボードを見たり作成したりしなく ても、必要な時に欲しいデータのみを選 択的に取得できます。 逆にダッシュボードを簡単に新規作成し たいユースケースであれば、BitsAI の 積極的な活用が適しています。 AIに調べさせるときは、人間が後から再 検証できる手順をセットで出させること が、信頼性を担保する軽いハーネスとし て機能します。 ⓒ i-plug,inc. All Rights Reserved.