オブザーバビリティを高める AI エージェント体験を考える / Designing AI Agent Experiences That Enhance Observability

Transcript

1. オブザーバビリティ を高める AI エージェント 体験を考える 1st Oct, Jagu'e'r オブザーバビリティ分科会 #6 『AI for Observability 〜SaaS各社が語る、 AI機能の最前線〜』 Speaker: Kento Kimura
2. > who am i? self_intro: name: “Kento Kimura” age: 29 company: “Datadog” role: sales_engineer communities: - name: “Jagu‘e’r” description: “Japan Google Cloud Usergroup for Enterprise” - name: “JDDUG” description: “Japan Datadog User Group” - name: “JAWS-UG” description: “Japan AWS User Group” conferences: - name: “GCTS” description: “Google Cloud Community Tech Surge” - name: “o11yconjp” description: “Observability Conference Tokyo”
3. 話すひと • 所属： Technical Solutions / Sales Engineering • コミュニティ： Jagu'e'r 歴4.5年 昨年 Jagu'e'r Leader になりました 🐯 • 担当： パブリッククラウドのアーキテクト知識を活かした Datadog のプリセールス技術支援をしています 木村 健人 (Kento Kimura) Datadog Japan GK • 昨年の登壇：
4. アジェンダ 今日話すこと 01 人間とオブザーバビリティ 02 AI エージェント体験の変化 03 「動き出す」 AI エージェント 04 「見抜く」 AI エージェント 05 「信頼できる」 AI エージェント 06 まとめ
5. 01 人間とオブザーバビリティ
6. 01 人間とオブザーバビリティ オブザーバビリティの定義 オブザーバビリティ とは、つまり… システム 入力 出力 ？ システムの 内部状態 外部シグナル “ “ 外部シグナル からシステムの内部状態 を推測できる能力
7. 01 人間とオブザーバビリティ オブザーバビリティのボトルネック (障害調査 ) 集めたテレメトリー が増えても、どこを見て何を問うかは人が決める 人が思いつかない場所 のデータは存在しても活かされないまま
8. 01 人間とオブザーバビリティ 人間だけではやってられない 見ていられない ：気づいたときだけ見る つなげられない ：シグナルが分かれ、 人の頭の中で繋ぐ
9. 01 人間とオブザーバビリティ AI があってもやってられない 見ていられない ：気づいたときだけ見る つなげられない ：シグナルが分かれ、 任せられない ：AI による根拠が見えない 人の頭の中で繋ぐ 結論は、結局人が確かめ直す
10. 01 人間とオブザーバビリティ AI 時代の障害調査の 3 つの課題 見ていられない アラートに気づくまでに時間がかかる つなげられない 画面を渡り歩いて、結局詳しい人を探す 任せられない AI に提案された原因を自分で確かめ直す
11. 02 AI エージェント体験の変化
12. 02 AI エージェント体験の変化 AI エージェントの起点 チャット：人が問いを立てて初めて動く 問いを立てるには、何が起きたかの見当が要る 一番時間がかかる部分が、人の側に残る
13. 01 人間とオブザーバビリティ AI エージェントの動き方 AI エージェント が人がすでに疑っていること から生まれた問いの範囲でしかデータを 取りに行かないと、人が思いつかない原因 は問いの外に残ってしまう
14. 02 AI エージェント体験の変化 起点と動き方の変化 起点は人 →アラート・動きは制御 →自律へ変化しようとしている
15. 02 AI エージェント体験の変化 3つの課題への対応
16. 03 「動き出す」 AI エージェント
17. 03 動き出す アラートを起点に動き出す
18. 03 動き出す AI エージェントのユースケースと アーキテクチャ
19. 04 「見抜く」 AI エージェント
20. 04 見抜く 症状と原因は別
21. 04 見抜く 仮説と検証によるループ
22. 04 見抜く コード実行によるコンテキスト最適化
23. 04 見抜く コード実行によるコンテキスト最適化
24. 04 見抜く 人間は追加のコンテキストを管理
25. 05 「信頼できる」 AI エージェント
26. 05 信頼できる 信頼できる = 結論 + 根拠
27. 05 信頼できる ユーザー以上の権限を持たない
28. 05 信頼できる 評価による AI エージェントの改善
29. 05 信頼できる 実例：長期的に信頼できる評価指標 合格率 約 11% 低下 ラベル数 35% 減 本番の結果を予測できる 評価に近づく
30. 06 まとめ
31. 06 まとめ 障害調査の AI エージェント
32. 06 まとめ 体験の良し悪しを決めるのは、 モデル < ハーネス + 評価 動き出す 見抜く 信頼できる 起点と実行の形を選ぶ 層をつなぎ、道具を組み合わせ、組 織の前提を渡す 推論を見せ、権限を揃え、測り続け る
33. 06 まとめ 開発 - 速さと安全性を両立するコード検証 AIが書いたコードをテスト付きで マージ可能な状態にし、テスト済み の修正をすぐに用意できる Preview ステージングから本番まで、 各変更の期待される挙動を 継続的に検証 Preview 変更を段階的にロールアウトし、 実行時のシグナルが問題を示せば 即座に切り戻し 33
34. 06 まとめ 運用 - 本番障害の特定と修復の高速化 Preview 本番環境の挙動を継続的に分析し、 重要なシグナルを浮かび上がらせる Preview 事前に定義したガードレールの 範囲内で、修正・スクリプト・コー ド変更を自律的に実行 重要なシグナルを横断し、 数分で根本原因を特定 34
35. 06 まとめ オブザーバビリティエージェントで明日からできること 01 02 03 LLM 呼び出しとツール呼び出 しを、すべてトレースする 実際の障害を、正解と当時の シグナルつきで残す 採点を 1 つの合格率にせず、 軸を分ける Datadog Agent Observability の Experiments とカスタム LLM-as-a-judge で始められる
36. 06 まとめ 参考資料 01 02 03 04 05 06 07 08 Introducing Bits Investigation, your AI on-call teammate Datadog Blog, 2025-12-02 https://www.datadoghq.com/blog/bits-ai-sre/ Meet the new Bits Investigation: Deeper reasoning, twice as fast Datadog Blog, 2026-03-05 https://www.datadoghq.com/blog/bits-ai-sre-deeper-reasoning/ How we built an AI SRE agent that investigates like a team of engineers Datadog Blog, 2026-01-12 https://www.datadoghq.com/blog/building-bits-ai-sre/ How we built a real-world evaluation platform for autonomous SRE agents at scale Datadog Engineering, 2026-04-07 https://www.datadoghq.com/blog/engineering/bits-ai-eval-platform/ Bits Investigation — Knowledge Sources Datadog Docs https://docs.datadoghq.com/bits_ai/bits_investigation/knowledge_sources/ MCP Server でのコード実行 Datadog Docs https://docs.datadoghq.com/ja/mcp_server/code_execution/ Custom LLM-as-a-judge evaluations Datadog Docs https://docs.datadoghq.com/llm_observability/evaluations/custom_llm_as_a_judge_evaluations Building Effective Agents Anthropic Engineering https://www.anthropic.com/engineering/building-effective-agents
37. Thank you