AI エージェントの「思考」を可視化する！ Agent Observability 最前線 / getting-started-agent-observability-with-agent-platform

Google Cloud Next Tokyo 2026 の Developer Stage 登壇スライドです。
https://www.googlecloudevents.com/next-tokyo/sessions?session_id=4203213&tab=all

Transcript

1. AI エージェントの「思考」を可視化する！ Agent Observability 最前線 Proprietary
2. Proprietary ‧ ‧ ‧ ‧ ‧‧ ‧ ‧ ‧ 「AI エージェントのオブザーバビリティ」というテーマに惹かれたかた？ Google Cloud Next Tokyo 02
3. 逆井 啓佑 ( Keisuke SAKASAI ) • 所属 ◦ • • Datadog Japan コミュニティ ◦ Google Developer Experts ( Google Cloud ) ◦ OpenTelemetry Meetup ◦ Observability Conference Tokyo など 逆井(さかさい) という名前で X にいます 🙏 Google Cloud Next Tokyo Proprietary
4. AI エージェントと⾔われて思い浮かぶのは？ • コーディングエージェント • 画像作成エージェント • 業務効率化エージェント • 単⼀、マルチエージェント • e.t.c. Proprietary LLM やツールを駆使して、 複数の処理を⾏い⽬的を達成 するために動く "AI Agentの正常と正しいを分けて観測する" https://speakerdeck.com/yuzujoe/observe-the-normality-and-correctness-of-the-ai-agent-separately?slide=5 Google Cloud Next Tokyo 04
5. ？ Google Cloud Next Tokyo Proprietary 05
6. Proprietary AI エージェントの「思考」とは？ • ある指⽰をエージェントに渡すと、 エージェント A さまざまな処理 が実⾏ • ◦ LLM 問い合わせ（計画） ◦ リトリーバル（資料検索） ◦ ツールの実⾏（データ整形） ◦ 回答の作成 ◦ サブエージェント呼び出し この ( 複雑な ) 処理が「思考」っぽい Google Cloud Next Tokyo LLM リトリーバル エージェント N ツール実⾏ 回答⽣成 invoke 06
7. Proprietary AI エージェントの「思考」とは？ 回答だけ見ると一見、 期待通りに思考してそう に見える エージェント A LLM ⼊⼒ リトリーバル エージェント N ✔ エラーなし 出⼒ ✔ レスポンスあり ✔ レイテンシー良好 Google Cloud Next Tokyo ツール実⾏ 回答⽣成 invoke 07
8. Proprietary AI エージェントの「思考」とは？ • AI エージェントが 意図通りの思考 エージェント A = 意図通りの処理 をしていないかも ◦ LLM を再帰的に呼び出してトークン消費 ◦ サブエージェントに適切にタスクを渡せて いない ◦ LLM 💸💸 💸 リトリーバル エージェント N 意図したツールが使われていない ツール実⾏ • 出⼒の品質に影響 ◦ するが、出⼒だけ⾒ても内部処理（の異 回答⽣成 invoke 常）まで想像することは難しい Google Cloud Next Tokyo 08
9. Proprietary AI エージェントの「思考」とは？ • AI エージェントが 意図通りの思考 エージェント A = 意図通りの処理 をしていないかも ◦ LLM を再帰的に呼び出してトークン消費 ◦ サブエージェントに適切にタスクを渡せて いない ◦ LLM 💸💸 💸 リトリーバル エージェント N 意図したツールが使われていない ツール実⾏ • 出⼒の品質に影響 ◦ するが、出⼒だけ⾒ても内部処理（の異 回答⽣成 invoke 常）まで想像することは難しい AI エージェントの思考を捉えるために、オブザーバビリティ が重要である Google Cloud Next Tokyo 09
10. Proprietary オブザーバビリティとは 「 外部シグナル から推測されるシステムの状態を推論する能⼒ 」 エージェント群 ⼊⼒ 出⼒ 外部シグナル 『効率的なGo』（Bartłomiej Płotka Google Cloud Next Tokyo 著、⼭⼝ 能迪 ‧ログ ‧トレース ‧メトリクス ‧プロファイル など 訳 ISBN978-4-8144-0053-9) 010
11. AI エージェントの思考をトレースで可視化する（後ほど詳しく） Google Cloud Next Tokyo Proprietary 011
12. 計測に加えて、思考やその結果の「評価」まで Proprietary https://docs.cloud.google.com/stackdriver/docs/observability/agent-observability?hl=ja#agent-obs • オブザービリティを整備することで、 AI エージェントの 思考を計測し、テレメトリー として収集、可視化 する • その 思考や、結果（出⼒）を評価 することも重要 ◦ ハルシネーション ◦ 安全性 ◦ ツールの使⽤品質 ◦ エージェントの最終解答の品質 ◦ ( カスタム評価 ) 処理や、その結果（出⼒）の評価 Google Cloud Next Tokyo 012
13. Proprietary AI エージェントの思考の テレメトリー収集 やその 評価、⼤切そうだけど⼤変そうだな... Google Cloud Next Tokyo 013
14. Proprietary Gemini Enterprise Agent Platform の Agent Observability を使ってみましょう 👋 ( ここからがメインです... ) Google Cloud Next Tokyo 014
15. Proprietary ビルド スケーリ ング 管理 最適化 https://cloud.google.com/blog/ja/products/ai-machine-learning/introducing-gemini-enterprise-agent-platform?hl=ja Google Cloud Next Tokyo 015
16. Proprietary ビルド スケーリ ング 管理 最適化 https://cloud.google.com/blog/ja/products/ai-machine-learning/introducing-gemini-enterprise-agent-platform?hl=ja Google Cloud Next Tokyo 016
17. 実際に⾒てみましょう（デモ） • Proprietary Agent Garden の "financial-advisor" を使って、 Agent Platform にデプロイ • ADK で実装 ( = OTel ネイティブ計装 ) ◦ Agent Observability や Cloud Trace に ⾃動的にテレメトリーが送信される • 親エージェント "financial_coordinator" と、 幾つかのサブエージェントで構成 https://console.cloud.google.com/agent-platform/agent-garden/samples/financial-advisor?project=datadog-ese-sandbox Google Cloud Next Tokyo 017
18. 実際に⾒てみましょう（デモ） Proprietary シナリオ ❶：financial-advisor エージェントの思考の可視化 Google Cloud Next Tokyo 018
19. 実際に⾒てみましょう（デモ） Proprietary シナリオ ❷：financial-advisor エージェントの思考や結果（出⼒）の評価 • Agent Evaluation を使って、AI エージェントの思 考（トレースデータ）に対してテストができる • • テストシナリオは、プリセットで⽤意 ◦ エージェントの最終回答の品質 ◦ エージェントのツールの使⽤品質 ◦ 安全性 ◦ ハルシネーション LLM as a judge でこれらのシナリオに対して、 実際のトレースデータを評価 Google Cloud Next Tokyo 019
20. 実際に⾒てみましょう（デモ） Proprietary シナリオ ❷：financial-advisor エージェントの思考や結果（出⼒）の評価 Google Cloud Next Tokyo 020
21. 実際に⾒てみましょう（デモ） Proprietary シナリオ ❷：financial-advisor エージェントの思考や結果（出⼒）の評価 FYI: テストシナリオには 「カスタム評価」 も追加可能 • 例えば今回の financial-advisor では、 ◦ 「免責事項の⼀貫性チェック」カスタム評価 などが考えられる ◦ "回答" に⼀貫して、投資リスクについて 触れているかをテストするカスタム評価サンプル Google Cloud Next Tokyo 021
22. Proprietary 実際に画⾯⾒たい⼈は Ask the Experts に来てね 👋 Google Cloud Next Tokyo 022
23. Proprietary まとめ • Agent Observability ( と、Agent Evaluation ) を使って、 AI エージェントの思考の計測と、評価する⽅法を紹介 • AI エージェント開発においても、継続的なテレメトリー計測‧評価のプロセスは重要 • そのためにも AI エージェントのためのオブザーバビリティ整備 が肝要 ◦ であり、整備しやすい Agent Platform のオブザーバビリティは便利というはなし Google Cloud Next Tokyo 023
24. 同僚と友⼈の発表の宣伝 Google Cloud Next Tokyo Proprietary 024
25. Proprietary Mario さんの発表の宣伝 20 分後！ Google Cloud Next Tokyo 025
26. Proprietary Ask the Expert にぜひお越しください Ask the Expert Google Cloud に関する技術的なご質問に GDE（ Google Developers Experts ）がお答えします！ Developer Stage GDE Ask the Expert ラウンジ 本ステージ付近にございますので、 ぜひお立ち寄りくださいませ！ Google Cloud Next Tokyo 026