[AWS 秋のオブザーバビリティ祭り 2025 〜最新アップデートと生成 AI × オブザーバビリティ〜] Amazon Bedrock AgentCore で実現！お手軽 AI エージェントオブザーバビリティ

© 2025, Amazon Web Services, Inc. or its affiliates. All
rights reserved. Amazon Confidential and Trademark. 1 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS 秋のオブザーバビリティ祭り 2025 〜最新アップデートと⽣成 AI × オブザーバビリティ〜 Amazon Bedrock AgentCore で実現︕ お⼿軽 AI エージェントオブザーバビリティ Hajime Onishi アマゾンウェブサービスジャパン合同会社ソリューションアーキテクト

rights reserved. Amazon Confidential and Trademark. 2

rights reserved. Amazon Confidential and Trademark. 3 これまでのセッション・AI 機能で運⽤を楽にする話このセッションで話すこと・AI 機能の運⽤を楽にする話

rights reserved. Amazon Confidential and Trademark. 4 ⾃⼰紹介 Hajime Onishi アマゾンウェブサービスジャパンソリューションアーキテクト ISV/SaaS ビジネスを展開されているお客様を中⼼にご⽀援しています好きな AWS サービス AWS Control Tower AWS Distro for OpenTelemetry

rights reserved. Amazon Confidential and Trademark. 5 アジェンダ • AI エージェントと Amazon Bedrock AgentCore • AI エージェントにおけるオブザーバビリティの重要性 • CloudWatch GenAI Observability • まとめ

rights reserved. Amazon Confidential and Trademark. 7 AI エージェントとは AI を活⽤して⼈間やシステムに代わってタスクを推論・計画・完了する⾃律型ソフトウェアシステムつまり「⾃律的に⾏動できる AI」

rights reserved. Amazon Confidential and Trademark. 8 AI エージェントを使ってますか︖

rights reserved. Amazon Confidential and Trademark. 9 AWS の AI エージェントサービスコーディングビジネスユース

rights reserved. Amazon Confidential and Trademark. 10 AI エージェントを作ってますか︖

rights reserved. Amazon Confidential and Trademark. 11 https://strandsagents.com/ AWS が発表したオープンソース AIエージェント SDK

rights reserved. Amazon Confidential and Trademark. 12 ユーザー指⽰応答エージェントツールの選択ツールの実⾏ ..... 推論エージェントループ LLM エージェントの特徴: 推論とツール実⾏のループ例: レストラン予約エージェントユーザー「11/6 19時、渋⾕でベジ対応2名で予約」 1. [LLM] 店舗検索APIを実⾏することを判断し、検索クエリを⽣成 2. [Tool] 店舗検索API実⾏ 3. [LLM] 検索結果を⾒て予約店舗決定。店舗予約APIを実⾏判断。 4. [Tool] 店舗予約API実⾏ 5. [LLM] 予約完了したためユーザーへの返答⽂を作成

rights reserved. Amazon Confidential and Trademark. 13 エージェントの安全な実⾏とスケールカスタムツールとリソースの発⾒と接続すべてのやりとりの理解と監査各エージェントとツールのアイデンティティとアクセス管理過去のやりとり & 知⾒の記憶複雑なワークフローを実⾏するためのエージェント⽤ツール利⽤

rights reserved. Amazon Confidential and Trademark. 14 差別化されない重労働 Undifferentiated heavy lifting

rights reserved. Amazon Confidential and Trademark. 15 Amazon Bedrock AgentCore 2 0 2 5 / 1 0 / 1 3 G e n e r a l l y A v a i l a b l e N E W あらゆるフレームワークとモデルを利⽤して構築した、⾼度な能⼒を持つエージェントを安全かつ⼤規模にデプロイして運⽤東京リージョンにもやってきました

rights reserved. Amazon Confidential and Trademark. 16 Agent Runtime ⼤規模なエージェント展開のための AgentCore 機能モデル AgentCore Identity AgentCore Observability AgentCore Memory AgentCore Gateway AgentCore Browser AgentCore Code Interpreter MCP クライアントエージェント指⽰エージェントローカルツールエージェントコンテキストフレームワーク (今⽇の本題)

rights reserved. Amazon Confidential and Trademark. 18 従来のシステムでもオブザーバビリティは重要 Amazon API Gateway Amazon Simple Storage Service (Amazon S3) AWS Lambda Amazon DynamoDB 外部サービス API メトリクス・各サービスで計測された指標の時系列変化から、傾向の把握、予測に役⽴つログ・発⽣したイベントの記録から、予測不可能な振る舞いの発⾒に役⽴つ分散トレース・分散システムのリクエストの流れと構造の可視化によって、性能劣化・エラーの因果関係の把握に役⽴つ (主に) 異常の検知と原因分析のため

rights reserved. Amazon Confidential and Trademark. 19 AgentCore Runtime LLM Memory Gateway Tools どのツールがどのように使われた︖ 最終結果を返すまでにどれくらいループした︖ どのくらいトークンを使った︖ ⼊⼒に対して最終的にどういう出⼒を返した︖ LLM によって、処理内容は⾮決定論的に記憶からどのような内容を抽出した︖

rights reserved. Amazon Confidential and Trademark. 20 AgentCore Runtime LLM Memory Gateway メトリクス・LLM の呼び出し回数、レイテンシートークン消費量や AI エージェントのセッション数などの傾向分散トレース・エージェントループの回数、ツール選択・実⾏ LLM の呼び出し、最終出⼒までの全体像従来の異常検知・原因分析のみならず平時の振る舞いからも改善点(品質・コスト)を発⾒するログ・AI エージェントや LLM の⼊出⼒ AI エージェントでは正常処理の情報も粒度⾼く⾒たい Tools

rights reserved. Amazon Confidential and Trademark. 21 AI エージェントの振る舞いを粒度⾼く観るオブザーバビリティの実現 AgentCore Observability • OTLP 形式でエージェントからのメトリクス、ログ、トレースを、幅広いオブザーバビリティツールと統合可能 • 既存のオブザーバビリティスタックを活⽤できる柔軟性 • AgentCore の各リソースから⾃動でメトリクス、ログ、トレースを連携し可視化 • OTLP 形式でエージェントからのメトリクス、ログ、トレースを連携し、エンドツーエンドの振る舞いを可視化 • 監視基盤⾃体のコンピュートや保管ストレージの管理不要 CloudWatch GenAI Observability 3P オブザーバビリティツールとの統合 • ⽣成 AI、AI エージェントのためのセマンティック規約が OpenTelemetry で定義されている *Status: Development • 多くの AI エージェントフレームワークがこの規約に従ってシグナルを送信する OpenTelemetry による標準化

rights reserved. Amazon Confidential and Trademark. 23 データ構造 AgentCore におけるトレースのデータ構造 • セッション: 複数のやり取りをまとめた⼀連の会話 • トレース: 1度のユーザーの指⽰ - 応答のかたまり • スパン: トレース内の⼀つの作業の単位 • サブスパン:トレース内のさらに詳細な作業単位

rights reserved. Amazon Confidential and Trademark. 24 各トレースでのスパン数や総使⽤トークン数を確認可能セッションごとのトレース数やエラー数平均レイテンシー確認可能エージェントのセッションごとの情報

rights reserved. Amazon Confidential and Trademark. 25 トレースの⼀連の振る舞いを確認可能 AgentCore Gateway で利⽤可能なツールをリスト AgentCore Memory の記憶されたイベントをリスト AgentCore Runtime 上の Strands Agents を呼び出し Memory から⻑期記憶を取得 (facts) Memory から⻑期記憶を取得 (preference) 推論、ツールを選択ツールを実⾏などなど…

rights reserved. Amazon Confidential and Trademark. 26 AgentCore Memory 短期記憶の作成、⻑期記憶の取得に関しての数、エラー率やレイテンシーなど AgentCore Gateway Gateway の呼び出し回数、エラー率やレイテンシーなど AgentCore Built-in Tools ツールが呼び出されたセッションの数、エラー率やレイテンシー、処理ごとに消費した vCPU/Memory AgentCore Identity ID の認証回数やエラー率各リソースの使⽤状況のさらなる詳細確認も可能

rights reserved. Amazon Confidential and Trademark. 27 ・AI エージェントでは異常検知以外にエージェントの品質向上やコスト管理のためにもオブザーバビリティがこれまで以上に重要・Amazon Bedrock AgentCore は AI エージェントの本番運⽤のための新たなビルディングブロック・AgentCore Observability によってエージェントのコードに計装を加えずとも、オブザーバビリティを⼿軽に獲得︕ まとめ

rights reserved. Amazon Confidential and Trademark. 29 AgentCore Runtime AgentCore Memory AgentCore Gateway メトリクス AgentCore Browser & Code Interpreter Amazon Bedrock AgentCore Identity CloudWatch EMF AI エージェントのメトリクスは OTLP 形式から EMF 形式に変換し送信可能任意の Framework, ツール, Runtime MCP CloudWatch メトリクス Gen AI Observability ダッシュボードで⼀元的に確認可能 https://docs.aws.amazon.com/bedrock- agentcore/latest/devguide/observability-service-provided.html 例: Runtime のメトリクス例: Bedrock で呼び出されたモデルのメトリクス

rights reserved. Amazon Confidential and Trademark. 30 GenAI Observability ダッシュボードでスパンのイベントとして関連付けて確認可能 AgentCore Runtime AgentCore Memory AgentCore Gateway ログ AgentCore Browser & Code Interpreter Amazon Bedrock CloudWatch Logs AgentCore Identity CloudWatch Logs OTLP Endpoints OTLP AgentCore のログは有効化することで取得可能に Vended logs として安価に保存 AI エージェントのログも OTLP 形式で送信可能任意の Framework, ツール, Runtime MCP

rights reserved. Amazon Confidential and Trademark. 31 AgentCore Runtime AgentCore Memory AgentCore Gateway 分散トレース AgentCore Browser & Code Interpreter X-Ray AgentCore Identity OTLP 任意の Framework, ツール, Runtime MCP 分散トレースを CloudWatch Logs (aws/spans) に保存し、トランザクション検索・X-Ray で分析 X-Ray OTLP Endpoints AI エージェントのトレースは OTLP 形式で送信可能 Gen AI Observability ダッシュボードで⼀連のトレースを確認可能 https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/ latest/monitoring/CloudWatch-Transaction-Search.html

rights reserved. Amazon Confidential and Trademark. 32 AI エージェントの計装 Framework AI エージェントのコード Models 構成 Container Image ADOT によるゼロコード計装開発者 Amazon ECR Repository push AgentCore Runtime pull AgentCore Observability 連携 CloudWatch, X-Ray や 3P オブザーバビリティツールに連携し可視化 Python 系の AI エージェントフレームワークは ADOT によるゼロコード計装で簡単に CloudWatch や 3P ツールへの連携が可能実際にゼロコード計装で⾏われていることの詳細解説 Zenn の AWS AI Agent ブログ祭りの 1 記事として公開予定

rights reserved. Amazon Confidential and Trademark. 33 ・Get started with AgentCore Observability https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-get-started.html AgentCore Observability を利⽤する際の前提条件と、チュートリアルのドキュメント・Get started with AgentCore Observability https://github.com/awslabs/amazon-bedrock-agentcore-samples/blob/main/01-tutorials/06-AgentCore- observability/01-Agentcore-runtime- hosted/Strands%20Agents/runtime_with_strands_and_bedrock_models.ipynb 上記チュートリアルを試せる Jupyter Notebook ・ Build trustworthy AI agents with Amazon Bedrock AgentCore Observability https://aws.amazon.com/jp/blogs/machine-learning/build-trustworthy-ai-agents-with-amazon-bedrock-agentcore- observability/ AgentCore Observability の詳細ブログ参考資料

[AWS 秋のオブザーバビリティ祭り 2025 〜最新アップデートと生成 AI × オブザーバ...

[AWS 秋のオブザーバビリティ祭り 2025 〜最新アップデートと生成 AI × オブザーバビリティ〜] Amazon Bedrock AgentCore で実現！お手軽 AI エージェントオブザーバビリティ

More Decks by Hajime Onishi

Other Decks in Technology

Featured

Transcript