AgentCore Optimizationを始めよう！

2026/5/13開催 JAWS-UG 東京支部主催「春のAgentCoreアップデート解説まつり（JAWS-UG東京）」での登壇資料です。
https://jawsug.connpass.com/event/393392/

Transcript

1. ©Mitsubishi Electric Corporation AgentCore Optimizationを始めよう！ 三菱電機株式会社 AXイノベーションセンター 塚田 真規 JAWS AI/ML支部
2. ©Mitsubishi Electric Corporation 自己紹介 2 塚田 真規 Masaki Tsukada 三菱電機株式会社 デジタルイノベーション事業本部 AXイノベーションセンター • JAWS-UG AI/ML支部運営 • AWS Community Builder (AI Engineering)
3. ©Mitsubishi Electric Corporation 3 AgentCore optimization Improve agent quality loop with recommendations and A/B tests Configuration Bundles AIエージェント構成のバージョン管理 AIエージェント本体と構成を分離して管理することが可能 Recommendation システムプロンプトとツール定義の改善提案 トレースや評価結果を活用して、最適したプロンプトを提案してくれる A/B Testing 異なる構成やランタイムを比較、評価するA/Bテスト トラフィックを制御し、オンライン評価スコアや優位性を報告してくれる
4. ©Mitsubishi Electric Corporation 4 Configuration Bundles AIエージェント構成 { "system_prompt": "あなたは社内ITサポートです。社内ITの質問に回答します。", "tool_descriptions": { "lookup_it_policy": "ITルールを確認する。", "check_account_status": "アカウント状態を確認する。", "search_guide": "対応手順を検索する。", "submit_request": "利用申請を登録する。", "reset_password": "パスワードをリセットする。" } } • キーバリュー形式 • キーは任意 • システムプロンプト • ツール定義 • モデルID など AgentCore Runtime response = client.get_configuration_bundle(bundleId=ID) config = response["components"][AGENT_ARN]["configuration"] system_prompt = config["system_prompt"] 構成のバージョン管理 Configuration Bundleの 追跡などを容易に
5. ©Mitsubishi Electric Corporation 5 Recommendation システムプロンプトとツール定義の最適化を支援する機能 システムプロンプト ツール定義 AgentCore Evaluation AgentCore Observability Recommendation システムプロンプト AgentCore Runtime システムプロンプト AgentCore Observability Recommendation ツール定義 AgentCore Runtime ツール定義
6. ©Mitsubishi Electric Corporation 6 A/B Testing トラフィック制御によるA/Bテスト実施と統計比較 AgentCore Runtime Configuration Bundle AgentCore Gateway ユーザー Configuration Bundle 60% 40% Configuration Bundle単位のトラフィック制御 AgentCore Runtime AgentCore Runtime Configuration Bundle AgentCore Gateway ユーザー Configuration Bundle 60% 40% AgentCore Runtime単位のトラフィック制御
7. ©Mitsubishi Electric Corporation 全部通すと… 7 AgentCore Runtime Configuration Bundle { "system_prompt": "あなたは社内ITサポートです。", "tool_descriptions": { "lookup_it_policy": "ITルールを確認する。", "check_account_status": "アカウントを確認する。", } } Configuration Bundle Recommendation 動的に読み込み AgentCore Gateway A/B Testing 優位であれば 更新 • AgentCore RuntimeからConfiguration Bundleを動的に読み込み • Recommendationは、システムプロンプトやツール定義の最適化提案が可能 • A/B Testで提案の優位性をオンライン評価可能 • 優位性があれば提案されたConfiguration Bundleを更新 • Configuration Bundleではバージョン管理が可能