AI Agent を本番環境へ―― Microsoft Foundry × Azure Serverless で作る Enterprise-Ready な基盤

Microsoft Agent Framework と Microsoft Foundry により、AI Agent の開発は簡単になりました。しかし、本番環境で企業データや外部システムを扱うためには、セキュリティ、スケーラビリティ、可観測性、評価、コストなど多くの課題を解決する必要があります。
本セッションでは、Microsoft Foundry と Azure のサーバーレスサービスを活用し、AI Agent を安全かつ効率的に運用するための設計ポイントを解説します。Azure の最新アップデートを交えながら、Enterprise-Ready な AI Agent 基盤の具体的なアーキテクチャと実装方法を紹介します。

Transcript

1. AI Dev Day 2026 / 2026.07.24 OTEMACHI PLACE AI Agent を本番環境へ Microsoft Foundry × Azure Serverless で作る Enterprise-Ready な基盤 Tatsuro Shibamura Hack Everything / Microsoft MVP for Azure / @shibayan
2. ABOUT 自己紹介 01 Hack Everything PaaS / Serverless 中心のクラウド技術を Hack して学ぶコミュニティ 02 Microsoft MVP for Microsoft Azure Azure Application PaaS 03 Microsoft Top Partner Engineer Azure Apps & Infra しばむら たつろう 芝村 達郎 @shibayan 04 blog.shibayan.jp Azure を中心とした技術情報を発信中 AI Dev Day 2026 / @shibayan
3. AGENDA 今日話すこと 01 開発から運用まで ―― Microsoft Foundry 02 ツール統合 ―― Toolbox / Remote MCP 03 ナレッジソース ―― Azure Cosmos DB Hybrid Search + Semantic Reranker で RAG が完結 04 包括的な認証 ―― Microsoft Entra ID Managed Identity / OBO でシークレットレスに 05 ネットワーク閉域化 ―― Custom VNET / Private Endpoint 06 全体アーキテクチャとまとめ AI Dev Day 2026 / @shibayan 監視・評価・改善のループが Foundry で閉じる 消費は Toolbox・供給は Remote MCP、認証込みで一元化 Responses API での閉域 MCP 呼び出し 従量課金だけで Enterprise-Ready が完成する
4. 01 MICROSOFT FOUNDRY 開発から運用まで 開発から監視・評価・改善まで ―― 本番運用に必要な機能は Microsoft Foundry で完結する AI Dev Day 2026 / @shibayan
5. SECTION 01 Microsoft Foundry で開発から運用まで • Model デプロイから Agent 開発まで Microsoft Foundry ポータルで完結 • OpenTelemetry ベースの本番トレーシングと監視に対応 • 評価データセットで継続的評価を CI/CD に組み込める • Model・Prompt 変更の影響をリリース前に検証できる AI Dev Day 2026 / @shibayan
6. SECTION 01 Agent のホスト形態は 2 つ Prompt agent Hosted agent システムプロンプトやツールを UI 上で定義するだけで 独自の Agent 実装をハードウェアで分離された microVM Foundry が実行してくれる。AI Agent ランタイムの実装 内で実行。Microsoft Agent Framework / LangGraph な やコンピューティングリソースの管理も不要 どフレームワークの選択は自由 AI Dev Day 2026 / @shibayan
7. SECTION 01 Agent の呼び出しは 3 つのプロトコルに対応 • Responses API ―― モデルとツールの単一の入り口とな る OpenAI 互換ステートフル API • Invocations (独自 API)―― リクエストとレスポンスの形 OpenAI SDK / 既存 資産 Responses API 式を自分で決められるパススルー型 • LangGraph や Copilot SDK などの場合に Invocations 独自クライアント • A2A (Agent2Agent)―― Agent 同士の連携・呼び出しの ためのプロトコル • 使い分け ―― OpenAI 資産は Responses、独自形式は Invocations、マルチ Agent 連携は A2A AI Dev Day 2026 / @shibayan A2A 他の Agent Foundry Agent
8. SECTION 01 OpenTelemetry で Agent の挙動を可視化 • Agent の全ステップを OpenTelemetry のトレースとして 自動収集 • トークン消費・レイテンシ・ツール呼び出しを Span とし て記録し、傾向まで把握できる • OTLP 準拠で Application Insights を連携することで、さ らに多くの情報が保存可能 • トレースはそのまま評価データセットに転用できる AI Dev Day 2026 / @shibayan
9. SECTION 01 継続的評価でリリース品質を守る 評価データセット 自動評価 リリース判定 本番の実データや失敗ケースを評価デ Groundedness や Relevance などの スコアの低下を検知したらリリースを ータセットとして継続的に蓄積する 指標を CI で自動採点する 止め、劣化の混入を防ぐ AI Dev Day 2026 / @shibayan
10. 02 TOOLBOX / REMOTE MCP ツール統合 消費は Toolbox、供給は Remote MCP ―― 認証込みで一元化し、サーバーレスにホストする AI Dev Day 2026 / @shibayan
11. SECTION 02 Toolbox と Remote MCP でツールを一気通貫 Toolbox で消費 Remote MCP で供給 サーバーレスでホスト 必要な MCP は Toolbox に登録して、 社内 API はカスタムの Remote MCP Azure Functions Flex Consumption 認証情報を一元管理、Agent からの利 サーバーとして公開し、どの Agent / Azure Container Apps Express に 用は Entra ID 認証付きの Remote からも再利用可能に デプロイし、従量課金で高速スケール MCP として実行 AI Dev Day 2026 / @shibayan
12. SECTION 02 Foundry Toolbox ―― ツールの一元管理(Preview) • ツールをキュレーション・設定して、すべての Agent から 再利用できる • エンドポイントは MCP 互換 ―― Agent Framework / LangGraph / GitHub Copilot SDK など MCP クライアン トならどこからでも接続できる • 認証は Toolbox 側で一元管理 ―― Agent は Managed Identity を使ってアクセスするだけ • Agent ごとのツール配線と資格情報の管理が不要になる AI Dev Day 2026 / @shibayan
13. SECTION 02 Remote MCP のホスト先は 2 択 Azure Functions Flex Consumption Azure Container Apps Express • MCP 拡張で Remote MCP をそのままホスト • 環境の事前構築なし、イメージだけで即デプロイ • スケールゼロ + 従量課金で待機コストなし • 高速なサブ秒コールドスタート • VNET 統合対応 ―― 閉域構成でも使える(GA) AI Dev Day 2026 / @shibayan vs • Preview ―― VNET / Managed Identity 未対応
14. 03 AZURE COSMOS DB ナレッジソースとしての Cosmos DB Hybrid Search + Semantic Reranker ―― Agent のナレッジは Cosmos DB に集約できる AI Dev Day 2026 / @shibayan
15. SECTION 03 Vector / Full Text / Hybrid ―― 検索の使い分け Vector Search Full Text Search Hybrid Search 埋め込みベクトルで意味の近さを検索 BM25 ベースの全文検索。型番や固有 RRF で両者の結果を統合し、意味と語 。曖昧な自然文の問い合わせに強い 名詞など語句の一致に強い 句の両面から精度を確保する AI Dev Day 2026 / @shibayan
16. SECTION 03 Build 2026 のアップデートで大幅に強化 • Semantic Reranker (Preview)―― AI Search と同等の モデルを使って検索結果を再ランク ユーザーのクエリ • Integrated Embedding (Preview)―― Embedding を自 動生成。ただし閉域構成では従来通り自前実装 Vector / Full Text / Hybrid Search • vNext Emulator が GA ―― Vector Search 対応でローカ ルや CI でも検証できる Semantic Reranker (Preview) 上位の関連ドキュメント AI Dev Day 2026 / @shibayan
17. 04 MICROSOFT ENTRA ID 包括的な認証 AI Agent から MCP、外部サービスまで ―― Entra ID に一本化し、シークレットを配らない AI Dev Day 2026 / @shibayan
18. SECTION 04 認証は Microsoft Entra ID に集約する • AI Agent が扱うデータの種類と質が変化しているため、 より安全な認証を行う必要性が高まっている • 経路ごとに API キーを配る運用は、キーの発行やそれぞれ の管理の負荷が高い • サービス間は Managed Identity ―― コードにも設定にも シークレットを置かない • MCP サーバー側もトークン検証で保護 ―― 監査や条件付 きアクセスなど Entra ID の機能が利用可能 ユーザー Entra ID 認証 AI Agent Managed Identity / OAuth MCP サーバー Managed Identity 外部サービス AI Dev Day 2026 / @shibayan
19. SECTION 04 呼び出しは Entra ID、データアクセスは OBO で • Agent の呼び出しはデフォルトで Entra ID 認証が必須 ―― 匿名アクセスの経路が存在しない • Work IQ / Fabric IQ へは On-Behalf-Of (OBO) フローで ユーザー ユーザーの Access Token シームレスにアクセスできる • カスタム MCP では現在 OAuth パススルーのみ • Agent はユーザー本人の権限でデータを参照 ―― 権限を 超えた情報は返さない AI Agent OBO フローで Token 交換 Work IQ / Fabric IQ • API キーやシークレットの配布は不要 ―― 認証基盤を Entra ID に一本化 AI Dev Day 2026 / @shibayan ユーザー本人の権限の範囲でのみデータを参照
20. 05 CUSTOM VNET / PRIVATE ENDPOINT ネットワーク閉域化 Custom VNET / Private Endpoint で閉じ、Responses API から閉域 MCP を呼び出す AI Dev Day 2026 / @shibayan
21. SECTION 05 Custom VNET / Private Endpoint で閉域化 Before After • エンドポイントがパブリックに公開されている • Custom VNET + Private Endpoint で完全閉域 • IP 制限や API キーによる制限に依存 • Responses API から閉域内の MCP 呼び出し可 • 監査要件を満たす構成の説明が難しい AI Dev Day 2026 / @shibayan → • 通信が VNET 内に閉じ、監査説明もシンプルに
22. SECTION 05 閉域化の実装ポイント • Foundry・Cosmos DB・Storage・AI Search の各リソー スに Private Endpoint を作成 • Foundry を Custom VNET に参加させて、Agent からの Outbound 経路をコントロール Foundry Agent Remote MCP Custom VNET • 名前解決は Private DNS Zone で閉域内に向ける Private Endpoint / Private DNS • Responses API からの MCP 呼び出しも VNET 内で完結 • Data Proxy という仕組みが存在 Cosmos DB / Storage / AI Search AI Dev Day 2026 / @shibayan
23. 06 ENTERPRISE-READY 全体アーキテクチャとまとめ ここまでの全要素を繋ぐと、Enterprise-Ready な基盤が従量課金だけで完成する AI Dev Day 2026 / @shibayan
24. SECTION 06 全体アーキテクチャ Custom VNET Microsoft Entra ID トークンベース認証 Remote MCP Subnet Subnet Work IQ / Fabric IQ Custom MCP ユーザー Foundry Agent Prompt / Hosted Toolbox Observability Private Endpoint
25. TAKEAWAYS まとめ ✓ 開発から監視・評価まで Microsoft Foundry で完結 ―― Hosted Agent も GA し本番運用へ ✓ ツールは Toolbox で消費、Remote MCP で供給 ―― 認証情報は Toolbox が一元管理 ✓ ナレッジは Cosmos DB に集約 ―― Hybrid Search + Semantic Reranker で RAG も完結 ✓ 認証は Entra ID に一本化 ―― Managed Identity と OBO でシークレットを配らない ✓ Custom VNET / Private Endpoint で閉域化 ―― アイドルコストゼロでスモールスタート AI Dev Day 2026 / @shibayan
26. Thank you! 質問・フィードバックはお気軽に X: @shibayan / #AIDevDay Blog: blog.shibayan.jp AI Dev Day 2026 / @shibayan