Serverless Agent Architecture on Azure / serverless-agent-on-azure

AgentCon - Tokyo でのセッション「Serverless Agent Architecture with the Intelligence Layer on Azure」
の発表資料です。

https://globalai.community/chapters/tokyo/events/agentcon-tokyo/

Transcript

1. Serverless Agent Architecture with the Intelligence Layer on Azure AgentCon Tokyo 2026 Kazuyuki Miyake ZEN Architects
2. About Me Kazuyuki Miyake - 三宅 和之 • Microsoft MVP for Microsoft Azure (from 2017) • Microsoft Regional Director from 2023 • CEO of ZEN Architects • Organizer of AOAI Dev Day, Hack Everything. • DJ (House, K-Pop）
3. Microsoft Iginite 2025 に行ってきました Ignite 前後の注目アップデートも紹介していきます
4. Agenda 本日お伝えしたいこと アジャイルな Agent 開発者体験 × 堅牢な Agent 実行基盤 = Serverless Agent Architecture  なぜ Serverless で Agent を構築するのか？  2026年の Agent 開発アプローチ  Intelligence Layer  Durable Agents
5. なぜ Serverless で Agent を構築するのか？ 課題、利点、アーキテクチャの進化 4 / 27
6. Agent 開発の現在地 生成 AI の機能面にフォーカスが偏り、プロダクション開発と運用に必要な視点が不足していないか？ 注目されている領域 LLM の推論能力・モデル選択 ツール呼び出し・MCP 連携 マルチエージェント コンテキストエンジニアリング ナレッジベース統合 フレームワーク・ライブラリ プロンプト設計・評価 見落とされがちな領域 状態管理・耐障害性・リトライ スケーラビリティ・コスト最適化 セキュリティ・認証・ガバナンス 可観測性・デバッグ・監視 CI/CD・テスト・運用体制 機能 × 非機能 の両面を満たすアーキテクチャとそれを実現する開発手法が必要 5 / 27
7. なぜ Serverless なのか？ スケール 0 から数百インスタンスまで数秒 で自動スケール可能。使った分だ け課金でコストも最適化。 開発に集中できる インフラ管理不要。 Agent のロジック・ツール開発に 集中できる。 耐障害性 状態管理・自動リトライ・オーケ ストレーションで長時間のワーク フローでも安定化。 Agent は呼び出し頻度が不規則で、長時間待機やバースト的スケールが発生する 6 / 27 Serverless の特性に最適
8. 7 / 27 直近の Azure Serverless 関連アップデート Azure Functions MCP tool Trigger GA • Function App が MCP Server の実行基盤 として本番ワークロードに対応 • MCP Server をシームレスにホスト可能 Durable Agents Public Preview • Agent に耐久性をもたせる（状態管理・リ トライなど） • Human-in-the-loop も組み込みやすい Durable Task Scheduler GA / Preview • Dedicated: GA / Consumption: Public Preview • 大規模ワークフローの調整と管理を効率化 Container Apps Dynamic Session GA / Public Preview • LLM の弱点（計算など）を隔離実行環境で実行するための手段 • "一時実行" 前提で権限・データ境界を設計しやすい • MCP サポートが Preview で登場 Flexible Workload Profile Public Preview • Consumption と同じ使い勝手で専用プール上で動作 • VNET 作成サポート、より大きなメモリを確保できる
9. 2026年の Agent 開発アプローチ アジャイルな Agent 開発をサポートする 2 つのアプローチ 8 / 27
10. 2026年の Agent 開発はこうなる？ （ZEN Architects リファレンスアーキテクチャ 2026 として開発中） 9 / 27
11. Microsoft Foundry & Agent Framework Agent を構築するための2大プロダクト Microsoft Foundry Azure AI Foundry → Microsoft Foundry（Ignite 2025） Agent Service マネージド実行環境 Control Plane Observability, 評価, ガバナンス Models OpenAI / OSS モデル Tools MCP 接続、Knowledge Microsoft Agent Framework Semantic Kernel + AutoGen → 統合フレームワーク(OSS) Open Standards MCP / A2A / AG-UI 複数言語対応 Python, .NET 柔軟なデプロイ Azure 以外にもデプロイ 可能 Durable Agents 耐障害性 / 状態管理 / Agentic Workflow 10 / 27
12. 2つの開発アプローチ Foundry Agent Service ローコード / GUI ベース ユースケース MCP ツール中心のシンプルな Agent M365 Copilot 連携 / 社内業務効率化 利点 Foundry ポータルから GUI で構成 モデル選択・ツール接続・動作確認までポータルで完結 素早いプロトタイピングと実験的な社内利用 対象者 市民開発者 / AI 活用をこれから始める開発チーム Agent Framework フルカスタム / コードベース ユースケース プロダクションレベルの本格的な Agent 複雑なオーケストレーション 利点 ローカル開発 → CI/CD でデプロイ Durable Agents 拡張の利用による信頼性の確保 高度なオーケストレーションパターンの実現 対象者 エンタープライズの本番ワークロード開発プロジェクト まず Foundry で始めてからコードベースにステップアップするのがおすすめ （プロンプトやツールはそのまま利用できる） 11 / 27
13. NEW! 宣言的 Agent by Azure Functions AGENTS.md + Azure Functions で、ローカルの Agent をそのままクラウドへ（Experimental） Markdown ベースの Agent 定義 src/ ├── AGENTS.md ├── .github/skills/ ├── .vscode/mcp.json └── tools/ ローカルの GitHub Copilot CLI 等で動く構成がそのまま クラウドの Agent になる Azure Functions で実行するメリット コードで拡張可能 tools/ 以下には Python コー ドも置けるのでローカルなツ ールも組み込める セキュリティ統合 Entra ID 認証、Managed Identity、VNET 統合など イベント駆動 Agent Timer / Queue トリガー等で 自律的にバックグラウンド実行。 Ambient Agent を実現できる。 宣言的な Agent 定義を Azure Functions でクラウド実行するアプローチが実験的な開発として進んでいる。 GitHub Copilot SDK を活用し、ローカルとクラウドの体験を統一する取り組み。 13 / 27
14. Intelligence Layer Agent がデータ・API にアクセスするための推論基盤 14 / 27
16. Intelligence Layer とは — 推論の土台 Agent は直接データにアクセスしない。ツールを経由してコンテキストを取得する。 Agent（LLM + Instructions） ▼ ツール経由でデータにアクセス Tools — Agent の「行動」を支援 MCP Server | Custom Functions（ローカルツール） | Built-in Tools (Data Agent 等) Azure Functions でホスト / API Management で統合 / Entra ID で認証も可能 ▼ AI-Ready Data — Agent に「知識」を供給 Cosmos DB | Fabric IQ | Domain APIs ツールの背後にある AI 向けに最適化されたデータストア。Agent はツール経由でこれらにアクセスし、推論のコンテキストを得る。 Intelligence Layer を整備する → Agent がツール経由でデータにアクセスし賢く推論できるようになる 15 / 27
17. Intelligence Layer を構成する Azure サービス Agent の「行動」と「知識」を支える Azure マネージドサービス群 Tools をサポートするサービス Azure Functions MCP Server (MCP tool trigger) Entra ID Managed Identity On-Behalf-Of フローにも対応 API Management ポリシー制御・レート制限 ログ・ガバナンス API Center ツールの発見・再利用 チーム横断管理 AI-Ready Data を実現するサービス Cosmos DB NoSQL API（JSON データストア） DiskANN Vector Index Fabric IQ ナレッジグラフ構築 グラフベース RAG・横断検索 Domain APIs SaaS コネクタ / 既存 REST API OpenAPI エンドポイント 16 / 27
18. 実現パターン1) Cosmos DB + MCP Server ベクトル検索・NoSQL データアクセスを MCP ツール経由で Agent に提供する アーキテクチャ Agent ▼ MCP Server（Azure Functions） Cosmos DB にアクセスするツールを MCP プロトコルで公開 ▼ Azure Cosmos DB Vector Index + NoSQL API + Change Feed 特徴とメリット セマンティック検索 DiskANN ベースの Vector Index で 高速なベクトル検索。NoSQL API と 同一 DB で管理。 リアルタイム連携 Change Feed でデータ変更を検知し 検索インデックスを自動更新。 MCP で標準化 Cosmos DB 操作を MCP ツールとして 公開。Agent Framework / Foundry どちらからも呼び出せる。 17 / 27
19. 実現パターン2) Fabric IQ + Data Agent ナレッジグラフと自然言語クエリで、構造化・非構造化データを横断的に検索する アーキテクチャ Agent ▼ Fabric Data Agent 自然言語で構造化データにクエリ / グラフベース RAG ▼ Fabric IQ ナレッジグラフ + オントロジー / OneLake 特徴とメリット グラフベース RAG エンティティ間の関係性を活用した 構造化されたナレッジグラフで 高精度な RAG を実現。 自然言語でクエリ Data Agent が自然言語を SQL に変換。 柔軟にデータにアクセス可能。 統合データ基盤 OneLake 上に集約された構造化・非構造化データを Agent から横断的に検索。 18 / 27
20. Durable Agents 堅牢な実行基盤で Agent を支える Microsoft Agent Framework の拡張機能 19 / 27
21. Agent を本番で安定稼働させるために 本番環境で直面する4つの課題と、Durable Agents による解決 レート制限 & タイムアウト LLM 呼び出しがワークフロー途中でレート制限に達し、進捗がすべて失われ る。 状態の喪失 プロセスのクラッシュや再起動で会話コンテキストが消失する。 ハンドオフの失敗 マルチエージェント間でのコンテキスト引き継ぎに失敗する。 可観測性の欠如 見えないものはデバッグできない。Agent の振る舞いがブラックボックスに なる。 20 / 27
22. Durable Agents 21 / 27 Serverless Hosting Azure Functions 上にデプロイ。 ゼロから数百インスタンスまで 自動スケーリング可能。 Session Management クラッシュ・再起動・分散実行 でも会話コンテキストを維持す る永続的なセッション管理。 Deterministic Orch. コードで表現する決定論的なマ ルチエージェント実行パターン を簡単に実装可能。 Human-in-the-Loop コンピューティングリソースを 消費せず人間の入力を待機。 サーバーレスにより待機中コス トはゼロ。 Built-in Observability DTS ダッシュボードで会話履 歴・エージェント操作・オーケ ストレーション状態を可視化。 • Durable Task Extension for Microsoft Agent Framework • エージェントを本番運用向けに堅牢化する仕組み
23. Durable Functions 由来の多彩なオーケストレーション Durable Functions のパターンが Agent オーケストレーションにそのまま対応できる Function Chaining → Prompt Chaining 順次実行 — 各 Agent の出力を次の Agent に渡す Agent A → Agent B → Agent C out Fan-out / Fan-in → Parallelization 並列実行 — 複数 Agent を同時実行して集約 Orch Agent A Agent B Agent C 集約 ⟩ ⟩ Human In the Loop → Evaluator / Approval 人間の承認を待って続行（待機中コストゼロ） Agent → 承認待ち → 続行 Loop + Evaluate → Evaluator-Optimizer 反復改善 — 品質基準を満たすまで繰り返す Agent → Eval → OK? retry 23 / 27
24. 状態管理と Human-in-the-Loop 耐障害性のある状態管理 Agent 実行中 → 障害発生 → 自動復旧 → 途中から再開 Durable Agents が全状態を自動チェックポイント。プロセスクラッシュ・再起動後も直前の状態から復旧。 Human-in-the-Loop パターン Agent 処理中 → 承認依頼 → 待機中（無課金） → 承認 → 再開 実行基盤が Durable Functions + DTS (Durable Task Scheduler) のため、 承認待ちの間はコンピュートコストゼロ。Agent の全状態は DTS ストレージに永続化される。 22 / 27
25. Durable Task Scheduler (DTS) Dedicated SKU: GA | Consumption SKU: Public Preview 実行履歴 詳細なログとリプレイ機能で Agent フローをデバッグ ビジュアルダッシュボード Agent の会話、オーケストレーション、 実行状態を可視化 マネージドバックエンド ストレージアカウントの管理不要。 自動チェックポイント 24 / 27
26. 本日のまとめ 26 / 27 Microsoft Foundry + Serverless 基盤で Agent をアジャイルに開発し堅牢に運用 Intelligence Layer と Tools で Agent とエンタープライズデータを接続