Cosmos DB で持続可能な RAG を実現しよう!
~ AOAI Dev Day ふりかえりを添えて
Alternative Architecture DOJO SP
Kazuyuki Miyake
Slide 2
Slide 2 text
About Me
| 三宅 和之
for Microsoft Azure
from 2023
Founder and CEO of
Specializing in Azure PaaS/Serverless architecture design
Hack Everything. / / Vue Fes 運営
Slide 3
Slide 3 text
Build や Ignite など4回のシ
アトル訪問で情報を収集
Azure の Serverless に最適化
された RAG パターンを発表
10社以上のエンタープライ
ズシステムに RAG を導入
500人以上のエンジニアに
RAG ワークショップを提供
Spent the Last 2 Years on
Build・Ignite 現地参加
Azure RAG パターン発表
RAG 導入支援
RAGワークショップ
- 特定の動作を AI エージェントとして切り出して協調させる
- エージェントに特化したモデル利用や実装ができる
- オーケストレーターの実装がポイント
- Auto Gen、Lang Graph 等のライブラリ
- Semantic Kernel でも対応するようになった
- Durable Functions でも応用可能
Multi-model, multimodal, and multi-agent innovations in Azure AI
Marco Casalaina (Microsoft Corporation)
AOAI Dev Day 注目トピック
- 開発者向けプロンプトエンジニアリング環境
- VS Code 拡張
- プロンプトをファイルで管理
- 変数や環境変数を利用できる
- そのまま LLM にプロンプトを実行可能
- コードとの連携
- LangChain, Semantic Kernel にも対応
Enhancing Prompt Engineering Efficiency with Prompty and LangChain
Mijeong Jeon(Microsoft MVP)
AOAI Dev Day 注目トピック
Slide 9
Slide 9 text
AOAI Dev Day 注目トピック
Chat history Retrieval
Augmented Generation
(RAG)
Real-time
Recommendations
Real-time
Anomaly Detection
Multi-Agent
AI
Multi-tenant
AI apps
Azure Cosmos DB and its new vector database
capabilities using DiskANN
James Codella(Microsoft Corporation)
+
Slide 10
Slide 10 text
No content
Slide 11
Slide 11 text
LLM
Chat UI / Search Client
LLM Orchestrator
Chat History
Vector Store
Data
Indexer
GPT-4o 等 の
API を実行
ユーザーの入力から
プロンプトを生成
チャット履歴の
保存や復元
ベクターへ変換
ベクター検索
インデックス更新
LLM で参照するデータ Embedding の
API を実行
Slide 12
Slide 12 text
Vector Search in Azure Cosmos DB for NoSQL
トランザクション
データ
ベクターデータ
• フィルタ
• ベクター検索
Gen AI
Apps
Slide 13
Slide 13 text
Incorporate Well-Architected Framework practices
Cosmos DB
Vector Store ..
Managed ID,
Content Safety
Multi Model,
Serveless …
Prompty,
Prompt Flow …
PTU, SLM…
今年の個人的テーマ
Slide 14
Slide 14 text
本日のまとめ
マルチエージェントの活用
マルチモデル(SLM + LLM)
Prompty によるプロンプトエンジニアリング
Cosmos DB の生成 AI シナリオ対応