LLM 時代におさえておきたい Azure Serverless ファミリーまとめ / serverlessdaystokyo2023-llm-aoai

ServerlessDays Tokyo 2023 で発表させていただいたセッション資料です。
- https://tokyo.serverlessdays.io/
- https://serverless.connpass.com/event/290640/

Transcript

1. LLM 時代におさえておきたい Azure Serverless ファミリーまとめ ServerlessDays Tokyo 2023 Kazuyuki Miyake
2. About Me 三宅 和之 / Kazuyuki Miyake 株式会社ゼンアーキテクツ 代表 ZEN: Azure, GitHub, Nuxt のスペシャリスト集団 Microsoft Regional Director / Microsoft MVP Vue.js 日本ユーザーグループコアスタッフ X: @kazuyukimiyake
3. AI/LLM 時代の到来で変わったこと LLM (特に OpenAI) を活用するために とりあえず試して早く動かしたいというニーズが高まった サーバーレスが以前より気軽に使われている Azure を使い始める人が増えた 3
4. Azure で LLM (OpenAI) を使う理由 Azure OpenAI Service (AOAI) 利用できる API は基本的に本家 OpenAI と同じ モデル利用価格も同一 本家 OpenAI ではなく AOAI を使う理由 Private なネットワーク配下で OpenAI が使える Azure（東日本リージョン）内でトラフィックが完結 Azure の SLA が適用される、サポートが使える etc. 4
5. 参考 Copilot Stack 独自の Copilot を構築できるようにするためのエコシステム プラグイン、オーケストレーター、モデル等 5
6. Serverless による LLM 活用アーキテクチャ例 6
7. LLM x Azure LLM オーケストレーター LLM とのやりとりを集約する Copilot としてのビジネスロジックを実装する Azure Functions にデプロイするのが基本 7
8. 参考: Semantic Kernel LLM オーケストレーターを実装できるライブラリ (≒ LangChain) C#, Python, Java が利用可能な OSS ライブラリ 8
9. LLM x Azure Chat UI LLM オーケストレーターを経由して AOAI にアクセスする ほとんどのケースで Static Web Apps が使える Easy Auth を使うとかんたんに認証を追加できる 9
10. Azure Static Web Apps フロントエンド Web のホスティングサービス Next.js / Nuxt などの主要フレームワークに対応 10
11. LLM x Azure チャット履歴 チャット履歴の活用で LLM とのやりとりがステートフルに チャット履歴は Cosmos DB に保存する LangChain の Memory は標準で Cosmos DB にも対応 11
12. Azure Cosmos DB Azure 上で最もスケーラブルな DBaaS OpenAI 社 ChatGPT のバックエンドでも利用されている 12
13. LLM x Azure RAG Retrieval Augmented Generation (RAG) 独自のデータを利用して LLM を拡張する手法 ベクターストアとして Azure Cognitive Search がおすすめ 13
14. Azure Cognitive Search ElasticSearch ベースのサーチエンジン Vector Search にも対応（プレビュー） キーワードと Vector のハイブリッド検索ができる 14
15. LLM x Azure セキュアな構成 Managed Identity を使った API 認証 Service Endpoint と VNET Integration によるネットワーク制御 15
16. まとめ: Serverless による LLM 活用アーキテクチャ 16
17. ご清聴ありがとうございました @kazuyukimiyake