LLM 時代におさえておきたい Azure Serverless ファミリーまとめ ServerlessDays Tokyo 2023 Kazuyuki Miyake

About Me 三宅 和之 / Kazuyuki Miyake 株式会社ゼンアーキテクツ 代表 ZEN: Azure, GitHub, Nuxt のスペシャリスト集団 Microsoft Regional Director / Microsoft MVP Vue.js 日本ユーザーグループコアスタッフ X: @kazuyukimiyake

AI/LLM 時代の到来で変わったこと LLM (特に OpenAI) を活用するために とりあえず試して早く動かしたいというニーズが高まった サーバーレスが以前より気軽に使われている Azure を使い始める人が増えた 3

Azure で LLM (OpenAI) を使う理由 Azure OpenAI Service (AOAI) 利用できる API は基本的に本家 OpenAI と同じ モデル利用価格も同一 本家 OpenAI ではなく AOAI を使う理由 Private なネットワーク配下で OpenAI が使える Azure（東日本リージョン）内でトラフィックが完結 Azure の SLA が適用される、サポートが使える etc. 4

参考 Copilot Stack 独自の Copilot を構築できるようにするためのエコシステム プラグイン、オーケストレーター、モデル等 5

Serverless による LLM 活用アーキテクチャ例 6

LLM x Azure LLM オーケストレーター LLM とのやりとりを集約する Copilot としてのビジネスロジックを実装する Azure Functions にデプロイするのが基本 7

参考: Semantic Kernel LLM オーケストレーターを実装できるライブラリ (≒ LangChain) C#, Python, Java が利用可能な OSS ライブラリ 8

LLM x Azure Chat UI LLM オーケストレーターを経由して AOAI にアクセスする ほとんどのケースで Static Web Apps が使える Easy Auth を使うとかんたんに認証を追加できる 9

Azure Static Web Apps フロントエンド Web のホスティングサービス Next.js / Nuxt などの主要フレームワークに対応 10

LLM x Azure チャット履歴 チャット履歴の活用で LLM とのやりとりがステートフルに チャット履歴は Cosmos DB に保存する LangChain の Memory は標準で Cosmos DB にも対応 11

Azure Cosmos DB Azure 上で最もスケーラブルな DBaaS OpenAI 社 ChatGPT のバックエンドでも利用されている 12

LLM x Azure RAG Retrieval Augmented Generation (RAG) 独自のデータを利用して LLM を拡張する手法 ベクターストアとして Azure Cognitive Search がおすすめ 13

Azure Cognitive Search ElasticSearch ベースのサーチエンジン Vector Search にも対応（プレビュー） キーワードと Vector のハイブリッド検索ができる 14

LLM x Azure セキュアな構成 Managed Identity を使った API 認証 Service Endpoint と VNET Integration によるネットワーク制御 15

まとめ: Serverless による LLM 活用アーキテクチャ 16

ご清聴ありがとうございました @kazuyukimiyake