LLM 時代におさえておきたい Azure Serverless ファミリーまとめ / serverlessdaystokyo2023-llm-aoai

ServerlessDays Tokyo 2023 で発表させていただいたセッション資料です。
- https://tokyo.serverlessdays.io/
- https://serverless.connpass.com/event/290640/

Transcript

1. LLM 時代におさえておきたい
   Azure Serverless ファミリーまとめ
   ServerlessDays Tokyo 2023
   Kazuyuki Miyake
   

   View Slide

2. About Me
   三宅 和之 / Kazuyuki Miyake
   株式会社ゼンアーキテクツ 代表
   ZEN: Azure, GitHub, Nuxt のスペシャリスト集団
   Microsoft Regional Director / Microsoft MVP
   Vue.js 日本ユーザーグループコアスタッフ
   X: @kazuyukimiyake
   

   View Slide

3. AI/LLM 時代の到来で変わったこと
   LLM (特に OpenAI) を活用するために
   とりあえず試して早く動かしたいというニーズが高まった
   サーバーレスが以前より気軽に使われている
   Azure を使い始める人が増えた
   3
   

   View Slide

4. Azure で LLM (OpenAI) を使う理由
   Azure OpenAI Service (AOAI)
   利用できる API は基本的に本家 OpenAI と同じ
   モデル利用価格も同一
   本家 OpenAI ではなく AOAI を使う理由
   Private なネットワーク配下で OpenAI が使える
   Azure（東日本リージョン）内でトラフィックが完結
   Azure の SLA が適用される、サポートが使える etc.
   4
   

   View Slide

5. 参考 Copilot Stack
   独自の Copilot を構築できるようにするためのエコシステム
   プラグイン、オーケストレーター、モデル等
   5
   

   View Slide

6. Serverless による LLM 活用アーキテクチャ例
   6
   

   View Slide

7. LLM x Azure LLM オーケストレーター
   LLM とのやりとりを集約する
   Copilot としてのビジネスロジックを実装する
   Azure Functions にデプロイするのが基本
   7
   

   View Slide

8. 参考: Semantic Kernel
   LLM オーケストレーターを実装できるライブラリ (≒ LangChain)
   C#, Python, Java が利用可能な OSS ライブラリ
   8
   

   View Slide

9. LLM x Azure Chat UI
   LLM オーケストレーターを経由して AOAI にアクセスする
   ほとんどのケースで Static Web Apps が使える
   Easy Auth を使うとかんたんに認証を追加できる
   9
   

   View Slide

10. Azure Static Web Apps
    フロントエンド Web のホスティングサービス
    Next.js / Nuxt などの主要フレームワークに対応
    10
    

    View Slide

11. LLM x Azure チャット履歴
    チャット履歴の活用で LLM とのやりとりがステートフルに
    チャット履歴は Cosmos DB に保存する
    LangChain の Memory は標準で Cosmos DB にも対応
    11
    

    View Slide

12. Azure Cosmos DB
    Azure 上で最もスケーラブルな DBaaS
    OpenAI 社 ChatGPT のバックエンドでも利用されている
    12
    

    View Slide

13. LLM x Azure RAG
    Retrieval Augmented Generation (RAG)
    独自のデータを利用して LLM を拡張する手法
    ベクターストアとして Azure Cognitive Search がおすすめ
    13
    

    View Slide

14. Azure Cognitive Search
    ElasticSearch ベースのサーチエンジン
    Vector Search にも対応（プレビュー）
    キーワードと Vector のハイブリッド検索ができる
    14
    

    View Slide

15. LLM x Azure セキュアな構成
    Managed Identity を使った API 認証
    Service Endpoint と VNET Integration によるネットワーク制御
    15
    

    View Slide

16. まとめ: Serverless による LLM 活用アーキテクチャ
    16
    

    View Slide

17. ご清聴ありがとうございました
    @kazuyukimiyake
    

    View Slide