Azure App Service on Linux の Sidecar に Phi-3 を配置してインテリジェントなアプリケーションを作ってみよう/jazug-anniv14

by TonyTonyKun

Slide 1

Slide 1 text

Azure App Service on Linux の Sidecar に Phi-3 を配置してインテリジェントなアプリケーションを作ってみよう 2024.10.5 Japan Azure User Group 14周年イベント

Slide 2

Slide 2 text

自己紹介名前原敏之個人 X (Twitter) : @TonyTonyKun ROMANCE DAWN for the new world • https://gooner.hateblo.jp/ Microsoft MVP for Microsoft Azure 2017 〜 2023 Microsoft MVP for AI Platform 2024 〜仕事株式会社ネクストスケープ Copyright© 2024, JAZUG All Rights Reserved. 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Sidecar パターンとは 5 Copyright© 2024, JAZUG All Rights Reserved. マイクロサービスの非機能要件をアプリケーションから切り離し、疎結合に実装するデザインパターンメインアプリケーションの実装に依存せずに、非機能要件を組み込める一方で、通信処理によるオーバーヘッドがトレードオフとなるモニタリング＆ロギング分散トレーシングネットワークプロキシリモートサービス呼び出しのリトライサーキットブレーカーセキュリティ通信暗号化シークレット管理

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Sidecar Pattern with App Service on Linux 9 Copyright© 2024, JAZUG All Rights Reserved. App Service 作成時、Sidecar Support を有効化する現時点の制約（Public Preview） • Docker Container のみ（Windows Container は未対応） • Sidecar を構成できるのは新規作成のみ、既存リソースに追加不可 • Sidecar を構成できるリージョンは限定（West Europe など）

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

モチベーション 12 Copyright© 2024, JAZUG All Rights Reserved. なぜ、SLM を Sidecar で使うユースケースが良いと感じたのか？ AOAI で LLM を使うだけがシステムの生成 AI 活用ではない • 期待値が高すぎる、大きく構えずにライトな活用も検討してもいいのでは？ SLM のセルフホストで十分なユースケースもありそう • リアルタイム応答、機密データの取り扱い、コスト削減を実現しやすい • LLM と比較すると、ファインチューニングの敷居もそれほど高くない SLM を動かせるデバイスに実行環境を作るのはそれなりに大変そう • 2024年5月から Copilot+PC が発売されているが・・・ PaaS で提供される Sidecar に SLM をセルフホストするアーキテクチャ https://azure.github.io/AppService/2024/08/05/Using-SLM-with-Sidecar.html

Slide 13

Slide 13 text

手順① SLM の Sidecar を作る 13 Copyright© 2024, JAZUG All Rights Reserved. Phi-3 モデルの呼び出しをサポートするツールに Ollama を使い、 REST API で対話できる I/F をもったコンテナーを作成する Phi-3 • Microsoft によって開発された Small Language Models（SLM） Ollama（https://ollama.com/） • ローカル環境で LLM や SLM のモデルを動かすことができるツール • Phi-3 以外にも、Llama 3.1 や Google Gemma 2 などのモデルをサポート ※ SLM の呼び出しをサポートできれば、 ONNX Runtime generate API などを活用してもいい

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

手順② メインのアプリケーションを作る 16 Copyright© 2024, JAZUG All Rights Reserved. Ollama のモデルを実行するための REST API エンドポイント Generate a completion Generate a chat completion など https://github.com/ollama/ollama/blob/main/docs/api.md

Slide 17

Slide 17 text

Slide 18

Slide 18 text

事例：.NET Smart Components 18 Copyright© 2024, JAZUG All Rights Reserved. AI を活用した機能を .NET アプリに組み込めるコンポーネントコンポーネントに含まれている機能 • Smart Paste • Smart TextArea • Smart ComboBox AI バックエンド • Azure OpenAI Service • OpenAI • セルフホスト • Ollama など OpenAI API スキーマと互換性のあるエンドポイント https://github.com/dotnet/smartcomponents/blob/main/docs/configure-openai-backend.md このようなコンポーネントであれば、SLM のセルフホストでいいのでは？

Slide 19

Slide 19 text

Slide 20

Slide 20 text

モニタリング＆ロギング 20 Copyright© 2024, JAZUG All Rights Reserved. Datadog などの監視ツールにログやメトリクスを送信するメインアプリケーションに改修を行うことなく、Sidecar を配置するだけで監視ツールとシームレスに統合できる https://azure.github.io/AppService/2024/07/26/Using-Datadog-with-Sidecar.html https://azure.github.io/AppService/2024/07/26/Using-Dynatrace-with-Sidecar.html

Slide 21

Slide 21 text

キャッシュ 21 Copyright© 2024, JAZUG All Rights Reserved. Sidecar にキャッシュのデータストア（Redis）を配置する Sidecar をオンメモリキャッシュとして使いたい気持ちはわかる • 通信処理のオーバヘッドが小さいため、高速にキャッシュをリードライトできるただし、アーキテクチャ上の注意事項あり • リクエストがルーティングされるインスタンスによってはキャッシュが使えない • メインアプリケーションと Sidecar が同一ライフサイクルなので • 素直に Azure Cache for Redis を使った方が良さそう • 個人的には Sidecar パターンの特性には合っていない気がする https://azure.github.io/AppService/2024/07/19/Using-Redis-with-Sidecar.html

Slide 22

Slide 22 text

定期的なバックグラウンド処理 22 Copyright© 2024, JAZUG All Rights Reserved. Sidecar ではなく、App Service の WebJobs を使ったほうがいい WebJobs で出来ること • 継続的なジョブで定期タスクを自動化 • CRON によるトリガーでタスクを実行スクリプトファイル、バッチファイルをそのままデプロイちょっとした定期タスク向き • Linux や Container 版は Preview 版だが、Windows 版は GA 済みメインアプリケーションと分離したい場合は、Azure Functions を使う

Slide 23

Slide 23 text

マルチコンテナーの後継機能 23 Copyright© 2024, JAZUG All Rights Reserved. App Service では、以前から複数コンテナーをサポートしている２つの形式 • Docker Compose • Kubernetes Deployment YAML 公式ドキュメントで紹介されているユースケース • WordPress（Web Server と MySQL）をデプロイする Sidecar パターンの登場により、オワコンとなる可能性を示唆 Frontend と Backend をまとめて１つのホストに配置するユースケースが Sidecar として本当に適切かどうかはしっかりと検討したい

Slide 24

Slide 24 text

Slide 25

Slide 25 text

まとめ Sidecar パターンは、SLM のセルフホストと相性が良さそうリアルタイム応答、機密データの取り扱い、コスト削減を実現しやすい LLM と比較すると、ファインチューニングの敷居もそれほど高くないこのアーキテクチャでのインテリジェントアプリ開発が流行るかも Sidecar パターンの使いどころ非機能要件の疎結合化 • 王道はロギングやモニタリング • あくまでメインアプリケーションを補助的にサポートするコンテナー • 少なからず、オーバヘッドが発生するので許容できるかどうかメインアプリケーションと同一ライフサイクルであることがポイント 25 Copyright© 2024, JAZUG All Rights Reserved.

Slide 26

Slide 26 text

参考リンク個人ブログ Azure App Service の Sidecar に Phi-3 をデプロイして Web アプリケーションの機能を拡張する • https://gooner.hateblo.jp/entry/2024/08/14/173326 Azure App Service Team Blog Phi-3 • https://azure.github.io/AppService/2024/08/05/Using-SLM-with-Sidecar.html • https://azure.github.io/AppService/2024/09/03/Phi3-vector.html • https://azure.github.io/AppService/2024/08/19/Phi-3-ONNX.html Datadog • https://azure.github.io/AppService/2024/07/26/Using-Datadog-with-Sidecar.html Dynatrace • https://azure.github.io/AppService/2024/07/26/Using-Dynatrace-with-Sidecar.html Redis • https://azure.github.io/AppService/2024/07/19/Using-Redis-with-Sidecar.html .NET Smart Components https://github.com/dotnet/smartcomponents/ 26 Copyright© 2024, JAZUG All Rights Reserved.