Azure AI サービス全体像と Prompt flow 紹介 Shohei Nagata Cloud Solution Architect (Data&AI), Microsoft Japan

永田祥平 (Shohei Nagata) Microsoft 所属 Cloud Solution Architect (Data & AI) 主に機械学習やデータ分析基盤の導入/活用支援を実施 もともとの専門は Genomics, Bioinformatics 趣味/マイブーム 日本酒/コーヒー/Starbucks 東京の美味しいご飯屋探し アニメ、マンガ、読書 興味分野 ビッグデータ分析基盤 Explainable AI Healthcare, Genomics @shohei_aio /shohei-nagata 2024/1/24 発売！

『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』 Azure OpenAIを中心としたLLMシステム構築を行う際に必要な知識が詰まった１冊！ 4部構成にすることで読者のさまざまな目的とレベル感に対応 本書「はじめに」より

Agenda  Azure AI  Azure AI Studio – prompt flow  Demo

Azure OpenAI Service の概要 APIでOpenAIの 推論機能を提供 エンドポイントへのリクエストを投げるだけで推論結果が得られます。 AIを動作させるインフラを新たに準備・開発する必要はありません。API 仕様やライブラリも基本はOpenAI社のAPIと共通。 SLA・サポート付きの 提供 99.9%以上の稼働率を保証するSLAを既定し、 Azureのサポートサービスが利用可能。 Azureのセキュリティ 機能が統合 Microsoft Entra IDと連携した認証、プライベートネットワークでの利用、 データの暗号化、コンテンツフィルタリングなど、企業がAIを使うリスクを軽 減するセキュリティをカバーします。 Azure OpenAI Service データ＋ リクエスト 推論結果 システム エンドポイント AzureはOpenAIのモデルを展開する唯一のパブリッククラウドサービス 企業ユーザー向けの データ管理 マイクロソフトのモデルのトレーニングにお客様データを利用しない。デフォルトでは入 出力データは悪用/誤用の監視目的で30日間保持され、承認されたマイクロソフト 社員が不正利用時にレビューする可能性があるが、 監視のためのログ保存プロセス はオプトアウト申請が可能で、承認されればログは保持されない。 GPT Data, privacy, and security for Azure OpenAI Service - Azure AI Services | Microsoft Learn

Azure Machine Learning Vision Speech Language Decision OpenAI Service Immersive Reader Document Intelligence Bot Service Video Indexer Metrics Advisor AI Search 機械学習プラットフォーム カスタマイズ可能なAIモデル シナリオベースのサービス Azure の AI サービス

Azure AI Studio 生成AIアプリとカスタムCopilotを開発するための統合プラットフォーム Unified platform 包括的な AI Tools コード中心の開発者体験 Data & search 独自データの利用 ハイブリッドベクトル検索 Foundation models もっとも高品質で多様な モデルカタログ マルチモーダル Safe & responsible AI コンテンツフィルタリング モデルモニタリング Jailbreak (脱獄)リスクの検出 Full development lifecycle プロンプトフロー LLMOps モデルモニタリング Public Preview https://ai.azure.com Azure AIを単一ポータルで利用・管理

Azure AI prompt flow メリット • さまざまな言語モデル、API、データソースを接続して、データに基づいて LLM を利用する LLM ワークフローを作成 • LLMワークフローの設計、構築、調整、評価、テスト、展開を1つのプ ラットフォームで実現 • ビルトインされた評価指標を使用して、ワークフローの品質を評価 • 簡単なプロンプトのチューニング、プロンプトバリエーションの比較、およ びバージョン管理 Documentation: https://aka.ms/prompt_flow 生成 AI アプリ開発サイクルを簡素化

Prompt flow コードエクスペリエンス コードリポジトリでのフローバージョン管理 フォルダ構造で編成されたファイルベースのフロー クラウドとローカル間のスムーズな移行 フローをローカルにダウンロード、クラウドへインポート 開発、テスト、デバッグ、ローカルでのデプロイ ローカルからクラウドへの送信実行 実行/評価をクラウドで管理 CI/CD パイプラインとの統合 SDK/CLIによるフローとメトリクスの開始、実行、評価、可視化 VS Code 拡張機能を使用したローカル開発 フローエディタ ローカル接続管理 実行履歴 実験管理と生産性に関するコラボレーション リポジトリからクラウドへのフ ロー実行の送信 クラウドリソースの 消費(コンピューティ ング、データ、スト レージなど) UIでの開発をバージョン管理 用のコードベースに移行 ローカルでの開発

RAG の流れ ユーザーの質問 LLM Workflow データのクエリ Azure AI Search プロンプトに結果を追加 テキスト生成 大規模言語 モデル (LLM) 結果の送信

アウトドアストアの製品紹介チャット のアーキテクチャ 回答 Azure OpenAI Service 質問のベクトル化 チャット フロー Azure AI Search 製品ドキュメントの ベクトル検索 Azure Cosmos DB 顧客データベースの検索 Azure OpenAI Service GPT-3.5 Turbo への プロンプト入力＆回答生成 質問

Demo Prompt flow – アウトドアストアの製品紹介チャット (contoso-store)

Prompt flow での評価  評価は、LLMワークフローがどのように実 行されるかを理解するために不可欠  Azure AI Studio と prompt flow を使 用すると、搭載された評価の使用やカス タム評価の作成を簡単に実施可能  GPT-4 を使用してスコアを付けると、質 問と回答の用意が不要に  自動化とテストには、prompt Flow SDK と CLI を使用 テスト データを含む JSONL ファイル GPT3.5-Turbo を使用して Contoso チャット prompt flow をローカルで実行するか、ク ラウド バッチを実行する 結果 prompt flow を GPT 4 を使用す る評価プロンプト フ ローに送る

RAGの評価指標 (回答生成部分) モデルが生成した答えが、 入力ソースからの情報と どの程度一致しているか を測定 根拠 Groundedness LLM フローが生成した回 答が、どの程度適切で、 与えられた質問に直接関 連しているかを測定 関連性 Relevance LLM フローが自然に読める 出力をどの程度生成できる かを評価 一貫性 Coherence

Demo テストデータによるフローのバッチ実行と評価

LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理 コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る

Prompt flow の CLI/SDKコマンド CLIでの実行の例 フローのテスト実行 (ローカル上) pf flow test --flow ./flow_dir フローの実行 (バッチ入力) pf run create --flow standard/web-classification --data standard/web-classification/data.jsonl --name my_first_run --stream YAML構成ファイルベースでのフロー実行 pf run create --file batch_run.yaml --stream

Demo GitHub Actions を使用した Prompt flow 評価とデプロイの自動化

まとめ  Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ プロイ、モニタリングに使えるツール  Azure AI Studio / Azure Machine Learning から使うのが使いやすいが、 CLI/SDK/VS Codeから利用もできる  コードベースでの開発を行うことで、GitHub Actionsとの連携など、CI/CD含め た LLMOps の実現に貢献

Thank you! https://aka.ms/aitour/ contoso-chat デモのソース コードはこちら

No content