Prompt flow ことはじめ Prompt flow による LLM ワークフロー開発＆評価 Shohei Nagata Cloud Solution Architect (Data&AI), Microsoft Japan

永田祥平 (Shohei Nagata) Microsoft 所属 Cloud Solution Architect (Data & AI) 主に機械学習やデータ分析基盤の導入/活用支援を実施 もともとの専門は Genomics, Bioinformatics 趣味/マイブーム 日本酒/コーヒー/Starbucks 東京の美味しいご飯屋探し アニメ、マンガ、読書 興味分野 ビッグデータ分析基盤 Explainable AI Healthcare, Genomics @shohei_aio /shohei-nagata 2024/1/24 発売！

LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理 コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る

Azure AI Studio = LLMOps プラットフォーム OpenAI、Meta、Hugging Face からの 数千の LLM へのアクセス RAG を使用したデータの基礎作成 プロンプト エンジニアリング/評価 安全性と責任ある AI を搭載 LLM の継続的な監視

Azure AI prompt flow メリット • さまざまな言語モデル、API、データソースを接続して、データに基づいて LLM を利用する LLM ワークフローを作成 • LLMワークフローの設計、構築、調整、評価、テスト、展開を1つのプ ラットフォームで実現 • ビルトインされた評価指標を使用して、ワークフローの品質を評価 • 簡単なプロンプトのチューニング、プロンプトバリエーションの比較、およ びバージョン管理 Documentation: https://aka.ms/prompt_flow 生成 AI アプリ開発サイクルを簡素化

RAGの流れ ユーザーの質問 LLM Workflow データのクエリ Azure AI Search プロンプトに結果を追加 テキスト生成 大規模言語 モデル (LLM) 結果の送信

Demo Azure AI Studio - Prompt flow による LLM ワークフロー構築

9 デモ構成：小売店の製品検索チャット Chat History Customer info LLM App 顧客の意図と 製品を見つける 質問生成 Connections 製品情報 検索 Proposed Chat Reply LLM: ChatGPT LLM: ChatGPT AI Search コンテキストに基づく 返信を提供 テキスト生成 chat history customer info product_id Product ID Intent product_info

プロンプトフローでの構成 回答 Azure OpenAI Service 質問のベクトル化 チャット フローの流れ Azure AI Search 製品ドキュメントのベ クトル検索 Azure Cosmos DB 顧客データベースの検索 Azure OpenAI Service GPT-3.5 Turbo への プロンプト入力＆回答生成 質問

Demo – 構築 Azure AI Studio の prompt flow によるチャットフロー構築

RAGの評価指標 (回答生成部分) モデルが生成した答 えが、入力ソースか らの情報とどの程度 一致しているかを測 定 根拠 Groundedness モデルが生成した回答 が、どの程度適切で、 与えられた質問に直接 関連しているかを測定 関連性 Relevance 言語モデルが自然に読 める出力をどの程度生 成できるかを評価 一貫性 Coherence

Demo – 評価 Prompt flow による評価フロー

Prompt flow CLI/SDK/VS Code による開発 コードリポジトリでのフローバージョン管理 フォルダ構造で編成されたファイルベースのフロー クラウドとローカル間のスムーズな移行 フローをローカルにダウンロード、クラウドへインポート 開発、テスト、デバッグ、ローカルでのデプロイ ローカルからクラウドへの送信実行 実行/評価をクラウドで管理 CI/CD パイプラインとの統合 SDK/CLIによるフローとメトリクスの開始、実行、評価、可視化 VS Code 拡張機能を使用したローカル開発 フローエディタ ローカル接続管理 実行履歴 実験管理と生産性に関するコラボレーション リポジトリからクラウドへのフ ロー実行の送信 クラウドリソースの 消費(コンピューティ ング、データ、スト レージなど) UIでの開発をバージョン管理 用のコードベースに移行 ローカルでの開発

Demo – コードベースの開発体験 VS Code 拡張機能による開発

LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理 コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る

Prompt flow の CLI/SDKコマンド CLIでの実行の例 フローのテスト実行 (ローカル上) pf flow test --flow ./flow_dir フローの実行 (バッチ入力) pf run create --flow standard/web-classification --data standard/web-classification/data.jsonl --name my_first_run --stream YAML構成ファイルベースでのフロー実行 pf run create --file batch_run.yaml --stream

Demo – 運用 GitHub Actions を使用した評価とデプロイ

まとめ  Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ プロイ、モニタリングに使えるツール  Azure AI Studio / Azure Machine Learning から使うのが使いやすいが、 CLI/SDK/VS Codeから利用もできる  コードベースでの開発を行うことで、GitHub Actionsとの連携など、CI/CD含め た LLMOps の実現に貢献

No content