Prompt flow による LLM ワークフロー開発 - ChatGPT Meetup Tokyo

ChatGPT Meetup Tokyo【AOAIドーナツ本出版記念】での発表に使用した資料です。
Prompt flowの基本と、CLI/SDKやVS Code拡張機能、作ったフローのデプロイについて解説しています。

発表イベント：https://chatgpt.connpass.com/event/307587/

Keywords:
prompt flow, LLM work flow, ChatGPT, Azure OpenAI Service, Azure Machine Learning, Azure AI Studio

Transcript

1. Prompt flow による LLM ワークフロー開発 Shohei Nagata Cloud Solution Architect (Data&AI), Microsoft Japan
2. 永田祥平 (Shohei Nagata)  Microsoft 所属  Cloud Solution Architect (Data & AI)  主に機械学習やデータ分析基盤の導入/活用支援を実施  もともとの専門は Genomics, Bioinformatics  趣味/マイブーム  日本酒/コーヒー/Starbucks  東京の美味しいご飯屋探し  アニメ、マンガ、読書  興味分野  ビッグデータ分析基盤  Explainable AI  Healthcare, Genomics 出身 横浜→広州 (中国)→東京→鶴岡 (山形県)→東京 ICU高校 → Keio SFC Personal Info @shohei_aio /shohei-nagata
3. 生成 AI アプリ開発のためのプラットフォーム Azure Machine Learning Azure AI Studio OSS モデルカタログ 責任ある AI Azure AI Content Safety プロンプト構築/評 価ツール Prompt flow 大規模AI アプリデプロイ 生成 AI モデル モニタリング
4. Announcing • さまざまな言語モデルとデータソースを使用する AI ワー クフローを作成 • 1つのプラットフォームで生成 AI ワークフローの 構築、調整、評価を実行 • 事前構築済の指標で AI ワークフローの品質を評価 • プロンプトのチューニング、比較、トラッキング Azure Machine Learning Prompt Flow GA
5. RAGの流れ ユーザーの質問 LLM Workflow データのクエリ Azure AI Search プロンプトに結果を追加 テキスト生成 大規模言語 モデル (LLM) 結果の送信
6. Demo - Prompt flow
7. Prompt flow のよくある誤解
8. Prompt flow のよくある誤解  ①Prompt flowはAzure Machine Learningでしか使えない  ②作ったフローはAzureMLマネージドオンラインエンドポイントにデプロイするしか ない
9. Prompt flow の CLI/SDK 1/2 フローの構成をYAMLで管理し、CLIやSDKから実行可能 inputs: xxxx outputs: xxxx nodes: name: inputs: type: source: connection: 変数の定義
10. Prompt flow の CLI/SDK 2/2 CLIでの実行の例 フローのテスト実行 (ローカル上) pf flow test --flow ./flow_dir フローの実行 (バッチ入力) pf run create --flow standard/web-classification --data standard/web-classification/data.jsonl --name my_first_run --stream YAML構成ファイルベースでのフロー実行 pf run create --file batch_run.yaml --stream
11. Demo - Prompt flow の VS Code 拡張機能
12. Prompt flow のよくある誤解  ①Prompt flowはAzure Machine Learningでしか使えない  ②作ったフローはAzureMLマネージドオンラインエンドポイントにデプロイするしか ない
13. マネージドエンドポイントへのデプロイ (簡単) Azure Machine Learning / Azure AI Studio の Prompt flow からマネージド オンライン エンドポイントへそのままデプロイできる。APIエンドポイントが公開される
14. Prompt flow のデプロイ機能 CLI/SDK/VS Code からそのまま Docker コンテナとしてデプロイできる Azure App Service (WebホスティングのPaaS) にもそのままデプロイ可能 Docker フォーマットでフローをビルド： 出力ファイル： コラム：
15. まとめ  Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ プロイ、モニタリングに使えるツール  Azure AI Studio / Azure Machine Learning から使うのが使いやすいが、 CLI/SDK/VS Codeから利用もでき、CI/CD ~LLMOpsの実現に貢献  作ったフローはマネージドオンラインエンドポイントにデプロイしてもらうのが嬉しいが、 Docker コンテナ化してさまざまな環境へデプロイもできる