Slide 1

Slide 1 text

Prompt flow ことはじめ Prompt flow による LLM ワークフロー開発&評価 Shohei Nagata Cloud Solution Architect (Data&AI), Microsoft Japan

Slide 2

Slide 2 text

永田祥平 (Shohei Nagata) Microsoft 所属 Cloud Solution Architect (Data & AI) 主に機械学習やデータ分析基盤の導入/活用支援を実施 もともとの専門は Genomics, Bioinformatics 趣味/マイブーム 日本酒/コーヒー/Starbucks 東京の美味しいご飯屋探し アニメ、マンガ、読書 興味分野 ビッグデータ分析基盤 Explainable AI Healthcare, Genomics @shohei_aio /shohei-nagata 2024/1/24 発売!

Slide 3

Slide 3 text

LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理 コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る

Slide 4

Slide 4 text

Azure AI Studio = LLMOps プラットフォーム OpenAI、Meta、Hugging Face からの 数千の LLM へのアクセス RAG を使用したデータの基礎作成 プロンプト エンジニアリング/評価 安全性と責任ある AI を搭載 LLM の継続的な監視

Slide 5

Slide 5 text

Azure AI prompt flow メリット • さまざまな言語モデル、API、データソースを接続して、データに基づいて LLM を利用する LLM ワークフローを作成 • LLMワークフローの設計、構築、調整、評価、テスト、展開を1つのプ ラットフォームで実現 • ビルトインされた評価指標を使用して、ワークフローの品質を評価 • 簡単なプロンプトのチューニング、プロンプトバリエーションの比較、およ びバージョン管理 Documentation: https://aka.ms/prompt_flow 生成 AI アプリ開発サイクルを簡素化

Slide 6

Slide 6 text

RAGの流れ ユーザーの質問 LLM Workflow データのクエリ Azure AI Search プロンプトに結果を追加 テキスト生成 大規模言語 モデル (LLM) 結果の送信

Slide 7

Slide 7 text

Demo Azure AI Studio - Prompt flow による LLM ワークフロー構築

Slide 8

Slide 8 text

9 デモ構成:小売店の製品検索チャット Chat History Customer info LLM App 顧客の意図と 製品を見つける 質問生成 Connections 製品情報 検索 Proposed Chat Reply LLM: ChatGPT LLM: ChatGPT AI Search コンテキストに基づく 返信を提供 テキスト生成 chat history customer info product_id Product ID Intent product_info

Slide 9

Slide 9 text

プロンプトフローでの構成 回答 Azure OpenAI Service 質問のベクトル化 チャット フローの流れ Azure AI Search 製品ドキュメントのベ クトル検索 Azure Cosmos DB 顧客データベースの検索 Azure OpenAI Service GPT-3.5 Turbo への プロンプト入力&回答生成 質問

Slide 10

Slide 10 text

Demo – 構築 Azure AI Studio の prompt flow によるチャットフロー構築

Slide 11

Slide 11 text

RAGの評価指標 (回答生成部分) モデルが生成した答 えが、入力ソースか らの情報とどの程度 一致しているかを測 定 根拠 Groundedness モデルが生成した回答 が、どの程度適切で、 与えられた質問に直接 関連しているかを測定 関連性 Relevance 言語モデルが自然に読 める出力をどの程度生 成できるかを評価 一貫性 Coherence

Slide 12

Slide 12 text

Demo – 評価 Prompt flow による評価フロー

Slide 13

Slide 13 text

Prompt flow CLI/SDK/VS Code による開発 コードリポジトリでのフローバージョン管理 フォルダ構造で編成されたファイルベースのフロー クラウドとローカル間のスムーズな移行 フローをローカルにダウンロード、クラウドへインポート 開発、テスト、デバッグ、ローカルでのデプロイ ローカルからクラウドへの送信実行 実行/評価をクラウドで管理 CI/CD パイプラインとの統合 SDK/CLIによるフローとメトリクスの開始、実行、評価、可視化 VS Code 拡張機能を使用したローカル開発 フローエディタ ローカル接続管理 実行履歴 実験管理と生産性に関するコラボレーション リポジトリからクラウドへのフ ロー実行の送信 クラウドリソースの 消費(コンピューティ ング、データ、スト レージなど) UIでの開発をバージョン管理 用のコードベースに移行 ローカルでの開発

Slide 14

Slide 14 text

Demo – コードベースの開発体験 VS Code 拡張機能による開発

Slide 15

Slide 15 text

LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理 コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る

Slide 16

Slide 16 text

Prompt flow の CLI/SDKコマンド CLIでの実行の例 フローのテスト実行 (ローカル上) pf flow test --flow ./flow_dir フローの実行 (バッチ入力) pf run create --flow standard/web-classification --data standard/web-classification/data.jsonl --name my_first_run --stream YAML構成ファイルベースでのフロー実行 pf run create --file batch_run.yaml --stream

Slide 17

Slide 17 text

Demo – 運用 GitHub Actions を使用した評価とデプロイ

Slide 18

Slide 18 text

まとめ  Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ プロイ、モニタリングに使えるツール  Azure AI Studio / Azure Machine Learning から使うのが使いやすいが、 CLI/SDK/VS Codeから利用もできる  コードベースでの開発を行うことで、GitHub Actionsとの連携など、CI/CD含め た LLMOps の実現に貢献

Slide 19

Slide 19 text

No content