Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Prompt flow による LLM ワークフロー開発 - ChatGPT Meetup Tokyo

Shohei N.
January 31, 2024

Prompt flow による LLM ワークフロー開発 - ChatGPT Meetup Tokyo

ChatGPT Meetup Tokyo【AOAIドーナツ本出版記念】での発表に使用した資料です。
Prompt flowの基本と、CLI/SDKやVS Code拡張機能、作ったフローのデプロイについて解説しています。

発表イベント:https://chatgpt.connpass.com/event/307587/

Keywords:
prompt flow, LLM work flow, ChatGPT, Azure OpenAI Service, Azure Machine Learning, Azure AI Studio

Shohei N.

January 31, 2024
Tweet

More Decks by Shohei N.

Other Decks in Technology

Transcript

  1. Prompt flow による LLM ワークフロー開発
    Shohei Nagata
    Cloud Solution Architect (Data&AI), Microsoft Japan

    View full-size slide

  2. 永田祥平 (Shohei Nagata)
     Microsoft 所属
     Cloud Solution Architect (Data & AI)
     主に機械学習やデータ分析基盤の導入/活用支援を実施
     もともとの専門は Genomics, Bioinformatics
     趣味/マイブーム
     日本酒/コーヒー/Starbucks
     東京の美味しいご飯屋探し
     アニメ、マンガ、読書
     興味分野
     ビッグデータ分析基盤
     Explainable AI
     Healthcare, Genomics
    出身
    横浜→広州 (中国)→東京→鶴岡 (山形県)→東京
    ICU高校 → Keio SFC
    Personal Info
    @shohei_aio
    /shohei-nagata

    View full-size slide

  3. 生成 AI アプリ開発のためのプラットフォーム
    Azure Machine Learning
    Azure AI Studio
    OSS
    モデルカタログ
    責任ある AI
    Azure AI Content
    Safety
    プロンプト構築/評
    価ツール Prompt
    flow
    大規模AI
    アプリデプロイ
    生成 AI モデル
    モニタリング

    View full-size slide

  4. Announcing
    • さまざまな言語モデルとデータソースを使用する AI ワー
    クフローを作成
    • 1つのプラットフォームで生成 AI ワークフローの
    構築、調整、評価を実行
    • 事前構築済の指標で AI ワークフローの品質を評価
    • プロンプトのチューニング、比較、トラッキング
    Azure Machine Learning
    Prompt Flow
    GA

    View full-size slide

  5. RAGの流れ
    ユーザーの質問
    LLM Workflow
    データのクエリ Azure AI
    Search
    プロンプトに結果を追加
    テキスト生成 大規模言語
    モデル (LLM)
    結果の送信

    View full-size slide

  6. Demo - Prompt flow

    View full-size slide

  7. Prompt flow のよくある誤解

    View full-size slide

  8. Prompt flow のよくある誤解
     ①Prompt flowはAzure Machine Learningでしか使えない
     ②作ったフローはAzureMLマネージドオンラインエンドポイントにデプロイするしか
    ない

    View full-size slide

  9. Prompt flow の CLI/SDK 1/2
    フローの構成をYAMLで管理し、CLIやSDKから実行可能
    inputs:
    xxxx
    outputs:
    xxxx
    nodes:
    name:
    inputs:
    type:
    source:
    connection:
    変数の定義

    View full-size slide

  10. Prompt flow の CLI/SDK 2/2
    CLIでの実行の例
    フローのテスト実行 (ローカル上)
    pf flow test --flow ./flow_dir
    フローの実行 (バッチ入力)
    pf run create
    --flow standard/web-classification
    --data standard/web-classification/data.jsonl
    --name my_first_run --stream
    YAML構成ファイルベースでのフロー実行
    pf run create --file batch_run.yaml --stream

    View full-size slide

  11. Demo - Prompt flow の VS Code 拡張機能

    View full-size slide

  12. Prompt flow のよくある誤解
     ①Prompt flowはAzure Machine Learningでしか使えない
     ②作ったフローはAzureMLマネージドオンラインエンドポイントにデプロイするしか
    ない

    View full-size slide

  13. マネージドエンドポイントへのデプロイ (簡単)
    Azure Machine Learning / Azure AI Studio の Prompt flow からマネージド オンライン
    エンドポイントへそのままデプロイできる。APIエンドポイントが公開される

    View full-size slide

  14. Prompt flow のデプロイ機能
    CLI/SDK/VS Code からそのまま Docker コンテナとしてデプロイできる
    Azure App Service (WebホスティングのPaaS)
    にもそのままデプロイ可能
    Docker フォーマットでフローをビルド:
    出力ファイル:
    コラム:

    View full-size slide

  15. まとめ
     Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ
    プロイ、モニタリングに使えるツール
     Azure AI Studio / Azure Machine Learning から使うのが使いやすいが、
    CLI/SDK/VS Codeから利用もでき、CI/CD ~LLMOpsの実現に貢献
     作ったフローはマネージドオンラインエンドポイントにデプロイしてもらうのが嬉しいが、
    Docker コンテナ化してさまざまな環境へデプロイもできる

    View full-size slide