20230627_GPTシステム開発を加速するAzureサービスの活用

Build Japanで発表した内容です。
主にLLMの開発上の新しいトレンド説明。
関連する Azure AI のアップデートを挟みました。
(デモ動画は動きませんので悪しからず…)

1. Plugin
　GPT の本質を考える
　「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
　ツール連携で爆発的に広がる GPT の可能性
　AIがサービス利用を仲介する未来像
　Azure OpenAI Service プラグイン
　Azure OpenAI Service on your data
　on your data が解決する独自データ導入における課題

2. Prompt Engineering
　GPT の言語生成過程を改めて確認する
　GPT の推論時の影響要素
　Fine tuning と Prompt Engineering との位置づけ
　ユーザサイドの Prompt テクニック
　開発サイドの Prompt Engineering
　プロンプトと後処理の複雑化
　Azure Machine Learning “Prompt flow”
　Prompt EngineeringをフォローするMS発OSS Semantic Kernel
　Prompt Engineering を補助する各種 OSS の現在の位置づけ

3. LLMOps(運用面を中心に)
　GPTシステムにおけるログの用途
　プロンプトログの分析によるGPTシステム継続改善パターン
　Azure OpenAI 設定可能なコンテンツフィルター
　AIネイティブなアーキテクチャの運用へ
　GPTシステムと組み合わせる AI サービス
　Azure Machine Learning モデルカタログ

Transcript

1. GPTシステム開発を加速する Azureサービス活用 日本マイクロソフト株式会社 Cloud Solution Architect 蒲生 弘郷
2. WHO AM I ? @hiro_gamo /Hirosato-Gamo Azure OpenAI Champ 元データサイエンティスト。データ基盤、エンタープライズブロックチェーンサービス 構築など経験し、現在はAI/MLシステム開発の技術支援に従事。 HIROSATO GAMO Microsoft Japan Co., Ltd. Cloud Solution Architect (Data & AI) About me 「第17回システム管理者感謝の日イベント」開催 | 感謝の日 | システム管理者の会ポータルサイト (sysadmingroup.jp) 『ChatGPTによって描かれる未来とAI開発の変遷』webセミナー｜IT勉強会・イベントならTECH PLAY［テックプレイ］
3. 前半の Agenda Prompt Engineering 2 LLMOps(運用面を中心に) 3 Plugin 1 ⚫ GPT の本質を考える ⚫ 「GPT によるツールとの接続」という コンセプトを世に示した Bing Chat ⚫ ツール連携で爆発的に広がる GPT の可能性 ⚫ AIがサービス利用を仲介する未来像 ⚫ Azure OpenAI Service プラグイン ⚫ Azure OpenAI Service on your data ⚫ on your data が解決する 独自データ導入における課題 ⚫ GPT の言語生成過程を改めて確認する ⚫ GPT の推論時の影響要素 ⚫ Fine tuning と Prompt Engineering との 位置づけ ⚫ ユーザサイドの Prompt テクニック ⚫ 開発サイドの Prompt Engineering ⚫ プロンプトと後処理の複雑化 ⚫ Azure Machine Learning “Prompt flow” ⚫ Prompt Engineeringをフォローする MS発OSS Semantic Kernel ⚫ Prompt Engineering を補助する 各種 OSS の現在の位置づけ ⚫ GPTシステムにおけるログの用途 ⚫ プロンプトログの分析による GPTシステム継続改善パターン ⚫ Azure OpenAI 設定可能なコンテンツフィルター ⚫ AIネイティブなアーキテクチャの運用へ ⚫ GPTシステムと組み合わせる AI サービス ⚫ Azure Machine Learning モデルカタログ
4. Plugin
5. ChatGPT って結局何が凄いのでしょうか？ Question
6. GPT の代表的な強みと期待 GPT ユーザ 情報集約 内部・外部問わず大量のデータを解釈 抽出 目的に応じた情報を抽出 変換 受け手の解釈できる形式へ API 1 の情報 関数Bの情報 関数Aの情報 関数Cの情報 API 2 の情報 API 3 の情報 … … 〇〇PCの最安な 入手方法を知りたい。 目的の達成に API 2 を選択 API 2 へのインプット情報を メッセージから抽出 API 2 の定義に合わせて 情報をJSON化
7. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
8. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 何のツールを使うか判定 ＋ チャット内容からツールへの インプット情報を抽出 チャット内容 プロンプト 各ツールの情報
9. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 何のツールを使うか判定 ＋ チャット内容からツールへの インプット情報を抽出 チャット内容 プロンプト 各ツールの情報 どっち？ ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
10. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 チャット内容 プロンプト 各ツールの情報 ツール「Web検索」 インプット「2023 WBC 優勝国」 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
11. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 「2023 WBC 優勝国」 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
12. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 「2023 WBC 優勝国」 検索結果 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
13. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 検索結果 チャット内容 プロンプト ユーザへ回答作成 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
14. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 検索結果 チャット内容 プロンプト ユーザへ回答作成 回答 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
15. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat 2023年のWBC優勝国はどこ？ ユーザ チャット内容 バックエンド プログラム GPT ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。 GPTはツール(API)を呼び出し使えることを印象付けた。 DALL-E2 bing Search Description 未知の情報に対して クエリでWeb検索を実行 Description 画像生成のリクエストに 対してプロンプトから DALL-EのAPIを呼び出し ツール: Web検索 ツール: 画像生成 ユーザへ回答作成 回答 2023年のWBC優勝国は日本でした。 ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
16. ツール連携で爆発的に広がる GPT の可能性 GPT Cognitive Search Azure OpenAI Service Functions Container Appsなど Azure Machine Learning Cognitive Serviceなど 外部サービス 社内に存在するPDF、PowerPoint、Excelファイルなどにおけるテキスト情 報を抽出しておき、GPTのリクエストに応じて検索。質問内容に近い情報 を返答として返す。複数の検索結果の情報を集約し、問いに対するピン ポイントな回答が可能。 社内ナレッジ 検索 あらかじめ用意しておいたプログラムの関数を呼んだり、プロンプトに応じて GPTが生成したコードの実行をすることで様々なタスクが実行可能。 簡単な計算から最適化などの複雑なアルゴリズム、機械の操作なども 視野に入る。 プログラム 実行 構築済みのAIモデルを提供するAPIや、自作の機械学習モデルを呼び出 す。GPTでは処理しにくい自然言語処理タスクをはじめ、 テーブルデータ解析や画像生成、異常検知などを別のAIが解析することで、 GPT単体ではできない高度なタスクまで対応可能。 AI/ML 解析 Web検索や地図情報といった一般的なAPIやサービスを呼ぶことで様々 な機能や手続きが利用可能に。OpenAI社はこの仕組みをPluginと呼 称。例えば社内システムの手続きAPIを準備しておくことでサイトを 移動せずともGPTとの対話で処理を完結させるような応用も。 外部サービス 連携
17. AIがサービス利用を仲介する未来像 ユーザ 情報探索 購買 事務手続き コミュニケーション データ分析 学習 今までの人間とサービスの関係 今までは膨大な数の 各サービス画面で目的を果たしていた。 ログも各サービスが保存。
18. AIがサービス利用を仲介する未来像 ユーザ 情報探索 購買 事務手続き コミュニケーション データ分析 学習 ユーザ 情報探索 購買 事務手続き コミュニケーション データ分析 学習 GPT 今までの人間とサービスの関係 AIが人-サービス, サービス-サービスを仲介する世界へ 行動履歴 蓄積 GPTがすべての作業を仲介し、 全ての行動やコミュニケーションを記録しつつ、 適切に過去情報を引き出し支援 GPT GPT
19. Introducing: Azure OpenAI Service プラグイン (coming soon) マイクロソフトのサービスにセキュアにアクセスできる強力な AI Copilot の開発 Azure Cognitive Search による 独自データ検索 Azure Translator による 100 を超えるの言語の翻訳 Bing 検索による 最新情報のグラウンディング Azure SQL からの 構造化データの抽出 Azure OpenAI プラグイン • 利用者の様々なデータストア、ベクトル データベース、ウェブ上のデータに安全に アクセスできる • Azure ADとマネージド ID によるデータ アクセス制御 • 管理者ロールはどのプラグインを有効に するか選択可能 OpenAI社、Bing、M365 Copilotなど プラグインプラットフォームを共有
20. Introducing: Azure OpenAI Service on your data (Preview) データソース (検索, ファイル,データベース, ストレージetc.) 追加のサードパーティーデータソース (将来的な機能) Azure OpenAI Service on your data API & SDK アプリ Copilot エージェント
21. 22 on your data が解決する独自データ導入における課題 データのチャンク Prompt Engineering 検索対象となるデータは、ChatGPTの許容トークン長の制限があるため 事前にテキストを分割しておく必要がある。 検索結果を踏まえてユーザの質問に回答するためには 適切なPromptを与える必要があるが、精度良く回答するには ここにテクニックや検証作業が必須。 アプリデプロイ バックエンドの処理が無事終わったとしても、 出力をストリーム表示させるUIの開発や認証の仕組みを 構成するのは時間が掛かる。 on your data 機能でこれらの作業を加速可能
24. Prompt Engineering
25. GPT の言語生成過程を改めて確認する テキスト生成過程 戦国時代の終焉の歴史について 教えてください。 ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。
26. 安土桃山城を築き、天下統一を目指した織田▮… テキスト生成過程 戦国時代の終焉の歴史について 教えてください。 ✓ ‘日本の戦国時代の終焉’を検索しています… ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。 GPT の言語生成過程を改めて確認する
27. 安土桃山城を築き、天下統一を目指した織田▮… テキスト生成過程 戦国時代の終焉の歴史について 教えてください。 ▪ 応答を停止して ✓ ‘日本の戦国時代の終焉’を検索しています… AIは逐次、次に入りそうな文字(or単語)を予測し、 確率の高いものを埋めていく ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。 GPT の言語生成過程を改めて確認する
28. 安土桃山城を築き、天下統一を目指した織田▮… テキスト生成過程 戦国時代の終焉の歴史について 教えてください。 ▪ 応答を停止して ✓ ‘日本の戦国時代の終焉’を検索しています… AIによる次の文字(or単語)の予測 AIは逐次、次に入りそうな文字(or単語)を予測し、 確率の高いものを埋めていく 学習データ プロンプト 文脈 次は何の単語かな？ ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。 GPT GPT の言語生成過程を改めて確認する
29. 安土桃山城を築き、天下統一を目指した織田▮… テキスト生成過程 戦国時代の終焉の歴史について 教えてください。 ▪ 応答を停止して ✓ ‘日本の戦国時代の終焉’を検索しています… AIによる次の文字(or単語)の予測 0 0.1 0.2 0.3 5.3 22.7 71.3 … … … … 信秀 信忠 信長 次の単語の出現確率(％) AIは逐次、次に入りそうな文字(or単語)を予測し、 確率の高いものを埋めていく 次は何の単語かな？ たぶん信長 ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。 事実関係でなく出現確率である点に注意 学習データ プロンプト 文脈 GPT GPT の言語生成過程を改めて確認する
30. GPT の推論時の影響要素 学習データ プロンプト 文脈 GPT 学習データ プロンプト 学習(ファインチューニング含む)によって獲得される。 ChatGPTではインターネット上のテキストデータなどがこれにあたる。 いわば言語生成の基礎能力とも表現できる。 GPTに対する入力のこと。 どのような出力をさせるかのコントロールが可能。検索結果や会話履歴 などの付加情報や、どんな振る舞いをさせるかの指示もこれに含まれる。 文脈 自身の言語出力の結果を含めたすべてのコンテキスト。 (厳密にはプロンプトも含まれる) 従来の機械学習モデルには基本的に存在しなかった要素
31. Fine tuning と Prompt Engineering との位置づけ 精度向上の主要作業の優先度はPrompt Engineering側へシフト 獲得される効果 (一部主観) 言語能力・長期記憶 (永続的だがあくまで基礎の言語生成能力や知識を強化) 使用上の懸念点 膨大なリソースおよびデータ準備コスト かなり高度なLLM学習の知識 セキュリティ・品質 注意点 学習データへの機密情報混入 アノテーション品質 使いどころ (一部主観) 新しいタスクの獲得もしくは完成度向上 出力フォーマットの限定 (量が膨大な場合のみ)ドメイン知識・最新知識の獲得 情報参照 (より強く言語生成に影響するが揮発性) プロンプトのトークン入力制限 プロンプトインジェクションなどの攻撃 問いかけに対する適切な情報引き出し ドメイン知識・最新知識の補助 タスクの指示 出力フォーマットの指定 Prompt Engineering Fine tuning ※やや主観的、抽象的ですがご容赦ください。
32. ユーザサイドの Prompt テクニック ＃ Tips 説明 1 入力の明確化 5W1Hや出力文字数の目安を指定し、曖昧さを排除する 2 ロールの付与 GPTに役割および熟練度を設定する。 3 入力想定の教示 想定されるユーザからの入力内容を教える。 4 出力形式指定 得たい出力形式を指定する。その例を書く。 5 質問回答例示 想定質問、およびその回答の例示を与える。 6 段階的推論 結論を書かずに段階的に記載するように指示する。 7 目的の記載 手段だけでなく達成したい最終目的を書く。 8 知識・解法の提供 解決に必要な知識や論理展開の情報を与えたり、生成させる。 9 記号活用 プログラムに使われる記号や記法を取り入れる。 (マークダウン記法など) 10 プログラミング活用 複雑だが順序の決まってる厳密な指示はプログラミング言語で記載する。 11 構造化 構造化された形式で指示を書く。JSONやマークダウン記法など。 12 再帰的修正 一度出力した内容を、観点別にGPTに修正させる。 13 英語化 英語で指示を書き日本語で答えさせる。 14 重要情報の後置 重要な情報はプロンプトの最後の方に記載する。 15 直接表現の利用 否定語は使わず指示語を使うなど、婉曲表現を避ける。 16 テンプレート活用 タスクに応じてテンプレートを用意しておく。 ※ プロンプトの効果は普遍的なものではなく、モデルやバージョンや文脈によっても変わります。あくまで参考情報です。
33. 開発サイドの Prompt Engineering (UIの裏で与える) Prompt Processing※ プロンプト自体の情報が足りない場合や、AIに解釈しづらい場合に プロンプトの与え方を変えるなどの加工処理。 ※本発表での独自名称 Few-shot Learning プロンプトに問いに対する回答例をいくつか提示し、 回答形式や振る舞いをプロンプトで学ばせる手法。 数個レベルの例示でも精度向上が見られることがある。 ReAct 内部情報からの言語的な生成だけでなく、プロンプトから必要なタスクを動的に認識させ、 検索や計算など外部APIを活用した情報を取得(Grounding)し、その情報を付加して回 答を返すという考え方。 Chain of Thought (CoT) 大規模言語モデルにおいては、段階的に考える工程を与えることで 難しい問題でも解決ができるようになる性質。 ReActやSelf ConsistencyもCoTの考え方を継承している。 Recursively Criticizes and Improves (RCI) GPTの出力をGPT自身に吟味させて、修正させる考え方。 繰り返し実行することで出力がブラッシュアップされる。 特にプログラミングコードなどが動作するように用いられることが多い。
34. 単純なタスクでもプロンプトと後処理はどんどん複雑化 Input ツール判別・入力情報生成 Web検索 画像生成 回答生成 ツール判定結果 GPT GPT 回答生成 画像生成 Web検索 タスク、InputのJSON 検索結果 生成画像 参考：Baby AGIのパイプライン@yoheinakajima DALL-E2 bing Search 入力 検索結果 入力 画像 # User_input {User_input} # tool - Image_gen: <ツールの役割、Inputパラメータなどの情報> - Web_Search: <ツールの役割、Inputパラメータなどの情報> # instruction User_inputに書かれた目的を達成するために必要なtoolを選択し、そのInput パラメータを出力してください # Question {User_input} # Search_Result {Search_result} # instruction Search_Resultの結果を踏まえてQuestionへ返答してください。 ※ プロンプトはかなり簡易化しています Prompt Prompt
35. 近日公開 Azure Machine Learning “Prompt flow” Customer Benefits • 選択した フレームワーク と API を使用し、 さまざまな 言語モデル と データソース を使用する AI ワークフローを作成 • 1つのプラットフォームで 生成 AI ワークフロー の 構築、調整、評価を 迅速に反復 • 事前構築済の指標で AI ワークフロー の品質を評価
37. Prompt Engineering をフォローするMS発OSS Semantic Kernel # コンポーネント 説明 1 Ask ユーザからリクエストおよび目標設定。 2 Kernel カーネルは、開発者によって定義されたパイプライン/チェーンを実行することで、ユーザーの 要求をオーケストレートする。チェーンが実行される間、カーネルによって共通のコンテキスト が提供されるため、データを関数間で共有可能。 Langchain でいうChainに近い。 2.1 Memories 専用のプラグインを使用することで、開発者はベクトルデータベースにコンテキストを記憶・ 保存できる。これにより、開発者はAIアプリケーション内でメモリをシミュレート可能。 2.2 Planner 開発者が Semantic Kernel に対して、ユーザーの新しいニーズに対応するためのチェーン を自動作成するよう要求すると、 Planner は、既にカーネルにロードされているプラグイン を組み合わせ実行計画を動的に生成。 2.3 Connectors 追加のデータを取得したり、自律的なアクションを実行するために、 Microsoft Graph Connector kit などの既存のプラグインを使用するか、カスタムコネクタを作成して独自の サービスにデータを提供できる。 2.4 カスタムプラグイン (旧 スキル) Semantic Kernel内で実行されるカスタムプラグインを作成できる。プラグインはLLMプロ ンプト（意味関数）またはC#またはPythonコード（ネイティブ関数）から構成。新しい AI機能を追加し、既存アプリやサービスを Semantic Kernel に統合可能。 3 Response カーネルが完了したら、応答をユーザーに送信して処理の完了を通知可能。 Orchestrate your AI with Semantic Kernel | Microsoft Learn Microsoft が LLM をアプリ開発に統合するための OSS「Semantic Kernel」を発表 - Qiita
38. Prompt Engineering を補助する OSS の現在の位置づけ 大 機能数 主な特徴 中 小 現在最も広く用いられている。非常に多機能で、日々目まぐるしく アップデートされる。ユーザが意識しなくとも複雑なプロンプトを裏で動 かせるよう抽象化されている。 Copilot Stack の中心と位置づけられ、MS製品や OpenAI との 足並みを揃えている印象。Langchain ほどではないが多機能で、 基本的な開発ならSKだけで完結する。ある程度カスタマイズも想定 されている。C#の開発が早いが Python ライブラリも増強されてきた。 機能は少なめ。プロンプト・出力をシンプルかつコントローラブルにす ることを主眼に置かれている印象。細かいところまで自分で制御し たいというユーザから好評。 高 抽象度 中 低 非MS 開発元 MS MS langchain Semantic Kernel guidance 早い 更新 スピード 中 中 Langchain・Semantic Kernel・guidanceでエージェント機能を実装して比較してみた。 - Qiita ※ 現状の動向を主観でマッピングしており、開発元の意思とは異なります。今後の方針転換も有り得ますので、ご使用の際は公式ドキュメントを必ず参照してください。
39. LLMOps
40. GPTシステムにおけるログの重要性 Web Browser Azure OpenAI Service Azure API Management アプリケーション (Optional) Azure AD Azure Cosmos DB Log analytics Blob Storage Azure Datalake Storage App Gateway ほか 監視 分析 アプリケーション 利用 ユーザのプロンプト分析。回答精度の改善、 マーケティング等の活用にも。(次ページ) コスト管理やユーザ属性などの集計。 不正や攻撃の監視やアラート設定も。 会話履歴の再利用などに活用。 本家OpenAI社のChatGPT UI版も Cosmos DB を利用。
41. プロンプトログの分析によるGPTシステム継続改善例 Blob Storage Azure Datalake Storage Azure Machine Learning データ取得 ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ ~~~~~ プロンプトログ Azure OpenAI Service Embedding + クラスタリングを施し プロンプトの傾向を分析→ FAQデータベース化へ Sentiment分析にかけ 回答の良し悪し分類→テストデータ化やメタプロンプト改善 独自のContent filteringトレーニングに用いて 不正検知やプロンプトインジェクション対策 レコメンドアルゴリズムへのインプットにして より高度なパーソナライズへ
42. Azure OpenAI 設定可能なコンテンツフィルター (preview)
43. AIネイティブなアーキテクチャでの運用へ 自然言語や画像といったデータの処理にはAIが多用される。 コストやパフォーマンス面も加味して、従来の用途固定AIの活用もキーポイントに。 社内独自の技術である〇〇について 詳しく教えてください。 GPT 入力補完 翻訳 コンテンツ フィルタリング 音声入力 検索エンジン 固有表現抽出 Embedding ドキュメント情報圧縮 Doc A Doc B Doc C
44. GPTシステムと組み合わせることが多い AI サービス ドキュメントからのテキストや表の抽出に プロンプトインジェクション対策に ユーザの感情ログの解析に 音声入力UIに 高度な文字読み取りに 画像キャプションに Form Recogizer Custom text classification Sentiment Analysis Speech to text Generate image captions Read text from images
45. Azure Machine Learning モデルカタログ オープンソースの LLM をはじめ、 Hugging Face のモデル や OpenAI モデルまでカバー  Discover: さまざまなコレクションから ファウンデーションモデルを探索  Evaluate:モデルの適合性をテストし、 評価メトリックを使用してパフォーマン スを視覚化します。  Fine-tune: 独自のデータを利用した カスタマイズが可能  Deploy: 事前トレーニング済みまたは 微調整済みのモデルをリアルタイムま たはバッチ推論に利用  Import: 最新のオープンソースモデル をインポートして、最新情報を入手 https://aka.ms/AzureML_FoundationModels_blog Public Preview
47. Microsoft の GPT システム開発支援のまとめ Azure OpenAI Service による GPT の API 提供 Plugin Prompt Engineering LLMOps Add Your Data機能 Plugin プラットフォーム統合 Prompt flow Semantic Kernel / guidance コンテンツフィルタはじめ 構築済みAIサービス Azure Machine Learning (モデルカタログ他) 大量の GPT プロジェクト経験に基づく豊富な人材 ハンズオンメニュー、サンプルコード、関連ブログなどリファレンスの充実 各種 Copilot で培った自社サービスへの GPT 組み込みノウハウ