20230627_GPTシステム開発を加速するAzureサービスの活用

Build Japanで発表した内容です。
主にLLMの開発上の新しいトレンド説明。
関連する Azure AI のアップデートを挟みました。
(デモ動画は動きませんので悪しからず…)

1. Plugin
　GPT の本質を考える
　「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
　ツール連携で爆発的に広がる GPT の可能性
　AIがサービス利用を仲介する未来像
　Azure OpenAI Service プラグイン
　Azure OpenAI Service on your data
　on your data が解決する独自データ導入における課題

2. Prompt Engineering
　GPT の言語生成過程を改めて確認する
　GPT の推論時の影響要素
　Fine tuning と Prompt Engineering との位置づけ
　ユーザサイドの Prompt テクニック
　開発サイドの Prompt Engineering
　プロンプトと後処理の複雑化
　Azure Machine Learning “Prompt flow”
　Prompt EngineeringをフォローするMS発OSS Semantic Kernel
　Prompt Engineering を補助する各種 OSS の現在の位置づけ

3. LLMOps(運用面を中心に)
　GPTシステムにおけるログの用途
　プロンプトログの分析によるGPTシステム継続改善パターン
　Azure OpenAI 設定可能なコンテンツフィルター
　AIネイティブなアーキテクチャの運用へ
　GPTシステムと組み合わせる AI サービス
　Azure Machine Learning モデルカタログ

Transcript

1. GPTシステム開発を加速する
   Azureサービス活用
   日本マイクロソフト株式会社
   Cloud Solution Architect
   蒲生 弘郷
   

   View Slide

2. WHO AM I ?
   @hiro_gamo /Hirosato-Gamo
   Azure OpenAI Champ
   元データサイエンティスト。データ基盤、エンタープライズブロックチェーンサービス
   構築など経験し、現在はAI/MLシステム開発の技術支援に従事。
   HIROSATO GAMO
   Microsoft Japan Co., Ltd.
   Cloud Solution Architect (Data & AI)
   About me
   「第17回システム管理者感謝の日イベント」開催 | 感謝の日 | システム管理者の会ポータルサイト (sysadmingroup.jp)
   『ChatGPTによって描かれる未来とAI開発の変遷』webセミナー｜IT勉強会・イベントならTECH PLAY［テックプレイ］
   

   View Slide

3. 前半の Agenda
   Prompt Engineering
   2 LLMOps(運用面を中心に)
   3
   Plugin
   1
   ⚫ GPT の本質を考える
   ⚫ 「GPT によるツールとの接続」という
   コンセプトを世に示した Bing Chat
   ⚫ ツール連携で爆発的に広がる GPT の可能性
   ⚫ AIがサービス利用を仲介する未来像
   ⚫ Azure OpenAI Service プラグイン
   ⚫ Azure OpenAI Service on your data
   ⚫ on your data が解決する
   独自データ導入における課題
   ⚫ GPT の言語生成過程を改めて確認する
   ⚫ GPT の推論時の影響要素
   ⚫ Fine tuning と Prompt Engineering との
   位置づけ
   ⚫ ユーザサイドの Prompt テクニック
   ⚫ 開発サイドの Prompt Engineering
   ⚫ プロンプトと後処理の複雑化
   ⚫ Azure Machine Learning “Prompt flow”
   ⚫ Prompt Engineeringをフォローする
   MS発OSS Semantic Kernel
   ⚫ Prompt Engineering を補助する
   各種 OSS の現在の位置づけ
   ⚫ GPTシステムにおけるログの用途
   ⚫ プロンプトログの分析による
   GPTシステム継続改善パターン
   ⚫ Azure OpenAI 設定可能なコンテンツフィルター
   ⚫ AIネイティブなアーキテクチャの運用へ
   ⚫ GPTシステムと組み合わせる AI サービス
   ⚫ Azure Machine Learning モデルカタログ
   

   View Slide

4. Plugin
   

   View Slide

5. ChatGPT って結局何が凄いのでしょうか？
   Question
   

   View Slide

6. GPT の代表的な強みと期待
   GPT
   ユーザ
   情報集約
   内部・外部問わず大量のデータを解釈
   抽出
   目的に応じた情報を抽出
   変換
   受け手の解釈できる形式へ
   API 1 の情報
   関数Bの情報
   関数Aの情報
   関数Cの情報
   API 2 の情報
   API 3 の情報
   … …
   〇〇PCの最安な
   入手方法を知りたい。
   目的の達成に API 2 を選択
   API 2 へのインプット情報を
   メッセージから抽出
   API 2 の定義に合わせて
   情報をJSON化
   

   View Slide

7. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
   2023年のWBC優勝国はどこ？
   ユーザ
   GPT
   ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
   GPTはツール(API)を呼び出し使えることを印象付けた。
   DALL-E2
   bing Search
   Description
   未知の情報に対して
   クエリでWeb検索を実行
   Description
   画像生成のリクエストに
   対してプロンプトから
   DALL-EのAPIを呼び出し
   ツール: Web検索
   ツール: 画像生成
   ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
   

   View Slide

8. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
   ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
   2023年のWBC優勝国はどこ？
   ユーザ
   チャット内容
   バックエンド
   プログラム
   GPT
   ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
   GPTはツール(API)を呼び出し使えることを印象付けた。
   DALL-E2
   bing Search
   Description
   未知の情報に対して
   クエリでWeb検索を実行
   Description
   画像生成のリクエストに
   対してプロンプトから
   DALL-EのAPIを呼び出し
   ツール: Web検索
   ツール: 画像生成
   何のツールを使うか判定
   ＋
   チャット内容からツールへの
   インプット情報を抽出
   チャット内容
   プロンプト
   各ツールの情報
   

   View Slide

9. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
   2023年のWBC優勝国はどこ？
   ユーザ
   チャット内容
   バックエンド
   プログラム
   GPT
   ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
   GPTはツール(API)を呼び出し使えることを印象付けた。
   DALL-E2
   bing Search
   Description
   未知の情報に対して
   クエリでWeb検索を実行
   Description
   画像生成のリクエストに
   対してプロンプトから
   DALL-EのAPIを呼び出し
   ツール: Web検索
   ツール: 画像生成
   何のツールを使うか判定
   ＋
   チャット内容からツールへの
   インプット情報を抽出
   チャット内容
   プロンプト
   各ツールの情報
   どっち？
   ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
   

   View Slide

10. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
    2023年のWBC優勝国はどこ？
    ユーザ
    チャット内容
    バックエンド
    プログラム
    GPT
    ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
    GPTはツール(API)を呼び出し使えることを印象付けた。
    DALL-E2
    bing Search
    Description
    未知の情報に対して
    クエリでWeb検索を実行
    Description
    画像生成のリクエストに
    対してプロンプトから
    DALL-EのAPIを呼び出し
    ツール: Web検索
    ツール: 画像生成
    チャット内容
    プロンプト
    各ツールの情報
    ツール「Web検索」
    インプット「2023 WBC 優勝国」
    ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
    

    View Slide

11. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
    2023年のWBC優勝国はどこ？
    ユーザ
    チャット内容
    バックエンド
    プログラム
    GPT
    ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
    GPTはツール(API)を呼び出し使えることを印象付けた。
    DALL-E2
    bing Search
    Description
    未知の情報に対して
    クエリでWeb検索を実行
    Description
    画像生成のリクエストに
    対してプロンプトから
    DALL-EのAPIを呼び出し
    ツール: Web検索
    ツール: 画像生成
    「2023 WBC 優勝国」
    ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
    

    View Slide

12. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
    2023年のWBC優勝国はどこ？
    ユーザ
    チャット内容
    バックエンド
    プログラム
    GPT
    ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
    GPTはツール(API)を呼び出し使えることを印象付けた。
    DALL-E2
    bing Search
    Description
    未知の情報に対して
    クエリでWeb検索を実行
    Description
    画像生成のリクエストに
    対してプロンプトから
    DALL-EのAPIを呼び出し
    ツール: Web検索
    ツール: 画像生成
    「2023 WBC 優勝国」
    検索結果
    ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
    

    View Slide

13. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
    2023年のWBC優勝国はどこ？
    ユーザ
    チャット内容
    バックエンド
    プログラム
    GPT
    ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
    GPTはツール(API)を呼び出し使えることを印象付けた。
    DALL-E2
    bing Search
    Description
    未知の情報に対して
    クエリでWeb検索を実行
    Description
    画像生成のリクエストに
    対してプロンプトから
    DALL-EのAPIを呼び出し
    ツール: Web検索
    ツール: 画像生成
    検索結果
    チャット内容
    プロンプト
    ユーザへ回答作成
    ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
    

    View Slide

14. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
    2023年のWBC優勝国はどこ？
    ユーザ
    チャット内容
    バックエンド
    プログラム
    GPT
    ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
    GPTはツール(API)を呼び出し使えることを印象付けた。
    DALL-E2
    bing Search
    Description
    未知の情報に対して
    クエリでWeb検索を実行
    Description
    画像生成のリクエストに
    対してプロンプトから
    DALL-EのAPIを呼び出し
    ツール: Web検索
    ツール: 画像生成
    検索結果
    チャット内容
    プロンプト
    ユーザへ回答作成
    回答
    ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
    

    View Slide

15. 「GPT によるツールとの接続」というコンセプトを世に示した Bing Chat
    2023年のWBC優勝国はどこ？
    ユーザ
    チャット内容
    バックエンド
    プログラム
    GPT
    ユーザの入力に応じ、「Bing Search」や「画像生成AI」を選択し回答できる。
    GPTはツール(API)を呼び出し使えることを印象付けた。
    DALL-E2
    bing Search
    Description
    未知の情報に対して
    クエリでWeb検索を実行
    Description
    画像生成のリクエストに
    対してプロンプトから
    DALL-EのAPIを呼び出し
    ツール: Web検索
    ツール: 画像生成
    ユーザへ回答作成
    回答
    2023年のWBC優勝国は日本でした。
    ※ あくまで解説用のイメージです。実際の挙動とは異なる部分があります。
    

    View Slide

16. ツール連携で爆発的に広がる GPT の可能性
    GPT
    Cognitive
    Search
    Azure
    OpenAI Service
    Functions
    Container Appsなど
    Azure Machine Learning
    Cognitive Serviceなど
    外部サービス
    社内に存在するPDF、PowerPoint、Excelファイルなどにおけるテキスト情
    報を抽出しておき、GPTのリクエストに応じて検索。質問内容に近い情報
    を返答として返す。複数の検索結果の情報を集約し、問いに対するピン
    ポイントな回答が可能。
    社内ナレッジ
    検索
    あらかじめ用意しておいたプログラムの関数を呼んだり、プロンプトに応じて
    GPTが生成したコードの実行をすることで様々なタスクが実行可能。
    簡単な計算から最適化などの複雑なアルゴリズム、機械の操作なども
    視野に入る。
    プログラム
    実行
    構築済みのAIモデルを提供するAPIや、自作の機械学習モデルを呼び出
    す。GPTでは処理しにくい自然言語処理タスクをはじめ、
    テーブルデータ解析や画像生成、異常検知などを別のAIが解析することで、
    GPT単体ではできない高度なタスクまで対応可能。
    AI/ML
    解析
    Web検索や地図情報といった一般的なAPIやサービスを呼ぶことで様々
    な機能や手続きが利用可能に。OpenAI社はこの仕組みをPluginと呼
    称。例えば社内システムの手続きAPIを準備しておくことでサイトを
    移動せずともGPTとの対話で処理を完結させるような応用も。
    外部サービス
    連携
    

    View Slide

17. AIがサービス利用を仲介する未来像
    ユーザ
    情報探索
    購買
    事務手続き
    コミュニケーション
    データ分析
    学習
    今までの人間とサービスの関係
    今までは膨大な数の
    各サービス画面で目的を果たしていた。
    ログも各サービスが保存。
    

    View Slide

18. AIがサービス利用を仲介する未来像
    ユーザ
    情報探索
    購買
    事務手続き
    コミュニケーション
    データ分析
    学習
    ユーザ
    情報探索
    購買
    事務手続き
    コミュニケーション
    データ分析
    学習
    GPT
    今までの人間とサービスの関係 AIが人-サービス, サービス-サービスを仲介する世界へ
    行動履歴
    蓄積
    GPTがすべての作業を仲介し、
    全ての行動やコミュニケーションを記録しつつ、
    適切に過去情報を引き出し支援
    GPT
    GPT
    

    View Slide

19. Introducing:
    Azure OpenAI Service プラグイン (coming soon)
    マイクロソフトのサービスにセキュアにアクセスできる強力な AI Copilot の開発
    Azure Cognitive Search による
    独自データ検索
    Azure Translator による
    100 を超えるの言語の翻訳
    Bing 検索による
    最新情報のグラウンディング
    Azure SQL からの
    構造化データの抽出
    Azure OpenAI
    プラグイン
    • 利用者の様々なデータストア、ベクトル
    データベース、ウェブ上のデータに安全に
    アクセスできる
    • Azure ADとマネージド ID によるデータ
    アクセス制御
    • 管理者ロールはどのプラグインを有効に
    するか選択可能
    OpenAI社、Bing、M365 Copilotなど
    プラグインプラットフォームを共有
    

    View Slide

20. Introducing:
    Azure OpenAI Service on your data (Preview)
    データソース
    (検索, ファイル,データベース, ストレージetc.)
    追加のサードパーティーデータソース
    (将来的な機能)
    Azure OpenAI Service on
    your data
    API & SDK
    アプリ
    Copilot エージェント
    

    View Slide

21. 22
    on your data が解決する独自データ導入における課題
    データのチャンク
    Prompt
    Engineering
    検索対象となるデータは、ChatGPTの許容トークン長の制限があるため
    事前にテキストを分割しておく必要がある。
    検索結果を踏まえてユーザの質問に回答するためには
    適切なPromptを与える必要があるが、精度良く回答するには
    ここにテクニックや検証作業が必須。
    アプリデプロイ
    バックエンドの処理が無事終わったとしても、
    出力をストリーム表示させるUIの開発や認証の仕組みを
    構成するのは時間が掛かる。
    on your data 機能でこれらの作業を加速可能
    

    View Slide

22. View Slide

23. View Slide

24. Prompt Engineering
    

    View Slide

25. GPT の言語生成過程を改めて確認する
    テキスト生成過程
    戦国時代の終焉の歴史について
    教えてください。
    ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。
    

    View Slide

26. 安土桃山城を築き、天下統一を目指した織田▮…
    テキスト生成過程
    戦国時代の終焉の歴史について
    教えてください。
    ✓ ‘日本の戦国時代の終焉’を検索しています…
    ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。
    GPT の言語生成過程を改めて確認する
    

    View Slide

27. 安土桃山城を築き、天下統一を目指した織田▮…
    テキスト生成過程
    戦国時代の終焉の歴史について
    教えてください。
    ■ 応答を停止して
    ✓ ‘日本の戦国時代の終焉’を検索しています…
    AIは逐次、次に入りそうな文字(or単語)を予測し、
    確率の高いものを埋めていく
    ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。
    GPT の言語生成過程を改めて確認する
    

    View Slide

28. 安土桃山城を築き、天下統一を目指した織田▮…
    テキスト生成過程
    戦国時代の終焉の歴史について
    教えてください。
    ■ 応答を停止して
    ✓ ‘日本の戦国時代の終焉’を検索しています…
    AIによる次の文字(or単語)の予測
    AIは逐次、次に入りそうな文字(or単語)を予測し、
    確率の高いものを埋めていく
    学習データ
    プロンプト
    文脈
    次は何の単語かな？
    ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。
    GPT
    GPT の言語生成過程を改めて確認する
    

    View Slide

29. 安土桃山城を築き、天下統一を目指した織田▮…
    テキスト生成過程
    戦国時代の終焉の歴史について
    教えてください。
    ■ 応答を停止して
    ✓ ‘日本の戦国時代の終焉’を検索しています…
    AIによる次の文字(or単語)の予測
    0
    0.1
    0.2
    0.3
    5.3
    22.7
    71.3
    …
    …
    …
    …
    信秀
    信忠
    信長
    次の単語の出現確率(％)
    AIは逐次、次に入りそうな文字(or単語)を予測し、
    確率の高いものを埋めていく
    次は何の単語かな？
    たぶん信長
    ※説明のため、かなり抽象化した表現をしています。実際の処理とは異なりますので、あくまでイメージとしてご認識ください。
    事実関係でなく出現確率である点に注意
    学習データ
    プロンプト
    文脈
    GPT
    GPT の言語生成過程を改めて確認する
    

    View Slide

30. GPT の推論時の影響要素
    学習データ
    プロンプト
    文脈
    GPT
    学習データ
    プロンプト
    学習(ファインチューニング含む)によって獲得される。
    ChatGPTではインターネット上のテキストデータなどがこれにあたる。
    いわば言語生成の基礎能力とも表現できる。
    GPTに対する入力のこと。
    どのような出力をさせるかのコントロールが可能。検索結果や会話履歴
    などの付加情報や、どんな振る舞いをさせるかの指示もこれに含まれる。
    文脈 自身の言語出力の結果を含めたすべてのコンテキスト。
    (厳密にはプロンプトも含まれる)
    従来の機械学習モデルには基本的に存在しなかった要素
    

    View Slide

31. Fine tuning と Prompt Engineering との位置づけ
    精度向上の主要作業の優先度はPrompt Engineering側へシフト
    獲得される効果
    (一部主観)
    言語能力・長期記憶
    (永続的だがあくまで基礎の言語生成能力や知識を強化)
    使用上の懸念点
    膨大なリソースおよびデータ準備コスト
    かなり高度なLLM学習の知識
    セキュリティ・品質
    注意点
    学習データへの機密情報混入
    アノテーション品質
    使いどころ
    (一部主観)
    新しいタスクの獲得もしくは完成度向上
    出力フォーマットの限定
    (量が膨大な場合のみ)ドメイン知識・最新知識の獲得
    情報参照
    (より強く言語生成に影響するが揮発性)
    プロンプトのトークン入力制限
    プロンプトインジェクションなどの攻撃
    問いかけに対する適切な情報引き出し
    ドメイン知識・最新知識の補助
    タスクの指示
    出力フォーマットの指定
    Prompt Engineering
    Fine tuning
    ※やや主観的、抽象的ですがご容赦ください。
    

    View Slide

32. ユーザサイドの Prompt テクニック
    ＃ Tips 説明
    1 入力の明確化 5W1Hや出力文字数の目安を指定し、曖昧さを排除する
    2 ロールの付与 GPTに役割および熟練度を設定する。
    3 入力想定の教示 想定されるユーザからの入力内容を教える。
    4 出力形式指定 得たい出力形式を指定する。その例を書く。
    5 質問回答例示 想定質問、およびその回答の例示を与える。
    6 段階的推論 結論を書かずに段階的に記載するように指示する。
    7 目的の記載 手段だけでなく達成したい最終目的を書く。
    8 知識・解法の提供 解決に必要な知識や論理展開の情報を与えたり、生成させる。
    9 記号活用 プログラムに使われる記号や記法を取り入れる。 (マークダウン記法など)
    10 プログラミング活用 複雑だが順序の決まってる厳密な指示はプログラミング言語で記載する。
    11 構造化 構造化された形式で指示を書く。JSONやマークダウン記法など。
    12 再帰的修正 一度出力した内容を、観点別にGPTに修正させる。
    13 英語化 英語で指示を書き日本語で答えさせる。
    14 重要情報の後置 重要な情報はプロンプトの最後の方に記載する。
    15 直接表現の利用 否定語は使わず指示語を使うなど、婉曲表現を避ける。
    16 テンプレート活用 タスクに応じてテンプレートを用意しておく。
    ※ プロンプトの効果は普遍的なものではなく、モデルやバージョンや文脈によっても変わります。あくまで参考情報です。
    

    View Slide

33. 開発サイドの Prompt Engineering (UIの裏で与える)
    Prompt Processing※
    プロンプト自体の情報が足りない場合や、AIに解釈しづらい場合に
    プロンプトの与え方を変えるなどの加工処理。
    ※本発表での独自名称
    Few-shot Learning
    プロンプトに問いに対する回答例をいくつか提示し、
    回答形式や振る舞いをプロンプトで学ばせる手法。
    数個レベルの例示でも精度向上が見られることがある。
    ReAct
    内部情報からの言語的な生成だけでなく、プロンプトから必要なタスクを動的に認識させ、
    検索や計算など外部APIを活用した情報を取得(Grounding)し、その情報を付加して回
    答を返すという考え方。
    Chain of Thought
    (CoT)
    大規模言語モデルにおいては、段階的に考える工程を与えることで
    難しい問題でも解決ができるようになる性質。
    ReActやSelf ConsistencyもCoTの考え方を継承している。
    Recursively Criticizes
    and Improves (RCI)
    GPTの出力をGPT自身に吟味させて、修正させる考え方。
    繰り返し実行することで出力がブラッシュアップされる。
    特にプログラミングコードなどが動作するように用いられることが多い。
    

    View Slide

34. 単純なタスクでもプロンプトと後処理はどんどん複雑化
    Input
    ツール判別・入力情報生成
    Web検索 画像生成
    回答生成
    ツール判定結果
    GPT
    GPT
    回答生成
    画像生成
    Web検索
    タスク、InputのJSON
    検索結果 生成画像
    参考：Baby AGIのパイプライン@yoheinakajima
    DALL-E2
    bing Search
    入力
    検索結果
    入力
    画像
    # User_input {User_input}
    # tool
    - Image_gen: <ツールの役割、Inputパラメータなどの情報>
    - Web_Search: <ツールの役割、Inputパラメータなどの情報>
    # instruction User_inputに書かれた目的を達成するために必要なtoolを選択し、そのInput
    パラメータを出力してください
    # Question {User_input}
    # Search_Result {Search_result}
    # instruction Search_Resultの結果を踏まえてQuestionへ返答してください。
    ※ プロンプトはかなり簡易化しています
    Prompt
    Prompt
    

    View Slide

35. 近日公開
    Azure Machine Learning
    “Prompt flow”
    Customer Benefits
    • 選択した フレームワーク と API を使用し、
    さまざまな 言語モデル と データソース を使用する
    AI ワークフローを作成
    • 1つのプラットフォームで 生成 AI ワークフロー の
    構築、調整、評価を 迅速に反復
    • 事前構築済の指標で AI ワークフロー の品質を評価
    

    View Slide

36. View Slide

37. Prompt Engineering をフォローするMS発OSS Semantic Kernel
    # コンポーネント 説明
    1 Ask ユーザからリクエストおよび目標設定。
    2 Kernel
    カーネルは、開発者によって定義されたパイプライン/チェーンを実行することで、ユーザーの
    要求をオーケストレートする。チェーンが実行される間、カーネルによって共通のコンテキスト
    が提供されるため、データを関数間で共有可能。 Langchain でいうChainに近い。
    2.1 Memories 専用のプラグインを使用することで、開発者はベクトルデータベースにコンテキストを記憶・
    保存できる。これにより、開発者はAIアプリケーション内でメモリをシミュレート可能。
    2.2 Planner
    開発者が Semantic Kernel に対して、ユーザーの新しいニーズに対応するためのチェーン
    を自動作成するよう要求すると、 Planner は、既にカーネルにロードされているプラグイン
    を組み合わせ実行計画を動的に生成。
    2.3 Connectors
    追加のデータを取得したり、自律的なアクションを実行するために、 Microsoft Graph
    Connector kit などの既存のプラグインを使用するか、カスタムコネクタを作成して独自の
    サービスにデータを提供できる。
    2.4
    カスタムプラグイン
    (旧 スキル)
    Semantic Kernel内で実行されるカスタムプラグインを作成できる。プラグインはLLMプロ
    ンプト（意味関数）またはC#またはPythonコード（ネイティブ関数）から構成。新しい
    AI機能を追加し、既存アプリやサービスを Semantic Kernel に統合可能。
    3 Response カーネルが完了したら、応答をユーザーに送信して処理の完了を通知可能。
    Orchestrate your AI with Semantic Kernel | Microsoft Learn
    Microsoft が LLM をアプリ開発に統合するための OSS「Semantic Kernel」を発表 - Qiita
    

    View Slide

38. Prompt Engineering を補助する OSS の現在の位置づけ
    大
    機能数 主な特徴
    中
    小
    現在最も広く用いられている。非常に多機能で、日々目まぐるしく
    アップデートされる。ユーザが意識しなくとも複雑なプロンプトを裏で動
    かせるよう抽象化されている。
    Copilot Stack の中心と位置づけられ、MS製品や OpenAI との
    足並みを揃えている印象。Langchain ほどではないが多機能で、
    基本的な開発ならSKだけで完結する。ある程度カスタマイズも想定
    されている。C#の開発が早いが Python ライブラリも増強されてきた。
    機能は少なめ。プロンプト・出力をシンプルかつコントローラブルにす
    ることを主眼に置かれている印象。細かいところまで自分で制御し
    たいというユーザから好評。
    高
    抽象度
    中
    低
    非MS
    開発元
    MS
    MS
    langchain
    Semantic
    Kernel
    guidance
    早い
    更新
    スピード
    中
    中
    Langchain・Semantic Kernel・guidanceでエージェント機能を実装して比較してみた。 - Qiita
    ※ 現状の動向を主観でマッピングしており、開発元の意思とは異なります。今後の方針転換も有り得ますので、ご使用の際は公式ドキュメントを必ず参照してください。
    

    View Slide

39. LLMOps
    

    View Slide

40. GPTシステムにおけるログの重要性
    Web
    Browser
    Azure OpenAI
    Service
    Azure
    API Management
    アプリケーション
    (Optional)
    Azure AD
    Azure Cosmos DB
    Log analytics
    Blob Storage
    Azure Datalake Storage
    App Gateway ほか
    監視
    分析
    アプリケーション
    利用
    ユーザのプロンプト分析。回答精度の改善、
    マーケティング等の活用にも。(次ページ)
    コスト管理やユーザ属性などの集計。
    不正や攻撃の監視やアラート設定も。
    会話履歴の再利用などに活用。
    本家OpenAI社のChatGPT UI版も
    Cosmos DB を利用。
    

    View Slide

41. プロンプトログの分析によるGPTシステム継続改善例
    Blob Storage
    Azure Datalake Storage
    Azure
    Machine Learning
    データ取得
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    ~~~~~
    プロンプトログ
    Azure OpenAI
    Service
    Embedding + クラスタリングを施し
    プロンプトの傾向を分析→ FAQデータベース化へ
    Sentiment分析にかけ
    回答の良し悪し分類→テストデータ化やメタプロンプト改善
    独自のContent filteringトレーニングに用いて
    不正検知やプロンプトインジェクション対策
    レコメンドアルゴリズムへのインプットにして
    より高度なパーソナライズへ
    

    View Slide

42. Azure OpenAI 設定可能なコンテンツフィルター (preview)
    

    View Slide

43. AIネイティブなアーキテクチャでの運用へ
    自然言語や画像といったデータの処理にはAIが多用される。
    コストやパフォーマンス面も加味して、従来の用途固定AIの活用もキーポイントに。
    社内独自の技術である〇〇について
    詳しく教えてください。
    GPT
    入力補完
    翻訳
    コンテンツ
    フィルタリング
    音声入力
    検索エンジン
    固有表現抽出
    Embedding
    ドキュメント情報圧縮
    Doc A Doc B Doc C
    

    View Slide

44. GPTシステムと組み合わせることが多い AI サービス
    ドキュメントからのテキストや表の抽出に
    プロンプトインジェクション対策に
    ユーザの感情ログの解析に
    音声入力UIに
    高度な文字読み取りに
    画像キャプションに
    Form Recogizer
    Custom text classification
    Sentiment Analysis
    Speech to text
    Generate image captions
    Read text from images
    

    View Slide

45. Azure Machine Learning モデルカタログ
    オープンソースの LLM をはじめ、
    Hugging Face のモデル や OpenAI
    モデルまでカバー
     Discover: さまざまなコレクションから
    ファウンデーションモデルを探索
     Evaluate:モデルの適合性をテストし、
    評価メトリックを使用してパフォーマン
    スを視覚化します。
     Fine-tune: 独自のデータを利用した
    カスタマイズが可能
     Deploy: 事前トレーニング済みまたは
    微調整済みのモデルをリアルタイムま
    たはバッチ推論に利用
     Import: 最新のオープンソースモデル
    をインポートして、最新情報を入手
    https://aka.ms/AzureML_FoundationModels_blog
    Public Preview
    

    View Slide

46. View Slide

47. Microsoft の GPT システム開発支援のまとめ
    Azure OpenAI Service による GPT の API 提供
    Plugin Prompt Engineering LLMOps
    Add Your Data機能
    Plugin プラットフォーム統合
    Prompt flow
    Semantic Kernel / guidance
    コンテンツフィルタはじめ
    構築済みAIサービス
    Azure Machine Learning
    (モデルカタログ他)
    大量の GPT プロジェクト経験に基づく豊富な人材
    ハンズオンメニュー、サンプルコード、関連ブログなどリファレンスの充実
    各種 Copilot で培った自社サービスへの GPT 組み込みノウハウ
    

    View Slide