Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Microsoft Copilot Studio について

MiyakeMito
December 07, 2023

Microsoft Copilot Studio について

MiyakeMito

December 07, 2023
Tweet

More Decks by MiyakeMito

Other Decks in Technology

Transcript

  1. Microsoft Copilot Studio について
    三宅 秀雄 / Miyake Mito
    RB08

    View full-size slide

  2. Silver Sponsor
    本イベントのスポンサー様
    ダイキン工業㈱
    Facilities & Staff Sponsor
    Gold Sponsor

    View full-size slide

  3. 三宅 秀雄(Miyake Mito)
    @MiTo60448639
    https://qiita.com/MiyakeMito
    株式会社アイシーソフト
    Technical Manager
    www.icsoft.jp
    https://speakerdeck.com/miya
    kemito

    View full-size slide

  4. 気ままに勉強会
    気ままに勉強会 - connpass
    Power Automate メインの勉強会です。
    Power Automate の周りにある様々なサービスも交えて、
    いろんなことをみんなで一緒に勉強してスキルアップしていけるよ
    うな勉強会を目指しています。
    土曜日
    20:00~21:30
    開催

    View full-size slide

  5. Power Virtual Agents MVP
    Power Virtual
    Agents

    View full-size slide

  6. connpass (独立発行者) コネクタが
    Microsoft に認定されました
    https://learn.microsoft.com/ja-jp/connectors/connpassip/
    イベント情報のキャッチや
    管理に便利です
    是非ご利用ください!

    View full-size slide

  7. 免責事項
    当スライドは、
    2023年 12月現在のバージョンでの情報です
    今後のアップデート等により、
    仕様変更する可能性があります。
    また、私の見解による内容が含まれます
    間違いなどありましたらご指摘ください。

    View full-size slide

  8. Copilot Studio
    の概要

    View full-size slide

  9. Microsoft Copilot Studio とは
    自然言語またはグラフィカルインターフェースを使用して、Copilot(ボット)を作成およ
    びカスタマイズできる、エンドツーエンドの会話型 AI プラットフォーム。
    Copilot Studioを使用すると、業界、部署、役割の枠を超えて、社内外のシナリオに合わせ
    た特定のニーズに合った Copilot を簡単に設計、テスト、公開できる。
    ➢ Microsoft 365 用の Copilot (Public Preview) へ、プラグインを作成、管理、発行するこ
    とで、カスタマイズを可能とする機能が追加された。
    ➢ Power Virtual Agents は、生成 AI と Microsoft Copilot 全体の統合により Copilot Studio の一
    部になったが、Power Virtual Agents の「チャットボットを作成し様々な内外部チャネル
    で公開する機能」は継続して利用可能。
    ボット
    チャットボット
    Copilot

    View full-size slide

  10. Copilot Studio の機能
    Copilot Studio: Satya Nadella at Microsoft Ignite 2023

    View full-size slide

  11. 365テナント
    Copilot Studio (Teams)
    Copilot Studio 全体像(不確定部分あり)
    Copilot Studio(Webアプリケーション)
    トピック
    会話プラグイン
    生成AI(生成型回答)
    Copilot for
    Microsoft 365
    チャット
    ボット
    公開
    公開
    HTTP要求
    etc.
    プラグイン
    アクション
    AI プラグイン
    Copilot で作成と編集
    トピック 生成AI
    etc.
    AI Builder プロンプト

    View full-size slide

  12. Copilot Studio の機能
    編集 呼び出せるサービス トリガー Input Output 日本環境
    トピック Copilot デザイナー
    Power Automate クラウドフロー
    プラグインアクション
    Bot Framework スキル
    HTTP要求
    生成AI(生成型回答) など
    Teams、Webサイト、Facebook、Slack、
    Skype、LINE などのチャネルに公開した
    チャットボットでのトリガーフレーズ
    トリガーフレーズ
    質問
    など
    メッセージ

    「Copilotから作
    成/編集」は日本
    リージョン未
    会話プラグイン Copilot デザイナー ↑
    Copilot for Microsoft 365
    Copilot for Sales など
    (プラグイン名称がトリガー?)
    Copilot for Microsoft 365
    Copilot for Sales など
    のプロンプト
    メッセージ 〇
    AIプラグイン Copilot Studio ホーム
    Copilot デザイナー
    OpenAI プラグイン
    AI Builder プロンプト
    Power Automate フロー
    カスタムコネクタ

    Copilot for Microsoft 365
    Copilot for Sales など
    のプロンプト
    メッセージ
    ×
    米国リージョン
    のみ
    プラグイン
    アクション Copilot デザイナー
    事前構築コネクタ
    カスタムコネクタ
    Power Automate クラウドフロー
    Bot Framework スキル
    トピック
    会話プラグイン から
    (アクション)
    各サービスの入力パラ
    メータ
    各サービスの出
    力パラメータ

    AI Builderプロンプト
    AIプロンプト
    Copilot Studioホーム
    Power Appsホーム
    Power Automateホーム
    AI Builder GPTによるテキストの生
    成やドキュメントの要約など
    AI Builder テキスト処理
    AIプラグイン
    GPT:プロンプト
    AI Builderモデル:入力テ
    キスト
    メッセージ
    ×
    米国リージョン
    のみ
    生成AI
    生成型回答
    Copilot デザイナー
    生成AI

    トリガーフレーズが一致しないユー
    ザーの要求
    トピック(生成型の回答)
    フレーズ
    ユーザーの応答全体
    など
    メッセージ

    英語のみ
    スキル Copilot デザイナー Bot Framework SDK などで構築され
    た組織内でボット
    トピック
    会話プラグイン から
    (アクション)
    テキスト、音声、画像、
    ビデオ
    メッセージ 〇
    (※ 2023/12/7 時点 米国環境にて確認)
    New!
    New!
    未展開
    未展開
    New!

    View full-size slide

  13. Copilot Studio と Copilot Studio for Teams
    Power Platform ライセンスガイド December 2023 より
    機能 Microsoft Copilot Studio
    $200/テナント/月
    一部の Microsoft/Office 365
    ライセンスに含まれる
    Copilot Studio for Teams
    The output you create is… Your own standalone copilot Teams チャットボット
    Copilot/プラグインを利用可能なチャネル
    外部 channels (例:外部 Web, FB, WhatsApp etc.)
    内部 Channels (例:内部 Web, Teams, etc.)
    Teams チャネル/チャット
    メッセージ/テナント/月 25,000 Messages 無制限 (Teams のみ)
    生成AI:AI対応の会話 ● -
    独自のスタンドアロンCopilotの構築 ● -
    拡張された自然言語理解を使用して、Copilot トピックを作成 ● ●
    Power Automate for Copilot Studio クラウドフロー(自動フ
    ロー、インスタントフロー、スケジュールフロー)を、
    Copilot Studio の作成コンテキスト内で実行できます。
    ● -
    標準Power Platform コネクタ ● ●
    プレミアムコネクタ、カスタムコネクタ ● -
    オンプレミスとクラウドのデータ転送 ● -
    Dataverse へのフルアクセス ● Dataverse for Teams
    大規模な管理とガバナンス ● -
    誤記?
    (であって
    ほしい)

    View full-size slide

  14. 価格と試用版について
    ライセンス価格
    ¥25,000/月(年間契約)/ ¥300,000/年(年間契約)
    Power Virtual Agents 特別オファー価格から据え置き
    PVAではセッション数に上限(2,000)があったのに対し、
    メッセージ数(25,000)上限となった。
    試用版の利用が可能
    ここから
    Microsoft Copilot Studio | Copilot の拡張または独自のものの作成
    生成AI がデータに対して回答する場合は
    2メッセージでカウントされる。

    View full-size slide

  15. Copilot を利用し
    トピックを
    作成/編集

    View full-size slide

  16. Copilot を利用して作成/編集
    AI と会話しながらトピックを作成や編集
    可能。
    ボットの動作について説明を書くと
    Copilot がトピックを生成/編集する。
    現状、Copilot からはメッセージ、質問、
    および条件ノードのみ作成に利用され
    る。
    利用しない場合は、設定からOFFでき

    URL は最大 2 段階の深さで指定

    View full-size slide

  17. プラグイン
    アクション

    View full-size slide

  18. プラグインアクション
    トピックで Power Platform コネクタや、クラウ
    ドフロー、スキルを呼び出し、ボットの機能を
    拡張できる。
    ➢ トピック内で利用する(プラグインアクショ
    ン単体では、ユーザーの応答に動作しない)
    ➢ トピックや会話プラグインで、コネクタやク
    ラウドフローを呼び出すことは可能。
    プラグインアクションを利用すると、入力と
    出力パラメータの取得や送信をGPTが生成す
    る。
    ➢ ユーザー自身がメッセージやアダプティブ
    カードで出力も可能
    事前構築コネクタ
    カスタムコネクタ
    Power Automate クラウドフロー
    Bot Framework スキル
    Microsoft Copilot Studio でプラグイン アクションを使用する
    (プレビュー) - Microsoft Copilot Studio |Microsoft Learn

    View full-size slide

  19. Copilot
    プラグイン

    View full-size slide

  20. Copilotプラグイン(Preview)
    Microsoft Copilot Studio でプラグインを作成し、Microsoft 製品全体の
    Copilotで使用可能。
    複雑な会話フローを手動で作成できるうえ、各サービスを呼び出し、ア
    クションを実行し、Copilot 利用者に回答を提供可能。
    Microsoft 365 テナント 内のすべてのプラグインは、Dataverse の中央
    プラグイン レジストリから共有され、 プラグインを作成または変更
    して公開すると、その変更はそのプラグインを使用するすべてのコパ
    イロットにプッシュされる。
    ➢ プラグインを作成するときは、プラグインが何を行うべきかを説明す
    る。
    次に、説明を読んで会話に最適なプラグインを決定するときにCopilot
    が使用するデータソースやその他の接続を提供します。
    ➢ コパイロットは、プラグインが機能するために必要な詳細情報を、
    ユーザーに自動的に要求する
    会話プラグイン
    AIプラグイン
    Copilot プラグインの作成 - 概要 (プレビュー) -
    Microsoft Copilot Studio | Microsoft Learn
    Copilot for Microsoft 365
    Copilot for Service
    Copilot for Sales
    Copilot in Power Apps
    Power Pages Copilot など?

    View full-size slide

  21. 会話プラグイン
    (Preview)

    View full-size slide

  22. 会話プラグイン(Preview)
    Copilot for Microsoft 365 から呼び出し可能な、
    Microsoft Copilot にネイティブに含まれていな
    い、組織独自の機能を作成できる。
    ユーザーが利用するには管理者のレビュー
    と承認が必要
    ➢ ユーザーは利用するプラグインをリストか
    ら選択できる模様
    トピックはユーザーと会話できず、ユー
    ザーからの受信クエリのみを引数として処
    理する(質問ノードは利用できない)
    応答はテキストのみ(アダプティブカード
    は不可)
    会話プラグインで作成したアクションは、
    プラグイン アクションとしては利用不可
    生成型回答を利用する場合、SPO、ODfBを
    ソースにできない
    URL は最大 2 段階の深さで指定
    Microsoft Copilot の会話プラグインを作成する (プレ
    ビュー) - Microsoft Copilot Studio | Microsoft Learn

    View full-size slide

  23. AIプラグイン
    (Preview)

    View full-size slide

  24. AIプラグイン(Preview)
    Copilot for Microsoft 365 をデータに接続したりアク
    ションを実行できる。
    利用できるプラグインは以下の4種
    AI Builderプロンプト プラグイン
    Power Automateフロー プラグイン
    カスタムコネクタ プラグイン
    OpenAI プラグイン
    ✓ Microsoft Copilot Studio でビルドしたカスタム
    コパイロットではプラグインを使用できない
    Microsoft Copilot の AI プラグインを作成する (プレビュー)
    - Microsoft Copilot Studio | Microsoft Learn
    Copilot Studio ホーム画面から
    Copilot Studio デザイナー画面から
    2023/12/07時点
    AI Builder プロンプト プラグイン
    のみ利用可

    View full-size slide

  25. AIプラグインの機能
    AI プラグインの種類 説明 Copilot Studio での作成 Power Platform での作成 2023/12/7 現在
    (Preview)
    AI Builder のプロンプト プロンプトを使用すると、ユーザーは自然で平易な言葉を使
    用して回答を取得し、Microsoft Copilot でアクションを実行
    できます。自然言語理解 (NLU) を使用してユーザーの意図を
    理解し、それを関連する情報、データ、またはアクティビ
    ティにマッピングします。
    AI Builder のプロンプトでコンテン
    ツを生成したり、分析情報を抽出し
    たりします
    Power Automate または Power Apps
    でカスタム プロンプト (プレビュー)
    を作成するCreate a custom prompt
    (preview) in Power Automate or
    Power Apps
    利用可能
    Power Automate フロー フローは、エンド ユーザーの環境全体でアクションを実行し
    たり、情報を取得したりできる Microsoft Copilot チャット内
    から呼び出すことができます。
    Power Automate フローでカスタム
    自動化を作成する
    ご利用いただけません 利用できない
    Power Platform
    カスタム コネクタ
    カスタムコネクタを使用すると、プラグインはAPIを介して
    アクセスされる外部ソースからデータを取得および更新でき
    ます。コネクタを使用すると、Salesforce、Zendesk、
    MailChimp、GitHub などの一般的なエンタープライズ システ
    ムからデータにアクセスでき、作成者が Power Apps やフ
    ローで日常的に使用しています。
    コネクタを使用して外部データを更
    新したり、外部データに関する回答
    を取得したりします
    Power Automate または Power Apps
    でコネクタ AI プラグイン (プレ
    ビュー) を作成するCreate a
    connector AI plugin (preview) in
    Power Automate or Power Apps
    利用できない
    OpenAI プラグイン Open AIプラグインは、データソースへのアクセスを提供し、
    一般的なモデルでは通常利用できないAIエクスペリエンスを
    通じて特定のデータを表示できるようにします。
    OpenAI プラグインを追加する) ご利用いただけません。 利用できない
    Create copilot plugins - overview (preview) - Microsoft Copilot Studio | Microsoft Learn
    複数の種類の AI プラグインを作成し、エンドユーザーに対する応答方法をカスタマイズ可能

    View full-size slide

  26. AI Builder
    プロンプト
    (Preview)

    View full-size slide

  27. AI Builderプロンプト(Preview)
    AI Builder 動的プロンプトを使用し、コ
    ンテンツの生成やインサイトの抽出を可
    能とする機能
    • 事前構築済みモデル
    苦情に応答する
    テキストを分類する(カテゴリ分類)
    テキストの感情分析(感情分析)
    テキストを要約する
    テキストから情報を抽出する
    (エンティティ抽出)
    • カスタムモデル
    GPTによるテキストの生成やドキュメ
    ントの要約など
    AI Builder - GPT プロンプト ビルダー | Microsoft Learn
    テキストからアクショ
    ンポイントを抽出する
    タスクに関するリマイン
    ダーをメールから取得

    View full-size slide

  28. 生成型回答
    (生成AI)

    View full-size slide

  29. 生成型の回答
    外部 Web のサイト、SharePoint、OneDrive for Business、
    ドキュメント、 カスタムデータソース(JSON)など、指
    定したコンテンツに基づいて、動的に回答を生成する。
    ユーザーからの予期しない質問にもボットが応答し、やり
    取りできるようになる。
    ドキュメントからの回答生成は Preview。
    公開Webサイトの設定は4つまで。
    米国リージョン以外で利用する場合は管理者の設定が必
    要。
    米国外のジェネレーティブ AI 機能のために地理的な場所間で
    データを移動する - Microsoft Copilot Studio |Microsoft Learn
    URL は最大 2 段階の深さで指定
    生成型の回答 - Microsoft Copilot Studio | Microsoft Learn
    生成型回答からの応答は
    2メッセージを消費するようです

    View full-size slide

  30. 生成型の回答
    トピックや会話プラグインに、生成回答の作成ノード
    を追加可能。
    指定した入力に基づいて、ノードが検索する追加の
    ソースを指定できる。
    ボットはチャット ウィンドウでのユーザーの対話に
    代わって外部ソースを呼び出すため、一部ソースで
    は認証が必要となる。
    Microsoft Entra ID のサービス プロバイダー タイプで
    手動認証を使用する必要方法
    ユーザー認証を構成する - Microsoft Copilot Studio |
    Microsoft Learn
    Bing Custom Search を使用すると5以上の公開Webサイト
    をソースとして扱える。
    公開データを検索するか、生成型の回答に Bing Custom
    Search を使用する - Microsoft Copilot Studio | Microsoft
    Learn
    検索と要約による生成型の回答 - Microsoft Copilot
    Studio | Microsoft Learn
    Bing Custom Search への切替え

    View full-size slide

  31. 生成型回答の情報ソース
    件名 Source Description 入力の数 認証
    Bing Search 外部 Bing に入力されたクエリを検索し、提供されたウェ
    ブサイトからの結果のみを返します
    4 つの公開 URL (microsoft.com など) None
    Bing Custom Search 外部 Microsoft Copilot Studio 外部の Web サイト構成に
    基づいてフィルターされたクエリ入力
    各検索 ID は 4 つより多くの URL を使用できます
    (Bing Custom Search は他の機能もあります) が、
    接続できるのは 1 つの検索 ID のみです
    None
    データ上の Azure OpenAI Internal リンクされた Azure AI Search インデックス (キー
    ワード検索、セマンティック検索、ベクトル検索)
    から結果を返します
    Azure OpenAI サービス接続によって定義済み ボット ユーザーの
    Microsoft Entra ID 認証
    ドキュメント(Preview) Internal アップロードされたドキュメントを検索し、ドキュ
    メントの内容から結果を返します
    .doc、.docx、xls、xlsx、.ppt、.pptx 、
    pdf、.txt、.md、.log)、html、htm、CSV、xml 、odt、
    ods、odp、epub 、rtf、Pages、Key、Numbers、
    JSON、yml、yaml、tex
    Dataverse ファイル ストレージの割り当てによる
    制限
    なし
    SharePoint Internal SharePoint の URL に接続し、GraphSearch を使用
    して結果を返します
    4 つの URL ボット ユーザーの
    Microsoft Entra ID 認証
    OneDrive for Business Internal OneDrive for Business の URL に接続し、
    GraphSearch を使用して結果を返します
    4 つの URL ボット ユーザーの
    Microsoft Entra ID 認証
    カスタム データ Internal JSON コード ブロックを使用して、使用する URL
    とコンテンツを定義します
    1 つの変数には、要約される JSON 結果が入力さ
    れます
    ソースに依存
    検索と要約による生成型の回答 - Microsoft Copilot Studio | Microsoft Learn

    View full-size slide

  32. Teams の
    Copilot Studio

    View full-size slide

  33. Copilot Studio for Teams の AI 機能
    生成AI
    トピックの重複の検出
    トピック間のトリガーフレーズの重複
    を検出する。
    その場でトリガーフレーズを修正でき
    る。
    チャットのトランスクリプトに基づく
    トピックの提案
    予め用意しているトリガーフレーズに
    一致しないエンドユーザーからのリク
    エストを分析し、提案を表示する機能。
    前回の提案から、少なくとも100件の新
    規会話が必要。
    ユーザーセッションが3以上必要。

    View full-size slide

  34. Copilot Studio
    の実装

    View full-size slide

  35. Copilot Studio の実装
    実装ガイドが Microsoft より公開されています。
    ➢ Success by Design を活用し、クラウドへの移行
    をよりスムーズに、より速く、成功に導くため
    の手順書。
    ➢ Copilot プロジェクトとアーキテクチャを確認し
    て、スムーズで効果的な実装体験を行えるよう
    にすることを目的とする。
    New Microsoft Copilot Studio implementation guide
    | Microsoft Power Virtual Agents

    View full-size slide

  36. ありがとうございました

    View full-size slide