独自の生成AI環境構築ができる Copilot Studio & Azure AI Studio

Slide 1

Slide 1 text

独自の生成AI環境構築ができる -Microsoft Copilot Studio -Azure AI Studio Microsoft Corporation Asia AI Global Black Belt Solution Specialist 金光大樹

Slide 2

Slide 2 text

Best Friends Language GPT-4, 4-Turbo 3.5-Turbo Multi-Modal GPT-4o mini GPT-4o GPT-4-Turbo with Vision Fine Tuning GPT-4 GPT-3.5-Turbo Images DALL·E 3 Transcription & Translation Whisper Ensure that artificial general intelligence (AGI) benefits humanity Empower every person and organization on the planet to achieve more Azure OpenAI Service Azure AI Studio GA On Your Data GA Assistants API Preview Provisioned Throughput

Slide 3

Slide 3 text

AIは私たちの共通基盤となっている Copilot を買う Copilot を創る Azure OpenAI Service infrastructure, model, safety filters

Slide 4

Slide 4 text

AIは私たちの共通基盤となっている Copilot を買う Copilot を創る Azure OpenAI Service infrastructure, model, safety filters

Slide 5

Slide 5 text

Microsoft Cloud お客様のデータ基盤モデル & AIツールチェーン AIインフラストラクチャ AIオーケストレーション Microsoft Copilot Studio Microsoft Copilot お客様のCopilot Microsoft apps Copilot を創る手段の位置づけ Azure AI Studio Microsoft Copilot Studio 市民開発者向け AI開発者向け Visual Studio 開発者向け Microsoft Fabric データ関連ロール向け Power Platform AI Content Safety 開発者向け AI開発者向け市民開発者向けデータ関連ロール向け

Slide 6

Slide 6 text

さまざまなニーズのためのさまざまな手法ルールベースのダイアログマネジメントと、あらかじめ組み込まれたLLMによる会話オーケストレーション Copilot外のデータソースとの接続再設計されたビジネスプロセスとワークフローを呼び出す特定の質問に対するCopilotの回答を設定するプロンプトエンジニアリングでLLMを構成するマネージドSaaS、インフラ不要、セキュリティとガバナンスを内蔵インフラを独自に管理し、カスタムの開発とセキュリティ Azure AI Studio Standalone Included in Copilot for M365 Microsoft Copilot の拡張データおよびワークフローを使用して、顧客または社内向けのCopilotを、あなたに適したチャネルで構築カスタム Copilot の構築 Copilot Studio Microsoft Copilot Studio カスタム Copilots の構築 | 1st party copilots の拡張

Slide 7

Slide 7 text

Copilots と Conversational AI Build and extend across the Microsoft ecosystem Microsoft Copilot Studio カスタム Copilots の構築 | 1st party copilots の拡張 Bot Framework / SDK Bot Service Channels Azure AI Studio Azure Cognitive Services Power Platform Connectors AI Builder カスタム copilots Microsoft 365 Biz Apps & Power Platform Other Microsoft Copilots Copilot for Microsoft 365 の拡張 Dynamics 365およびPower Productsでの Copilotエクスペリエンスの拡張企業やサードパーティ向けのカスタム Copilotの構築 Copilot for Sales Copilot for Service Power Platform 他のMicrosoft Copilotエクスペリエンスを拡張

Slide 8

Slide 8 text

Slide 9

Slide 9 text

ローコードでオリジナルの Copilot を創る • 定義していないトピックについて生成AI で回答する • 社内のSharePoint ドキュメント等に対して質問する • すぐに公開することができ、会話内容などのインサイトからすぐに微調整をすることができる Copilot Studio

Slide 10

Slide 10 text

Copilot Studio 外部向け Copilot 内部向け Copilot Copilot for Microsoft 365 の拡張スタンドアロン生成AIチャットボット more Microsoft Copilot Studio 構成

Slide 11

Slide 11 text

Microsoft Copilot Studio 構成外部向け Copilot 内部向け Copilot Copilot for Microsoft 365 の拡張 more 対応データソース 1. 公開サイト 2. SharePoint/OneDrive 3. アップロードしたファイル 4. Azure OpenAI on your data 5. Bingカスタムサーチ 6. カスタムデータソーススタンドアロン生成AI チャットボット

Slide 12

Slide 12 text

Microsoft Copilot Studio 構成 Copilot Studio 外部向け Copilot 内部向け Copilot Copilot for Microsoft 365 の拡張スタンドアロン生成AIチャットボット more

Slide 13

Slide 13 text

内部向け/外部向けのCopilot 外部向け Copilot 内部向け Copilot Teams やPower Apps、SharePoint など Entra ID 認証を伴うサイトへの公開認証を伴わない公開サイトへの公開

Slide 14

Slide 14 text

https://copilotstudio.microsoft.com/ にアクセス Copilot を作成 Copilot に名前をつけ、参照するURLを指定 (公開Webサイトの場合こちらで完了。認証を伴うサイトの場合、セキュリティ設定を実施) Copilot が利用可能に Step 1 Step 2 Step 3 日本語一般提供生成AI 搭載のCopilot の作成はこんなにも簡単

Slide 15

Slide 15 text

作成生成AI搭載チャットボットの作成と公開

Slide 16

Slide 16 text

• 公開サイトのURLを指定するのみで作成可能 • 最大4個のURLを指定可能 • 自社の公開FAQサイトなどに接続して外部向けのCopilot 等に利用可能 • Bing Search APIまたはBing Custom Search API Bing Bing Search / Bing Custom Search 公開サイトをソースとして生成型の回答を行う

Slide 17

Slide 17 text

アップロードしたファイルをナレッジとして生成型の回答を行う • アップロードされたドキュメントは Dataverse 保存 • アップロードできるドキュメントの数は Dataverse 環境で利用可能なファイルストレージに制限 • 1ファイルあたり3MB上限以下のタイプのファイルがサポートされています。 • Word 文書 (.doc、.docx) • Excel スプレッドシート (xls、xlsx) • PowerPoint ドキュメント (.ppt、.pptx) • PDF ドキュメント (pdf) • テキストドキュメント (.txt、.md、.log) • HTML ファイル (html、htm) • CSV ファイル (CSV) • XML ファイル(xml) • OpenDocument ファイル (odt、ods、odp) • EPUB ドキュメント (epub) • リッチテキスト形式のドキュメント (rtf) • Apple iWork ドキュメント (Pages、Key、Numbers) • JSON ファイル (JSON) • YAML ファイル (yml、yaml) • LaTeX ファイル (tex) アップロードされたドキュメントを生成型の回答データソースとして使用する (プレビュー) - Microsoft Copilot Studio | Microsoft Learn

Slide 18

Slide 18 text

• 生成的な回答と、Step by Stepのトピックを組み合わせて、完全にコントロール • アクション、プラグインを作成し、1,400 以上の組込み済みコネクタ、カスタムコネクタを使用してバックエンドシステムに接続します。 • ビジネス上の質問に答えるためのナレッジ • ビジネス上の成果を促進するためのアクション • ビジネス上の正確性を上げるためのトピックトピックとアクションのカスタマイズ

Slide 19

Slide 19 text

プラグインや会話トピックの呼び出しタイミングを事前定義することなく、最適なタイミングでAIが自動選択して実行  プラグインを動的に連鎖させることで、ユーザーのリクエストを網羅的対応  回答やプラグインの実行に必要な情報を得るために、ユーザーから引き出すべき情報を、ボットが自動的にユーザーへ質問  開発者がユーザーの質問や指示を予測して多くのパターンを作成する作業が不要ジェネレーティブ AI を使用してコパイロットのトピックとアクションを調整する - Microsoft Copilot Studio | Microsoft Learn 生成アクション (プレビュー)

Slide 20

Slide 20 text

Analytics トピックトピックアクションアクショントピック Custom Custom Entity Entity Entity Microsoft Dataverse + mroe チャネル RBAC ALM クラウドフロークラウドフロークラウドフローコネクタ & HTTP リクエスト生成型の回答クラシックトリガーフレーズが最も近いトピックを選択生成アクション（プレビュー）トピックとアクションの説明等から、1 つ以上のアクションまたはトピックを選択ユーザプロンプト応答の判断ナレッジクエリーの書き換えコンテンツ検索要約プロンプト Copilot Studio のアーキテクチャ

Slide 21

Slide 21 text

すぐに公開が可能：チャネル • Microsoft 1stパーティチャネルへの公開 • Microsoft サービス外の各種チャネルへの公開 • カスタムWebサイトへの埋め込み

Slide 22

Slide 22 text

会話内容を分析し、洞察を得る • 会話を分析し、何がうまくいっていて、何を改善すべきかを理解する。 • Copilot のパフォーマンスを向上させるために、洞察に基づき、カスタム回答や条件分岐でさらにトピックを改善します。

Slide 23

Slide 23 text

セキュリティ • グローバルにセキュアなSaaS - HIPAA、 HITRUST、PCI準拠 • 完全な管理コントロールとガバナンス • データ損失防止、監査ログ、さまざまな管理コントロールを含むデフォルトでセキュア • システムは、誰が話しているのか、また、どのような権限とアクセス権を持っているのかに基づいて、応答を調整 • マイクロソフトのResponsible AI - 攻撃からの保護、コンテンツ制御、フィルタリングなどを完備

Slide 24

Slide 24 text

エージェント機能付き Copilot Copilot triggered メールの意図を理解新規サービスチケットを作成以前の会話の確認在庫確認 CRMのアカウントを検索発注確認が取れたらチケットを閉じるメール受信注文履歴の照会送信者にステータスを返信し、満足しているかどうかを尋ねる Early Access Preview • 会話だけでなく、イベントによってトリガー可能 • 長時間の非同期 Copilot を自動化し、オーケストレーションする。 • 人間が設定したガイドレールに従い、助けを求める • インタラクションごとに監視し、学習し、改善

Slide 25

Slide 25 text

Slide 26

Slide 26 text

プロコードでオリジナルのCopilot を創る • 生成AI開発に必要な機能が統合されたAIプラットフォーム • 必要なAPI/モデルを自由に選択可能 • 独自データの活用することができ、コンテンツ保護機能も柔軟に設定可能 AI Studio

Slide 27

Slide 27 text

Azure AI 最先端の AI 基盤モデル Azure AI Services 学習済み、カスタム可能なインテリジェントアプリを実現する AIソリューション Responsible AI Tooling 信頼性の高める設計によるアプリの構築と管理 Azure Machine Learning AIモデルを設計、管理するためのフルライフルサイクルツール Azure AI Studio カスタムコパイロットを開発、デプロイするための包括的なプラットフォーム

Slide 28

Slide 28 text

様々なユースケース、 AIサービスを簡単に検証可能 Azure AI Services をすぐに利用

Slide 29

Slide 29 text

Models-as-a-Service (MaaS) 最先端のモデルとオープンモデルの幅広い選択肢 Azure logo Azure OpenAI Service GPT-4o ・GPT-4o mini GPT-4-Turbo with Vision, GPT-4, GPT-3.5 Embeddings DALL·E Whisper, Text to speech Phi models Phi-3-mini Phi-3-small Phi-3-medium Phi-3-vision Meta Llama-2-70b/70b-chat Llama-2-13b/13b-chat Llama-2-7b/7b-chat Llama-3 ・ Llama-3.1 CodeLlama Mistral AI Mistral Large Mistral 7B Mixtral 8x7B – Mixture of Experts Cohere Cohere R+ Cohere R Embed v3-Multilingual Embed v3-English Hugging Face Falcon/TII Stable Diffusion/Stability AI Dolly/Databricks CLIP/OpenAI Databricks Databricks/dbrx-base Databricks/dbrx-instruct NVIDIA Nemotron-3-8B-4k Nemotron-3-8B-Chat-SFT/RLHF/ SteerLM Nemotron-3-8B-QA Snowflake Snowflake/arctic-base Snowflake/arctic-instruct

Slide 30

Slide 30 text

柔軟な展開オプションを提供するモデルカタログマネージドコンピューティング • マネージド Azure VM への展開 • 最適化されたコンテナーを起動し、重みを初期化するワンクリック展開 • GPU ごとの課金 • 数百のオープンモデル Azure Open AI Service として提供されるサーバーレス API • すぐに使用できるモデル API • トークンごとまたはプロビジョニングされた容量ごとの課金 • 30 以上の主力モデル

Slide 31

Slide 31 text

• 柔軟なオーケストレーションツールでワークフローを開発・管理 • さまざまなモデルやデータベースへの接続、大規模なデータセットによる効率的な評価 • さまざまなシナリオを評価してパフォーマンスを最適化 • Prompt Flowは、SDK、CLI、VSコードエクステンションを通じて、開発者にとって使いやすいコードファースト体験を提供 • また、自動化のためのオープンソースフレームワークやCI/CDパイプラインとのシームレスな統合が可能 Prompt Flow

Slide 32

Slide 32 text

• アプリケーションのトレースを可視化してくれる。 • 異なるバージョンのアプリケーションの結果を容易に比較可能になる。 • アプリケーションの各ステップの挙動（入出力、処理時間、トークン数など）を詳細にキャプチャ。 • SDKで2行のコードを追加するだけで、トレースが可能。 • Prompt Flow SDK、Langchain、Semantic Kernel、 AutoGen など主要なフレームワークでサポート。モデルとアプリケーションのトレースを視覚化して、ワークフロー実行中のログを集約、パフォーマンスのボトルネックを特定、デバッグプロセスの合理化が可能にトレーシング & デバッグ Azure AI Studio 以外の環境でも Prompt Flow SDK (+2行のコード) を追加することでトレースを可能に AI ワークフローのオーケストレーションとデバッグ

Slide 33

Slide 33 text

• 組み込み(プリセット、自動) およびカスタム評価では、AIアプリから生成された出力を迅速かつ包括的に評価し、継続的な改善のためのフィードバックを合理化 • アプリケーションを迅速かつ継続的に反復し、進行中の変更の影響を追跡するために、モデルの出力を手動で評価可能組み込み済み & カスタム評価

Slide 34

Slide 34 text

• グラウンディング性、一貫性、流暢さ、関連性、類似性などの豊富な事前構築済みメトリックセットを使用して、ワークフローの品質を評価 • 自傷行為、暴力、性的行為などの安全指標を有効にして、モデル出力から有害なコンテンツを監視 • トークンの使用状況やレイテンシーなどの運用指標を追跡し、最適なシステムパフォーマンス、コスト効率、ユーザー満足度を確保 • 組織の目標に基づいて違反のアラートを構成し、定期的なモニタリングを実行安全かつコンプライアンスに準拠するための品質、安全性、運用の指標をモニタリングして、生成 AI アプリを監視モニタリング設計、チューニング、テスト、展開を 1 つのプラットフォームに統合プロセスを簡素化し、開発者のワークフローを強化ワークフローの運用と監視

Slide 35

Slide 35 text

• 憎悪、性的、暴力的、自傷行為につながる可能性のある不適切なレスポンスを監視する。 • ユーザの要件に基づき、フィルタの閾値を変更してブロックコンテンツのレベルを制御。 • Jailbreak Risk Detection（脱獄リスク検出）を使用して、意図しない動作や危険な動作を伴うユーザープロンプトを検出。 • ハルシネーションを防ぐ根拠性検出機能 • 保護済み素材（歌詞、ソースコードなど）を検知して、著作権侵害のリスクを低減する。 Azure AI Content Safety

Slide 36

Slide 36 text

36 Microsoft Fabric Community Conference 2024 • さまざまなコンテンツモデレーションシナリオを評価するためのツール。 • コンテンツの種類、プラットフォームのポリシー、ユーザーへの潜在的な影響など、さまざまな要因が考慮されます。 • Configure フィルターを使用してテストを再実行し、テスト結果をさらに微調整します。検出して操作する特定の用語をブロックリストに追加します。 Azure AI Content Safety ~マルチモーダルコンテンツ~

Slide 37

Slide 37 text

Assistants API として、複雑なタスクを実行させるためのツールを設定可能 • ファイルアクセス • 実行環境(Code Interpreter) • 関数 Agents