Tweet
Tweet

Slide 1

Slide 1 text

最新AI アップデート ~Agentic World~ Daiki Kanemitsu Microsoft Global Black Belt AI

Slide 2

Slide 2 text

アジェンダ Microsoftの考えるエージェントとは何か？ エージェントに求める期待値と選定 エージェントの構築について さいごに

Slide 3

Slide 3 text

Building an agentic world パーソナル エージェント 組織のための エージェント ビジネスプロセスの ためのエージェント 組織間を超えた エージェント

Slide 4

Slide 4 text

Agentとはなにか？ AIエージェントは「デジタルやリアルの環境で、状況を知覚することで意思決定、アクションを起こし、目的を達成するためにAI技法を 適用する自律的または半自律的なソフトウェア」と定義。RPAなどとの違いは単調定型作業の自動化は同じであるが”自律性”が特 筆すべき違いであり、環境から情報を収集し、それに基づいた意思決定、論理的もしくは物理的なアクションを起こすことが可能に シンプル より高度 Retrieval 情報の取得 グラウンディングデータから、 ユーザーの質問を理由付 け、要約し回答します Task 依頼を受け行動する ワークフローを自動化し ユーザーの反復的なタスクを 置き換えます Autonomous 独立して動作する 動的な計画、他のエージェン トのオーケストレーション、 学習とエスカレーション -------------------------------- エージェントの役割とは？ ------------------------------- ニーズに応じて複雑さと能力のレベルが異なる

Slide 5

Slide 5 text

HR -新規採用業務のエージェント利用例 価値の変容 いままで – マニュアルワーク 他アプリ サービス 人事担当者 新規採用 採用フォーム/オペレーション 採用受入 (目的達成) 人事担当者 新規採用API 採用受入 (目的達成) 現在 – RAG AIチャットボット これから – Agent automation AIエージェント 確認/許可 新規採用 エージェント 人事担当者 新規採用 採用フォーム/オペレーション 採用受入 (目的達成) チャット ボット 人事担当者が新規採用を行う上での採用プロセスとオペレーションを行う場合の一例 今までの旧来型チャットボットと比較して、人の介在/負担する部分がよりシンプルに

Slide 6

Slide 6 text

アジェンダ Microsoftの考えるエージェントとは何か？ エージェントに求める期待値と選定 エージェントの構築について さいごに

Slide 7

Slide 7 text

日本マイクロソフトは、あなたの “Copilot“ として成長を支えます Microsoft Japan will empower and Copilot your growth 地球上のすべての個人とすべての組織が、 より多くのことを達成できるようにする Empower every person and every organization on the planet to achieve more

Slide 8

Slide 8 text

CopilotとはAIのUI Copilot Agents 利用者

Slide 9

Slide 9 text

CopilotとはAIのUI Copilot Agents 利用者 Front Door 利用者はCopilotをフロントサービス として利用、技術的な細部を意識 せずAIへのアクセスが可能に User Interface (UI) 利用者からの入力/出力を担い、 AIモデルやエージェントとの橋渡しを 任意/定期的に行うハブとして機能 Core models/actions ユーザーの質問に対して最適な回答を行 うための、必要なデータや知識を検索・ 設計し、最適な回答や結果を導く

Slide 10

Slide 10 text

CopilotとはAIのUI – 各挙動のイメージ 毎日使いのアプリでCopilot利用 Copilot Chat/ Office Copilotで すぐ使えるエージェントを利用 Microsoft 365 Copilot Copilot Studio Azure AI 業務特化エージェントを発行 カスタムCopilot、またはお客様固有の AIサービス内でイベント毎に自律的に 動作する業務エージェントを追加 固有のカスタムデータ/モデルを用意 特定業務データを用いたデータベース、 任意モデルを業務別にカスタムで利用 モデル タスク コネクタ/API提供 発行 独自エージェント UI 利用者 お客様固有 AIサービス Microsoft 365 Copilot Copilot

Slide 11

Slide 11 text

ビルトイン型エージェント サードパーティ型エージェント カスタマイズ型エージェント 市民開発者向け エージェントプラットフォーム 開発プロ向け エージェントプラットフォーム 様々なニーズに応じて細分化 エージェントを使う AI利用 エージェントを創る

Slide 12

Slide 12 text

ビルトイン型エージェント サードパーティ型エージェント カスタマイズ型エージェント 市民開発者向け エージェントプラットフォーム 開発プロ向け エージェントプラットフォーム 様々なニーズに応じて細分化 エージェントを使う AI利用 エージェントを創る 構築の難易度/カスタマイズの複雑性 高 Copilot組込型エージェント 外部エージェントとの連携 Azure AI Copilot Studio Agents in Microsoft 365 低 高

Slide 13

Slide 13 text

自然言語 コードファースト オフィスワーカー向け Copilot Agents 市民開発者向け Copilot Studio 開発者向け Azure AI Foundry スキルとニーズで使い分け

Slide 14

Slide 14 text

アジェンダ Microsoftの考えるエージェントとは何か？ エージェントに求める期待値と選定 エージェントの構築について さいごに

Slide 15

Slide 15 text

Azure AI Foundry The unified AI platform Announcing

Slide 16

Slide 16 text

Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning

Slide 17

Slide 17 text

Copilot Studio Visual Studio GitHub Azure AI Foundry SDK Design with the best models Azure OpenAI Service Phi models Jais G42 models Snowflake models Hugging Face models Mistral AI models Meta Llama models Rockwell Bayer Cohere models Databricks models Nvidia models Deci AI models Nixtla TimeGen1 NTT data model Sight machine Saifr DeepSeek Customize with a comprehensive agent toolchain 1P offerings 3P offerings Azure AI Agent Service Azure AI Search Microsoft Fabric Azure SQL Database Microsoft Bing Microsoft Blob Storage Microsoft SharePoint Langchain LlamaIndex Azure Redis Cosmos DB Azure Data Lake Storage Azure Logic Apps Azure Functions Event Hub Dynamic Sessions Llama Stack Code Interpreter Container Apps Azure Kubernetes Azure AI Speech Azure AI Language Azure AI Translation Azure AI Vision Azure AI Doc. Intelligence OpenAI Actions Gretel Azure AI Content Und. Semantic Kernel AutoGen Azure ML Prompty Fine-tuning & distillation Tracing & debugging Weights & Biases Scale Evaluation Experiments AI Toolkit for VS Code Statsig Arize AI Manage performance in production Azure Monitor Azure App Config Microsoft Cost Management ClearML Dataloop GitHub Actions Safeguard with Trusthworthy AI Azure AI Content Safety Microsoft Defender Entra ID Azure Policy Azure Application Gateway Azure Confidential Computing Azure Backup Azure AI Foundry agent ecosystem

Slide 18

Slide 18 text

Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning

Slide 19

Slide 19 text

お客様へのコミットメント 最新のイノベーションを同日提供 OpenAIのすべてのイノベーションを同日に同じ機能で提供します。 柔軟な利用オファリング 27の異なる地域、データゾーン、そしてグローバルで、標準、プロビジョニング、 バッチオプションを利用可能。 データはプライベートかつ安全 保存時および処理時のデータ管理、ならびにデータ漏洩防止の保護を提供。 安全性は組み込み済み 責任あるAI プロテクションがデフォルトで有効化。 エンタープライズグレードに準拠したAzure プライベートネットワーク、管理されたID、顧客管理キー、Azure監視、コスト管理などを含む。 開発者フレンドリーな統合 GitHub, Visual Studio, Copilot Studioとのシームレスな統合。 モデルの選択 1800以上のモデルがアプリケーションに統合可能。 Azure OpenAI Service Azure AI Foundry

Slide 20

Slide 20 text

ユースケース 主な機能 利点 GPT-4.5 Preview • カスタマーサービスの自動化 • コンプライアンスの自動化 • 創造的で実用的なアプリケーション • ライティングヘルプ、デザイン、コーディング ワークフロー • マルチモーダル高速処理 • エンタープライズグレードの精度 • テキスト、オーディオ、ビジュアルデータをサ ポート • GPT-4oよりも高い精度 • 複雑なタスクの完了を改善 • アライメントと心の知能指数の向上 • 計画と実行に強い o3-mini • 科学的な問い合わせ • 論理的な問題解決 • 複雑な数学 • 推論応答の迅速化 • o1-miniよりも高度な推論 • 低遅延 • コスト削減 o1 GA • 科学的な問い合わせ • 論理的な問題解決 • 複雑な数学 • マルチモーダルな高度な推論 • 200Kコンテキストウィンドウをサポート • 複雑な問題を解決 • LLM機能の強化 • 拡張された会話 GPTおよびo*モデル 最新リリース

Slide 21

Slide 21 text

ユースケースのガイダンス:どのモデルタイプをいつ使用するか? 汎用(GPT-*)モデル • カスタマーサービスの自動化 • コンプライアンスの自動化 • 創造的で実用的なアプリケーション • ライティングヘルプ、デザイン、コーディングワークフロー 推論(o *シリーズ)モデル • 論理的な問題解決 • 複雑な数学 • 科学的な問い合わせ • 拡張された会話

Slide 22

Slide 22 text

ユースケース 主な機能 利点 GPT-4.5 Preview* • カスタマーサービスの自動化 • コンプライアンスの自動化 • 創造的で実用的なアプリケーション • ライティングヘルプ、デザイン、コーディングワー クフロー • マルチモーダルリアルタイム処理 • エンタープライズグレードの精度 • テキスト、オーディオ、ビジュアルデータをサポー ト • GPT-4oよりも高い精度 • 複雑なタスクの完了を改善 • アライメントと心の知能指数の向上 • 計画と実行に強い GPT-4o Realtime Preview • リアルタイムで低遅延の会話 • チャットボット • 会話型AIシステム • リアルタイムのインタラクションに最適化 • オーディオとテキストの入出力をサポート • 低遅延 • 応答時間の短縮 • 自然な会話 • 即時翻訳 GPT-4o Audio Preview • デジタルアシスタント • インタラクティブなトレーニングモジュール • アクセシビリティソリューション • 顧客サービス • 音声プロンプトと音声応答をサポート • 高度な音声認識とオーディオ合成 • テキストと音声ベースのインタラクションでAIアプリケーショ ンを強化 • 非同期の音声入力、音声出力の対話に最適 GPT-4o-mini • カスタマーサポートチャットボット • 複数のモデル呼び出しをチェーンまたは並 列化するアプリケーション • 大量のコンテキストの処理 • マルチモーダル入力 • 128Kトークンのコンテキストウィンドウ:強力 なテキストインテリジェンスとマルチモーダル 推論 • GPT-3.5 Turboやその他の小型モデルを学術ベンチマー クで上回る性能 • 推論タスク、数学、コーディングに強い ロングコンテクスト のパフォーマンスを向上 GPT-4o • カスタマーサポートの自動化 • コンテンツ制作 • 翻訳 • コード生成 • プログラミング支援 • 自然言語理解の強化 • コンテキスト認識と一貫性の向上 • 微調整機能の拡張 • 精度と流暢さの向上 • 複数のアプリケーションにわたる汎用性の向上 • リソースの少ない言語でのパフォーマンスの向上 GPTモデル 最新リリース * これはプレビュー バージョンであるため、テストとフィードバックの目的で設計されており、まだ運用トラフィック用に最適化されていません。

Slide 23

Slide 23 text

応答の高速化 従来よりも大幅に速い音声応答で、 遅延を減らしスムーズなインタラクショ ンを提供します。 自然な会話 ロボットのようなトーンを抑え、より魅 力的な会話を実現します。 多言語サポート 幅広い言語に対応し、グローバル向 けの自然な多言語会話を即時翻訳 可能にします。 GPT-4o-Realtime-Preview

Slide 24

Slide 24 text

Realtime API Plus cognitive-services-speech-sdk/samples/realtime-api-plus at master · Azure-Samples/cognitive-services-speech-sdk

Slide 25

Slide 25 text

GPT-4o-Audio-Preview* パブリック プレビュー 高度なオーディオ処理とコンテンツ生成を実現 ネイティブの感情分析 没入型音声生成 多言語対応 https://aka.ms/TC-gpt-4o-audio- preview AI Foundryで利用可能 * これはプレビュー バージョンであるため、テストとフィードバックの目的で設計されており、まだ運用トラフィック用に最適化されていません。

Slide 26

Slide 26 text

ユースケース 主な機能 利点 GPT-4.5 Preview* • カスタマーサービスの自動化 • コンプライアンスの自動化 • 創造的で実用的なアプリケーション • ライティングヘルプ、デザイン、コーディングワー クフロー • マルチモーダルリアルタイム処理 • エンタープライズグレードの精度 • テキスト、オーディオ、ビジュアルデータをサポー ト • GPT-4oよりも高い精度 • 複雑なタスクの完了を改善 • アライメントと心の知能指数の向上 • 計画と実行に強い GPT-4o Realtime Preview • リアルタイムで低遅延の会話 • チャットボット • 会話型AIシステム • リアルタイムのインタラクションに最適化 • オーディオとテキストの入出力をサポート • 低遅延 • 応答時間の短縮 • 自然な会話 • 即時翻訳 GPT-4o Audio Preview • デジタルアシスタント • インタラクティブなトレーニングモジュール • アクセシビリティソリューション • 顧客サービス • 音声プロンプトと音声応答をサポート • 高度な音声認識とオーディオ合成 • テキストと音声ベースのインタラクションでAIアプリケーショ ンを強化 • 非同期の音声入力、音声出力の対話に最適 GPT-4o-mini • カスタマーサポートチャットボット • 複数のモデル呼び出しをチェーンまたは並 列化するアプリケーション • 大量のコンテキストの処理 • マルチモーダル入力 • 128Kトークンのコンテキストウィンドウ:強力 なテキストインテリジェンスとマルチモーダル 推論 • GPT-3.5 Turboやその他の小型モデルを学術ベンチマー クで上回る性能 • 推論タスク、数学、コーディングに強い ロングコンテクスト のパフォーマンスを向上 GPT-4o • カスタマーサポートの自動化 • コンテンツ制作 • 翻訳 • コード生成 • プログラミング支援 • 自然言語理解の強化 • コンテキスト認識と一貫性の向上 • 微調整機能の拡張 • 精度と流暢さの向上 • 複数のアプリケーションにわたる汎用性の向上 • リソースの少ない言語でのパフォーマンスの向上 GPTモデル 最新リリース * これはプレビュー バージョンであるため、テストとフィードバックの目的で設計されており、まだ運用トラフィック用に最適化されていません。

Slide 27

Slide 27 text

o3-mini • o1-miniよりも迅速な応答、より高度な推 論 • レイテンシーの低減、コストの削減 • 軽量推論モデル • LLM機能を強化します。 • 論理的な問題解決 • 複雑な数学 • 科学的な問い合わせ • 拡張された会話 複雑な数学 高度な推論 200Kコンテキストウィンドウ のサポート 一般提供 科学的な問い合わせ o1 • マルチモーダルな高度な推論 • 複雑な問題を解決 • LLM機能を強化します。 • 論理的な問題解決 • 複雑な数学 • 科学的な問い合わせ • 拡張された会話 一般提供

Slide 28

Slide 28 text

**推論モデルは、最初は Standard Global Deployments で利用可能になり、時間の経過とともに追加のデプロイが追加されます GPT-4.5-0227-preview* o3-mini** • $0.075 / 1,000インプットトークン • $0.0375 / 1,000 出力トークン • $0.0011 / 1,000 インプットトークン • $0.0044 / 1,000 出力トークン o1** • $0.015 / 1,000インプットトークン • $0.060 / 1,000 出力トークン o1-mini** • $0.003 / 1,000 インプットトークン • $0.012 / 1,000 出力トークン GPT-4o-0806 • $0.0025 / 1,000インプットトークン • $0.0100 / 1,000 出力トークン モデルの価格 o1の新規のお客様は、https://ai.azure.com/ でアクセスを申請できます * これはプレビュー バージョンであるため、テストとフィードバックの目的で設計されており、まだ運用トラフィック用に最適化されていません。デプロイメントは Standard Global Only に制限されます

Slide 29

Slide 29 text

アプリケーションに 最適なモデルを 見つける モデルのロックインを回避します。 • 柔軟なモデル選択 • エンタープライズ向けにキュレーション • モデルの探索、比較、 交換を迅速に行う • デプロイ前にテストする 業界モデル: OpenAI Model Family (available day 1) Phi SLM Model Family Mistral AI Model Family Meta Llama 2 Model Family Jais G42 Model Family Snowflake Model Family Cohere Model Family Databricks Model Family Hugging Face Collection Deci AI Model Family NVIDIA Model Family Nixtla Time-Gen1 Model NTT Data Model 1800+ Frontier、タスク、Azure AI モデル カタログのオープン モデル DeepSeek-R1 Model

Slide 30

Slide 30 text

(参考) バックエンドの負荷分散 • PTU と従量課金制インスタンス間でリクエス トを分散 • 複数の Azure OpenAI エンドポイントを含め るように負荷分散プールを定義 • サーキットブレーカールールの構成によるフェイル オーバー Azure API Management Azure OpenAI Requests 負荷分散プール機能 サーキットブレーカー機能 高度な組み込みのリトライポリシー New New サブリージョン・インスタンス Azure OpenAI メインリージョン・インスタンス Load balancer プール サービス 利用不可 バックエンド#2 バックエンド#1 サーキット ブレーカー Azure-Samples/AI-Gateway: APIM OpenAI - this repo contains a set of experiments on using GenAI capabilities of Azure API Management with Azure OpenAI and other services

Slide 31

Slide 31 text

(参考) AI Hub Gateway Solution Accelerator Azure API Management を活用したランディング ゾーン アクセラレーター Azure OpenAI 小売スマートショッピングアプリ Custome Care チャット 財務スマート分析 AI Hub Gateway の主要コンポーネント Hub パフォーマンス モニタリング AI 使用状況 メトリ クス (チャージバック) Event Hub バックエンドサービス データプラットフォーム 可視化とレポート AI/ML サービスへの セキュアなアクセス ネットワークサービス aka.ms/ai-hub-gateway  組織内のさまざまな基幹業務ユニットが Azure AI サービスを活用できるようにする ための、中央 AI API ゲートウェイを実装す るための一連のガイドラインとベストプラク ティスを提供。  Azure API Management を中心として、 様々な用途での AI 利用を行うための展 開可能なテンプレート。  トークン利用状況の可視化他、運用上の 構成もされます。

Slide 32

Slide 32 text

aka.ms/LZAccelerators

Slide 33

Slide 33 text

Microsoft Phi Model Family MITライセンスによるオープンソース NEW! Phi-4- mini-3.8B NEW! Phi-4- multimodal- 5.6B Phi-4-14B Azure AI Foundry Hugging Face GitHub Models HF,ONNX,GGUFにて利用可能 NVIDIA NIM Ollama AITK LM Studio

Slide 34

Slide 34 text

Language Coding Vision Audio MoE Phi-1.5-1.3B Phi-3-mini-3.8B Phi-3-small-7B Phi-3-medium-14B Phi-3.5-mini-3.8B NEW! Phi-4-14B NEW! Phi-4-mini-3.8B Phi-1.5-1.3B Phi-3-mini-3.8B Phi-3-small-7B Phi-3-medium-14B Phi-3.5-mini-3.8B NEW! Phi-4-14B NEW! Phi-4-multimodal-5.6B Phi-1-1.3B Phi-3-VISION-4.2B NEW! Phi-4-multimodal-5.6B NEW! Phi-4-mini-3.8B Phi-3.5-VISION-4.2B NEW! Phi-4-multimodal-5.6B NEW! Phi-4-multimodal-5.6B Phi-3.5-MoE-42B (Active params is 6.6B) Microsoft Phi Model Family Open Source With MIT License Advanced Reasoning NEW! Phi-4-14B NEW! Phi-4-mini-3.8B Azure AI Foundry Hugging Face GitHub Models Available on (HF,ONNX,GGUF) NVIDIA NIM Ollama AITK LM Studio Phi-2-2.7B Phi-2-2.7B Function calling NEW! Phi-4-mini-3.8B NEW! Phi-4-multimodal- 5.6B (text only)

Slide 35

Slide 35 text

Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning

Slide 36

Slide 36 text

カスタマイズ技術 の選択 (旅行チャットエージェント) コンテキストの最適化 (外部の知識を活用する ) high low high low RAG Fine-tuning モデルの適応 (モデルのがどのようにふるまうか) コンビネーション(Fine-tuning + RAG + Prompt) RLHF Custom model 旅行予約 システム Q&A システム Prompt 要約・翻訳

Slide 37

Slide 37 text

Gen AI journey データを活用して、基本的なGenAIから高度なGenAIへの反復的なパスを計画 プロンプトエンジニアリング モデルの動作をガイドするための 特殊なプロンプトとパイプライン の作成 検索拡張生成(RAG) LLM/SLM とエンタープライズ データの組み合わせ ファインチューニング 事前学習済みの Gen AI モデ ルを特定のデータセットまたはド メインに適合させる Pre-training GenAI モデルをゼロからトレーニ ングする Accuracy / Complexity / Compute-Intensive

Slide 38

Slide 38 text

GenAIデプロイメントのシームレスな統合 Data Azure Cosmos DB SQL DB Data Lake Storage Gen2 Blob storage Table storage OneLake サポートされているデータソースの 自動データ取り込み 合理化されたベクトル処理: インジェスト、チャンク、エンリッチ、ベクトル化を 1 つの パイプラインで実現 Data pipeline Azure OpenAI Azure Machine Learning Azure AI Services Models Langchain Copilot Studio Semantic Kernel LlamaIndex Azure AI Foundry Dev environments Azure AI Search

Slide 39

Slide 39 text

Vector Search (ANN, KNN) Query rewriting Hybrid Search (RRF) Multi-vector search Search reranking (BM25) Multi-lingual search Exact keyword match Geospatial search Facets Auto-complete 多くの本番環境で実証済みの検索エンジン

Slide 40

Slide 40 text

Retrieval- Augmented Generation App UX ユーザーの質問 回答 オーケストレーター / エージェント Retrieval system Large Language Model データソース インデックス化 検索 Azure AI Search Azure AI Foundry

Slide 41

Slide 41 text

42 (参考) RAG精度改善の進め方 ① 非構造化データのテキスト抽出精度の向上 など ② チャンク分割の最適化 (分割戦略, 分割サイズ, オーバラップサイズ) など ③ 検索ドキュメントのエンリッチメント など ④ ドキュメント検索精度のチューニング など ⑤ プロンプトエンジニアリング, クエリ拡張, 最適モデルの使用 など ⑥ RAGアプリ利用のUIの改善 など 各ステップごとに施策を行い継続的な評価を行うことで改善有無を確認する 回答用のデータ 検索エンジン OpenAI Service テキスト チャンク Retrievedデータ プロンプト (質問含む) 回答 ① ② ③ ④ ⑤ ⑥ Store Retrieve Augment Generate ここで最も重要なことは継続的な精度評価を行うための仕組みを用意 すること。なければ改善有無が判断できない。

Slide 42

Slide 42 text

43 (参考) RAGで精度を出すために検討が必要なポイント 以下の各ステップの検討・チューニング・評価を繰り返すことが回答精度向上につながる 検索アルゴリズム アルゴリズムの パラメータ チューニング カスタム アナライザ スコアリング プロファイル 類似度 チューニング PDFファイルの テキスト化 Officeファイルの テキスト化 音声データの テキスト化 チャンク分割 (チャンクチューニング) オーバラップ テーブル構造抽出 エンリッチメント カテゴリ付け モデル選択 (回答生成) マルチモーダル システム メッセージ定義 ユーザ メッセージ定義 検索クエリ生成 ユーザへの聞き返し Function Calling 仮説的文書埋め込み 動画データの テキスト化 画像データの テキスト化 Store Retrieve Augment Generate モデル選択 (埋め込みモデル) ファイン チューニング Evaluation

Slide 43

Slide 43 text

構造を理解しての文章のチャンク分割とインデクシング Azure Document Intelligence を用いたセマンティックチャンキング ⚫ Azure AI Search の AI スキルセットに Azure AI Document Intelligence をサポート ⚫ Document Intelligence にて多種類の文章ファイル(PDF, Word, Excel, Power Point, HTML 等)から構造を理解し たうえでテキスト抽出が可能に テーブル構造、リスト、図、ヘッダー/フッターの認識が可能 ⚫ 認識結果を、マークダウン形式で出力 ⚫ 文脈を意識したうえでのチャンク分割が可能に (セマンティックチャンキング)

Slide 44

Slide 44 text

Azure Document Intelligence 4.0 version GA Announcing the General Availability of Document Intelligence v4.0 API | Microsoft Community Hub

Slide 45

Slide 45 text

クエリエンジン L0: クエリ前処理 L1: 候補取得 L2: ランキング L3: 合成 ベクトル化 言語解析など 抽出型回答 LLM向けの結果 文脈化されたキャプ ション 融合 Semantic Ranking キーワード検索 ベクトル検索 クエリ セマンティック ランキング クエリリライティング RAG調整済みのL2ランカー →結果品質を全体的に向上 SLMベースのクエリのリライティング →難しいクエリを改善

Slide 46

Slide 46 text

New L2 Ranker 全面的に品質を向上 RAGシナリオ向けに設計 +22 points 0 10 20 30 40 50 60 70 80 Vector Hybrid Hybrid + L2 Old Hybrid + L2 New Relevance (NDCG@3) for Real-World Datasets 8xより広いコンテキストウィンドウ  本番環境で見られるほとんどのチャンク長 に適合  ほぼすべてのケースで要約ステップを回避  関連性の向上  NDCG@3, real-world datasets * “vector” retrieval using text-embedding-003-large, “hybrid” using same vectors + BM25 combined with RRF

Slide 47

Slide 47 text

関連性の向上 と より速いレスポス パフォーマンスの妥協はなし 小さなチャンクサイズでも同等のレイテンシ より一般的なトークン数では2倍以上 0 50 100 150 200 250 300 128 256 512 1024 2048 Latency (ms) Chunk length (token count) Current (ms) New (ms) Up to 2.3x faster ranking for typical chunk lengths

Slide 48

Slide 48 text

クエリリライティング クエリパイプラインにおける高速なSLM （検索言語モデル）の最初のシナリオ 難しいクエリの結果を改善 +8 ポイント キーワード検索（ベクターなし） +5 ポイント 低リコールシナリオのハイブリッド検索 デバッグモードで生成される内容を確認可能 { "queryRewrites": "generative|count-10", … } “マイクロソフトの製品サポートに問い合わせたい“ "Microsoft製品のヘルプデスク", "Microsoft製品のサポート連絡先", "Microsoft製品のカスタマーサポート", "Microsoft製品サポート連絡先", "Microsoft製品のヘルプとサポート", "マイクロソフト サポートセンター", "マイクロソフト製品サポート連絡先", "マイクロソフト製品ヘルプデスク", "マイクロソフト製品のサポートセンター", "マイクロソフト製品のサポートサービス" NDCG@3（実データセット）でのポイント増加を示しています

Slide 49

Slide 49 text

Azure AI Foundry ファインチューニング モデルを最大限に活用

Slide 50

Slide 50 text

Instruction Tuning (Supervised) Alignment Tuning (RLHF, DPO) ジェネリック LLM/SLM Pre-training (Un-supervised) ラベル付けされていない 大量の汎用データ 指示応答データ、タスク固 有データ、その他のラベル付 きデータ 人間の好みを示したデータ、 報酬モデルデータ、選好ス コアデータ 言語機能 推論能力 世界の知識 チャット、インストラクション フォロー、コーディングなど Continual Pretraining Supervised Fine-Tuning (SFT) Parameter Efficient Fine-Tuning (PEFT) Fine-Tuning （カスタマイゼーション） Training 高品質で特化されたデータ Post-training(Fine-tuning) Pre-training LLM/SLMのTrainingとFine-Tuning

Slide 51

Slide 51 text

Pre-Training Fine-Tuning LLM/SLM カスタマイゼーショ ン Instruction Tuning (Supervised) Domain-Adaptation (Supervised) Retrain from scratch Continual pre- training Alignment Tuning (RLHF, DPO) [Ref.] A Comprehensive Overview of Large Language Models: https://arxiv.org/pdf/2307.06435.pdf High quality data Supervised Fine- Tuning (SFT) Parameter Efficient Fine- Tuning (PEFT) 例 LoRA 目的別の Fine-Tuningメソッド 更新されたパラメータの量による Fine-Tuning テクニック カスタマイゼーション目的別のFine-Tuningメソッド • ドメイン固有のデータに関する一般的な理 解を追加 • 最新のデータを追加 • 多言語サポート • 教師データなし（準備不可） • 新しいスキルとスタイルを学ぶ • ドメイン固有のデータとタスクの学習 • 教師データあり（準備可能） Pre-trainingの時より データの変化が大きい Pre-trainingの知識と能 力をベースに改善・追加 • 大量のデータ、リソース、時間が利用可能 • 高いパフォーマンスと柔軟性が必要 • 通常、SLMに使う • 効率重視 • 通常、LLM に使う

Slide 52

Slide 52 text

主要 アップデート一覧 •マルチターン会話における重み付け •自己選択型パラメータ設定 •関数呼び出しとツールのサポート •継続的なファインチューニング（以前にファインチューニングされたモデルを再調整） •Direct Preference Optimization (DPO) サポート •Reinforcement Fine Tuning （o-1mini） •Full Validation Statistics •チェックポイントの選択と保存 •内蔵型セーフティ機能 •視覚モデルのファインチューニング •評価と蒸留 (Distillation)プロセス •Weights & Biases との統合

Slide 53

Slide 53 text

Distillation (蒸留) Distillation (蒸留)とは、大規模な汎用教師モデルを使用して、特 定のタスクで優れたパフォーマンスを発揮するように小規模な学生モ デルをトレーニングするプロセスを指します。 Azure AI Foundry Evaluation テスト基準の定義 Fine-tuneしたモデルの評価 パスステータス付きのデータをエクス ポートします Fine-tuning Hyper parameters の設定 GPT-4o-miniをfine-tuneします Stored Completions GPT-4o モデル回答の記録 記録データの表示、クエリ、フィル タリング フィルタリングされたデータをエクス ポートします Azure AI Services Blog | Introducing Model Distillation in Azure OpenAI Service 教師モデル (e.g., GPT-4o, o1) 学生モデル (e.g. GPT-4o-mini) メリット • コストとレイテンシーを削減 • パフォーマンスを向上させます • リソースに制約のある環境での運用 やり方 ➢ Step 1.データ生成(AOAI Stored Completions) ➢ Step 2. トレーニング (Azure AI Foundry Fine-tuning) ➢ Step 3. 評価 (Azure AI Foundry Evaluation) 教師データ

Slide 54

Slide 54 text

Azure OpenAI Stored Completions Region o1-preview, 2024-09-12 o1-mini, 2024-09-12 gpt-4o, 2024-08-06 gpt-4o, 2024-05-13 gpt-4o-mini, 2024-07-18 Sweden Central North Central US - - - - East US 2 - - - - チャット・セッションから会話履歴をキャプチャ して、評価やファインチュン(蒸留など)の データセットとして使用します。 completion = client.chat.completions.create( model="gpt-4o", store= True, # set the `store` parameter to True to enable stored completion metadata = { "user": "admin", "category": "docs-test", }, # use the `metadata` parameter to enrich stored completion dataset messages=[ {"role": "system", "content": "Provide a clear and concise summary of ...”} ] ) https://learn.microsoft.com/en-us/azure/ai-services/openai/how-to/stored-completions リージョンとモデルのサポート (2025/02)

Slide 55

Slide 55 text

Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning

Slide 56

Slide 56 text

AI エージェントはどのように機能するか？ 利用者 旅行予約 エージェント 「クライアントとのミーティングのためにニューヨークへの 旅行を予約するのを手伝ってくれませんか? 来週の月曜日に飛行機で出発し、金曜日に戻らな ければなりません。」 ナレッジソース (検索、ファイル、データベース、ストレージなど) モデル (Azure OpenAI Service、サービスとしてのモデル) アクション (構築済みまたはプロセスを自動化する カスタムツール) 「リクエスト通り、ニューヨークへの旅行を 予約しました。詳細はこちらです。」

Slide 57

Slide 57 text

Azure AI Agent Service エンタープライズ対応機能の ビルトイン BYO-file storage BYO-search index Azure AI Foundry – Agent Service OBO Authorization Support Enhanced Observability 幅広いツールのエコシステム ナレッジ Microsoft Fabric SharePoint Bing Search Azure AI Search Your own licensed data Files (local or Azure Blob) File Search Code Interpreter アクション Azure Logic Apps OpenAPI 3.0 Specified Tools Azure Functions モデルカタログ Azure OpenAI Service (GPT-4o, GPT-4o mini) Models-as-a-Service Llama 3.1-405B-Instruct Mistral Large Cohere-Command-R-Plus Azure AI Foundry

Slide 58

Slide 58 text

Azure AI Foundry で エージェントをデプロイ 1 シングルエージェント 管理エージェント マイクロサービス 2 マルチエージェント AutoGen と Semantic Kernelと 一緒にオーケストレーション 最先端の技術 リサーチSDK 本番環境に対応し 安定したSDK アイディエーション 本番環境 Azure AI Foundry

Slide 59

Slide 59 text

microsoft/ai-agents-for-beginners: 10 Lessons to Get Started Building AI Agents •AIエージェントを学ぶ全10レッスン • IntroやRAG、多エージェント構成などの知識を体系的に 習得 •豊富なツールやフレームワークを活用 • Azure AI Foundry / GitHub Model Catalog / Azure AI Agent Service / Semantic Kernel / AutoGen •初心者にやさしいコードサンプル • Pythonコードをforkして自由にカスタマイズ・実行可能 •マルチランゲージ対応・翻訳リソース充実 • 日本語含む多数の言語でドキュメントを提供 •Azure AIコミュニティDiscordで質問＆交流 • 学習の詰まりや相談はDiscordで気軽にやり取り •スキル拡張に役立つ関連コースも多数 • Generative AIやML、データサイエンスなど幅広く学べる リソースを案内

Slide 60

Slide 60 text

AutoGen Studio AutoGen Studioは、Microsoft Researchが開発したローコードツールで、AIエージェントを迅速にプロトタイプし、スキル を追加し、ワークフローを構築してタスクを実行するためのものです。 このツールは、PythonベースのフレームワークであるAutoGen上に構築されており、プログラミングの知識が少ないユーザー でも、複数のAIエージェントが協調して複雑なタスクを解決するシステムを簡単に作成できます。 AutoGen Studio — AutoGen

Slide 61

Slide 61 text

シングルエージェント プ ロ ン プ ト 完 了 行動を起こし、新しい知識を習得 する能力を持つ単一のエージェント マルチエージェント プ ロ ン プ ト 完 了 複数のエージェントが連携して 複雑な問題を解決する MoE エージェント プ ロ ン プ ト 完 了 さらに複雑な問題を解決するた めのマルチエージェントを含む複 数のドメインエキスパート Swarm プ ロ ン プ ト 完 了 レプリケーションを行い、動的に 変換し、変化する環境に適応す る能力を持つエージェント タスク解決 反射 作家 批評家 マネージャー コマンダー コマンダー セーフガード 会話 チェス盤 チェスプレイヤー1 チェスプレイヤー2 画像 生成 イメージ アナライザー マルチ モーダル 意思 決定 アシスタント グラウンディングエージェント プランナーエージェント

Slide 62

Slide 62 text

マルチエージェントの設計について 例:ドキュメント抽出 文章 Azure Document Intelligence エンティティ 構造 OCR テーブル テーブル JSON 関係性 テキスト マークダウン マークダウン マーメード図 Markdown / Text ダイアグラム 画像 / チャート Azure AI Search テーブル比較 エラー処理 ファクトチェッカー Text Analyzer Image Analyzer Azure Vision Model Graph Generator GraphRAG Verifier Memory Thoughts Azure Language Model エンティティの クラスタリング

Slide 63

Slide 63 text

ビデオ コーパス Azure Vision Model 画像解析 ビデオ分類 テンポラル アナライザー Azure Audio Model Azure Language Model 関連するメタ データの取得 フレーム分解器 人、ライブフィード、キー オブジェクト 分類 = ["3D", "漫画","子供"] 画像 1 画像 2 画像 3 この短編アニメーションでは、小さくて遊び好きな子犬が、近くにある赤いボー ルに興味をそそられて興奮して飛び跳ねています。子犬の好奇心と興奮は、 ボールに熱心に近づき、参加する準備ができていることからも明らかです。 始める 終わり 音声テキスト変 換 「うわー、うわー!」 Video Analyzer Audio Analyzer Metadata Enrich Azure AI Search チャプター& シーン生成 ビデオ検索 アクション認識 オープン& エンドクレジット マルチエージェントの設計について 例:ビデオ抽出

Slide 64

Slide 64 text

マルチエージェントの設計について 例: Agentic RAG ベクトル検索 Azure ベク ター検索 検索 チャンク 1 T o p K R e l e v a n t C h u n k s グレーダーエージェント Azure Language Model いいえ はい Web検索 アブストラクション Bing 検索 クエリ リライタ Azure Language Model 回答の分析 Azure Language Model はい いいえ 研究論文: https://arxiv.org/pdf/2410.09713 質 問 光合成はどのように 機能しますか? 植物は光合成によって太陽光をエネルギーに変換します。 クロロフィルは光を吸収してグルコースと酸素を生成します。 光依存反応により、ATPとNADPHが生成されます。 チャンク5 光依存反応により、ATPとNADPHが生成されます。 植物は光合成によって太陽光をエネルギーに変換します。 クロロフィルは光を吸収してグルコースと酸素を生成します。 書き換えられたクエリ 光合成のメカニズムを、光依存 性反応と光非依存性反応に 着目して解説します。 Web の結果 1. 光合成には、太陽光がATPを生成する葉緑体での光反応が含ま れ、その後、二酸化炭素を糖に変換するカルバンサイクルが続きま す。 2. 植物は、クロロフィルを通じて光を吸収し、エネルギーを使って炭水化 物を合成することで光合成を行います。 光依存反応により、ATPとNADPHが生成されます。 答 え る 光合成は、植物における2 段階のプロセスです。まず、 光依存性反応では、葉緑 体中のクロロフィルが光エネ ルギーを捕捉し、ATPと NADPHを生成します。これ らの分子は、二酸化炭素か らグルコースを合成するために カルバンサイクルで使用され ます。

Slide 65

Slide 65 text

マルチエージェントの設計について 例: Web 検索と抽出 Bing Search Web Search クエリの分解 Web サイトの 取得 検索クエリ Vision Analyzer Azure Vision Model Site Analyzer Azure Language Model HTML本文の 抽出 スクリーンショット 分析 Verifier Memory Thoughts Azure Language Model Azure AI Search エラー処理 ページ遷移 Markdownへの 変換 Page 1 Page 2 テキスト テキスト スクリーンショット ジェネレータ Web 結果1 Markdownへの 変換 ビジョンモデルを使用して、HTMLだけでは抽出できない可能性のある意味のあるデータを抽出します。

Slide 66

Slide 66 text

マルチエージェントの設計について 例: コールセンターエージェントアシスト Query Parsing カ ス タ マ ー ク エ リ SmartHomeサーモス タットがWi-Fiに接続さ れておらず、エラーコード E-22が引き続き表示 されます。どうすればこ れを修正できますか? Azure Language Model { Wi-Fi } { Error: E-22 } { Thermostat X10 } Planner Agent Azure Language Model Azure Models Video Agent Azure Models Doc Agent Web Agent Bing Search 1. Doc Agent → 内部サポートドキュメントでエラーコード「E-22」とWi-Fiのトラブ ルシューティングを検索します。 2. Video Agent → Wi-Fi接続とエラーコードE-22に関連するビデオコンテンツを 特定し、タイムスタンプを付けます。 3. Web検索エージェント → Wi-Fiとエラーコードに関する最近のディスカッション、 ヒント、または製品固有の問題について、外部ソースを検索します。 ダ イ ナ ミ ッ ク プ ラ ン 内部のトラブルシューティン グの手順の知見を集める Wi-Fiに関連するエラーコー ドE-22のビデオクリップを 要約する 問題に関連する最新の 外部リソースを検索します Abstraction 直近のオンライン Webから 内部ステップ ドキュメントから ビデオリンク タイムスタンプ ビデオから

Slide 67

Slide 67 text

マルチエージェントの設計について 例: Web オートメーション アクション 考え 観察 計 画 ウェブ検索 関連する Web 要素を見つける アクションの実行 結果の分析 セレン ウェブコントローラー マウスの 動き [場所] を クリック テキストの 入力 Web検索 ビジョンエージェント 計画 クリック、タイプ、マウスの動きから 観察をする [1]:Azure OpenAI サービス [2]: <入力> 「Azureを検索:. { "要素",12,"検索バー" } Bing 検索 Azure Vision Model バ ウ ン デ ィ ン グ ボ ッ ク ス ( 1 2 3 , 1 8 6 , 2 3 , 2 ) 12 研究論文: https://arxiv.org/abs/2401.13919 GUI検出器 – 研究論文 マークのセット https://arxiv.org/abs/2310.11441 オムニパーサー https://arxiv.org/abs/2408.00203

Slide 68

Slide 68 text

Public Preview Azure AI Content Understanding ドキュメント、音声、画像、動画、テキストを使って構築 マルチモーダルアプリ開発を 効率化 エージェントワークフロー向けのタスク 特化型構造化出力 開発を加速するための 事前構築テンプレート AI.Azure.com Azure AI Foundry

Slide 69

Slide 69 text

Content Understanding の構成要素 入力 ドキュメント 画像 ビデオ オーディオ テキスト コンテンツ抽出 前処理 正規化 （解像度、フォーマット） 向き補正／歪み補正 エンリッチメント 話者認識 レイアウトと構造 顔のグループ化 コンテンツ抽出 付加機能 フィールド抽出 GPT最適化 コンテキストウィンドウ プロンプト調整 後処理 信頼度スコア グラウンディング 正規化 スキーマ 推論 信頼性と グラウンディング 出力 構造化 インサイト コンテンツ + 追加 コンシューマー Search Databases Copilots Apps Fabric Agents Azure AI Foundry

Slide 70

Slide 70 text

イベント動画を分析する Azure AI Foundry

Slide 71

Slide 71 text

Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning

Slide 72

Slide 72 text

Azure AI Foundry 生成AI のリスク軽減は複数のレイヤーで行われます アプリの応答 ユーザープロンプト フィルター処理された応答 安全システム 変更 & フィルタリング プロンプト モデル 応答 システム メッセージと グランディング 変更された プロンプト 自社のアプリケーション 評価とモニタリング

Slide 73

Slide 73 text

Azure AI Content Safety 有害カテゴリ カスタムカテゴリ ヘイトと公平性、性的、 暴力、自傷行為を認識 また、カスタマイズも可能 根拠性検出 LLMの回答がユーザーの 提供された情報に 基づいているか検出 プロンプト シールド 直接攻撃 間接攻撃 保護された素材 の検出 保護されたコード 保護されたテキスト Azure AI Foundry

Slide 74

Slide 74 text

Azure AI Content Safety と Defender の連携  検知したセキュリティ アラートを Defender for Cloud 及び Defender ポータル で管理 疑わしいプロンプト入力内容 Defender for Cloud

Slide 75

Slide 75 text

Azure AI Contents Safety と Defender の連携  検知したセキュリティ アラートを Defender for Cloud および Defender XDR で管 理 Defender Portal のインシデント インシデントが発生したリソースおよびユーザー

Slide 76

Slide 76 text

No content

Slide 77

Slide 77 text

No content

Slide 78

Slide 78 text

参考：AI のセキュリティに関する推奨事項 Azure 関連  Azure AI Services リソースのキー アクセスが無効になっている必要があります (ローカル認証を無効にする)  Azure AI Services リソースでネットワーク アクセスを制限する必要がある  Azure AI サービスのリソースでは Azure Private Link を使用する必要があります  (必要に応じて有効にする) Azure AI サービスリソースでは、カスタマー マネージド キー (CMK) を使用して保存データを暗号化する必要があります  Azure AI サービス リソースの診断ログを有効にする必要がある  Azure Machine Learning ワークスペースのリソース ログを有効にする必要がある (プレビュー)  Azure Machine Learning ワークスペースで公衆ネットワーク アクセスを無効にする必要がある (プレビュー)  Azure Machine Learning コンピューティングは仮想ネットワーク内に存在する必要がある (プレビュー)  Azure Machine Learning コンピューティングでローカル認証方法を無効にする必要がある (プレビュー)  最新のソフトウェア更新プログラムを取得するには、Azure Machine Learning コンピューティング インスタンスを再作成する必要がある (プレビュー)  Azure Databricks ワークスペースのリソース ログを有効にする必要がある (プレビュー)  Azure Databricks ワークスペースではパブリック ネットワーク アクセスを無効にする必要がある (プレビュー)  Azure Databricks クラスターはパブリック IP を無効にする必要がある (プレビュー)  Azure Databricks ワークスペースは仮想ネットワーク内に存在する必要がある (プレビュー)  Azure Databricks ワークスペースはプライベート リンクを使用する必要がある (プレビュー) AWS 関連  AWS Bedrock でモデル呼び出しログが有効になっている必要がある  AWS Bedrock では AWS PrivateLink を使用する必要がある  AWS Bedrock エージェントは、生成 AI アプリケーションへのアクセスを許可するときにガードレールを使用する必要がある https://learn.microsoft.com/ja- jp/azure/defender-for- cloud/recommendations- reference-ai

Slide 79

Slide 79 text

AIワークロードの脅威保護 • AI ワークロードに対する脅威を検出してアラート化 • SOCチームの調査に活用することで不正な利用にいち早く対応 • Azure AI Content Safety Prompt Shield と統合（Azure OpenAI コンテンツフィルタリング側 でフィルターの設定が必要） • 現時点で、利用には 申し込みForm からの申請が必要 • 【検出可能なアラート】 • Azure Open AI モデルのデプロイメントで認証情報の盗 難を検出 • Azure Open AI モデルデプロイメントに対する Jailbreak の試みは、プロンプトシールドによってブロックされました。 • Azure Open AI モデルデプロイメントに対する Jailbreak の試みがプロンプトシールドによって検出されました。 • Azure Open AIモデルのデプロイで検出された機密デー タの公開 https://learn.microsoft.com/ja-jp/azure/defender- for-cloud/alerts-ai-workloads Microsoft Defender ポータルで インシデント管理も可能

Slide 80

Slide 80 text

クラウド内のデータの保護 SecOps AI アプリケーションの利用 Investigate in Defender ジェイルブレイクによる機密 データへのアクセスのリスク セキュリティチーム 機密データのラベリングと 保護 Azure AI Content Safety 入力と出力 Investigate in Purview Azure AI Content Safety Prompt Shields によってブロック されるプロンプト攻撃 Azure AI アプリケーションコンテキスト 脅威インテリジェンスのシグナルで調 査結果を充実させる 悪意のあるアクティビティ データリスク 開発者 Data Security & Compliance

Slide 81

Slide 81 text

Azure AI Foundry The unified AI platform Build your own Agent

Slide 82

Slide 82 text

アジェンダ Microsoftの考えるエージェントとは何か？ エージェントに求める期待値と選定 エージェントの構築について さいごに

Slide 83

Slide 83 text

開催日 : 2025 年 3 月 27 日 (木) 場 所 : 東京ビッグサイト 参 加 : 事前登録制 (参加無料) * Microsoft AI Tour Tokyo 会長兼 CEO サティア・ナデラ登壇決定！ 最新情報・登録は QR コードまたは以下 URL よりご確認ください https://aitour.microsoft.com/tokyo *席数に限りがあるため、参加のお申し込みをいただいてもすぐにお席は確保されません。 お客様の登録が確定しましたら、登録完了のメールをお送りしますので、少々お待ちください。

Slide 84

Slide 84 text

ありがとうございました