Upgrade to Pro — share decks privately, control downloads, hide ads and more …

最新 Azure AI Update_0227

Daiki Kanemitsu
February 27, 2025
4

最新 Azure AI Update_0227

Microsoft Startup Tech Community にて登壇した資料になります。
https://mstc.connpass.com/

Daiki Kanemitsu

February 27, 2025
Tweet

More Decks by Daiki Kanemitsu

Transcript

  1. Agentとはなにか? AIエージェントは「デジタルやリアルの環境で、状況を知覚することで意思決定、アクションを起こし、目的を達成するためにAI技法を 適用する自律的または半自律的なソフトウェア」と定義。RPAなどとの違いは単調定型作業の自動化は同じであるが”自律性”が特 筆すべき違いであり、環境から情報を収集し、それに基づいた意思決定、論理的もしくは物理的なアクションを起こすことが可能に シンプル より高度 Retrieval 情報の取得 グラウンディングデータから、 ユーザーの質問を理由付

    け、要約し回答します Task 依頼を受け行動する ワークフローを自動化し ユーザーの反復的なタスクを 置き換えます Autonomous 独立して動作する 動的な計画、他のエージェン トのオーケストレーション、 学習とエスカレーション -------------------------------- エージェントの役割とは? ------------------------------- ニーズに応じて複雑さと能力のレベルが異なる
  2. HR -新規採用業務のエージェント利用例 価値の変容 いままで – マニュアルワーク 他アプリ サービス 人事担当者 新規採用

    採用フォーム/オペレーション 採用受入 (目的達成) 人事担当者 新規採用API 採用受入 (目的達成) 現在 – RAG AIチャットボット これから – Agent automation AIエージェント 確認/許可 新規採用 エージェント 人事担当者 新規採用 採用フォーム/オペレーション 採用受入 (目的達成) チャット ボット 人事担当者が新規採用を行う上での採用プロセスとオペレーションを行う場合の一例 今までの旧来型チャットボットと比較して、人の介在/負担する部分がよりシンプルに
  3. 日本マイクロソフトは、あなたの “Copilot“ として成長を支えます Microsoft Japan will empower and Copilot your

    growth 地球上のすべての個人とすべての組織が、 より多くのことを達成できるようにする Empower every person and every organization on the planet to achieve more
  4. CopilotとはAIのUI Copilot Agents 利用者 Front Door 利用者はCopilotをフロントサービス として利用、技術的な細部を意識 せずAIへのアクセスが可能に User

    Interface (UI) 利用者からの入力/出力を担い、 AIモデルやエージェントとの橋渡しを 任意/定期的に行うハブとして機能 Core models/actions ユーザーの質問に対して最適な回答を行 うための、必要なデータや知識を検索・ 設計し、最適な回答や結果を導く
  5. CopilotとはAIのUI – 各挙動のイメージ 毎日使いのアプリでCopilot利用 Copilot Chat/ Office Copilotで すぐ使えるエージェントを利用 Microsoft

    365 Copilot Copilot Studio Azure AI 業務特化エージェントを発行 カスタムCopilot、またはお客様固有の AIサービス内でイベント毎に自律的に 動作する業務エージェントを追加 固有のカスタムデータ/モデルを用意 特定業務データを用いたデータベース、 任意モデルを業務別にカスタムで利用 モデル タスク コネクタ/API提供 発行 独自エージェント UI 利用者 お客様固有 AIサービス Microsoft 365 Copilot Copilot
  6. Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI

    Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning
  7. Copilot Studio Visual Studio GitHub Azure AI Foundry SDK Design

    with the best models Azure OpenAI Service Phi models Jais G42 models Snowflake models Hugging Face models Mistral AI models Meta Llama models Rockwell Bayer Cohere models Databricks models Nvidia models Deci AI models Nixtla TimeGen1 NTT data model Sight machine Saifr DeepSeek Customize with a comprehensive agent toolchain 1P offerings 3P offerings Azure AI Agent Service Azure AI Search Microsoft Fabric Azure SQL Database Microsoft Bing Microsoft Blob Storage Microsoft SharePoint Langchain LlamaIndex Azure Redis Cosmos DB Azure Data Lake Storage Azure Logic Apps Azure Functions Event Hub Dynamic Sessions Llama Stack Code Interpreter Container Apps Azure Kubernetes Azure AI Speech Azure AI Language Azure AI Translation Azure AI Vision Azure AI Doc. Intelligence OpenAI Actions Gretel Azure AI Content Und. Semantic Kernel AutoGen Azure ML Prompty Fine-tuning & distillation Tracing & debugging Weights & Biases Scale Evaluation Experiments AI Toolkit for VS Code Statsig Arize AI Manage performance in production Azure Monitor Azure App Config Microsoft Cost Management ClearML Dataloop GitHub Actions Safeguard with Trusthworthy AI Azure AI Content Safety Microsoft Defender Entra ID Azure Policy Azure Application Gateway Azure Confidential Computing Azure Backup Azure AI Foundry agent ecosystem
  8. Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI

    Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning
  9. お客様へのコミットメント 最新のイノベーションを同日提供 OpenAIのすべてのイノベーションを同日に同じ機能で提供します。 柔軟な利用オファリング 27の異なる地域、データゾーン、そしてグローバルで、標準、プロビジョニング、 バッチオプションを利用可能。 データはプライベートかつ安全 保存時および処理時のデータ管理、ならびにデータ漏洩防止の保護を提供。 安全性は組み込み済み 責任あるAI

    プロテクションがデフォルトで有効化。 エンタープライズグレードに準拠したAzure プライベートネットワーク、管理されたID、顧客管理キー、Azure監視、コスト管理などを含む。 開発者フレンドリーな統合 GitHub, Visual Studio, Copilot Studioとのシームレスな統合。 モデルの選択 1800以上のモデルがアプリケーションに統合可能。 Azure OpenAI Service Azure AI Foundry
  10. o3-mini • o1-miniよりも高速な応答と高度な推論能力 • 低遅延・コスト削減 • 軽量な推論モデルLLMの能力を強化: • 論理的な問題解決 •

    複雑な数学 • 科学的な問いへの対応 • 長時間の会話継続 低遅延 より高速な応答時間 20万トークンのコンテキスト ウィンドウ対応 General Availability コスト削減
  11. 機能 o3-mini、2025-01-31 o1、2024-12-17 o1-preview、2024-09-12 o1-mini、2024-09-12 API バージョン 2024-12-01-preview 2025-01-01-preview 2024-12-01-preview

    2025-01-01-preview 2024-09-01-preview 2024-10-01-preview 2024-12-01-preview 2024-09-01-preview 2024-10-01-preview 2024-12-01-preview 開発者メッセージ - - 構造化出力 - - コンテキスト ウィンドウ 入力: 200,000 出力: 100,000 入力: 200,000 出力: 100,000 入力: 128,000 出力: 32,768 入力: 128,000 出力: 65,536 Reasoning effort - - Vision のサポート - - - 機能/ツール - - max_completion_tokens* システム メッセージ** - - ストリーミング - - - APIと機能サポート
  12. o3-mini* • $0.0011 / 1,000 input tokens • $0.0044 /

    1,000 output tokens o1* • $0.015 / 1,000 input tokens • $0.060 / 1,000 output tokens o1-mini* • $0.003 / 1,000 input tokens • $0.012 / 1,000 output tokens GPT-4o-0806 • $0.0025 / 1,000 input tokens • $0.0100 / 1,000 output tokens GPT-4o-mini • $0.00015 per 1,000 input tokens • $0.00060 per 1,000 output tokens モデル価格 *reasoning models will initially be available in Standard Global Deployments first with additional deployments added overtime New o1 customers can apply for access at https://ai.azure.com/
  13. アプリケーションに 最適なモデルを 見つける モデルのロックインを回避します。 • 柔軟なモデル選択 • エンタープライズ向けにキュレーション • モデルの探索、比較、

    交換を迅速に行う • デプロイ前にテストする 業界モデル: OpenAI Model Family (available day 1) Phi SLM Model Family Mistral AI Model Family Meta Llama 2 Model Family Jais G42 Model Family Snowflake Model Family Cohere Model Family Databricks Model Family Hugging Face Collection Deci AI Model Family NVIDIA Model Family Nixtla Time-Gen1 Model NTT Data Model 1800+ Frontier、タスク、Azure AI モデル カタログのオープン モデル DeepSeek-R1 Model
  14. (参考) バックエンドの負荷分散 • PTU と従量課金制インスタンス間でリクエス トを分散 • 複数の Azure OpenAI

    エンドポイントを含め るように負荷分散プールを定義 • サーキットブレーカールールの構成によるフェイル オーバー Azure API Management Azure OpenAI Requests 負荷分散プール機能 サーキットブレーカー機能 高度な組み込みのリトライポリシー New New サブリージョン・インスタンス Azure OpenAI メインリージョン・インスタンス Load balancer プール サービス 利用不可 バックエンド#2 バックエンド#1 サーキット ブレーカー Azure-Samples/AI-Gateway: APIM OpenAI - this repo contains a set of experiments on using GenAI capabilities of Azure API Management with Azure OpenAI and other services
  15. (参考) AI Hub Gateway Solution Accelerator Azure API Management を活用したランディング

    ゾーン アクセラレーター Azure OpenAI 小売スマートショッピングアプリ Custome Care チャット 財務スマート分析 AI Hub Gateway の主要コンポーネント Hub パフォーマンス モニタリング AI 使用状況 メトリ クス (チャージバック) Event Hub バックエンドサービス データプラットフォーム 可視化とレポート AI/ML サービスへの セキュアなアクセス ネットワークサービス aka.ms/ai-hub-gateway  組織内のさまざまな基幹業務ユニットが Azure AI サービスを活用できるようにする ための、中央 AI API ゲートウェイを実装す るための一連のガイドラインとベストプラク ティスを提供。  Azure API Management を中心として、 様々な用途での AI 利用を行うための展 開可能なテンプレート。  トークン利用状況の可視化他、運用上の 構成もされます。
  16. Microsoft Phi Model Family MITライセンスによるオープンソース NEW! Phi-4- mini-3.8B NEW! Phi-4-

    multimodal- 5.6B Phi-4-14B Azure AI Foundry Hugging Face GitHub Models HF,ONNX,GGUFにて利用可能 NVIDIA NIM Ollama AITK LM Studio
  17. Language Coding Vision Audio MoE Phi-1.5-1.3B Phi-3-mini-3.8B Phi-3-small-7B Phi-3-medium-14B Phi-3.5-mini-3.8B

    NEW! Phi-4-14B NEW! Phi-4-mini-3.8B Phi-1.5-1.3B Phi-3-mini-3.8B Phi-3-small-7B Phi-3-medium-14B Phi-3.5-mini-3.8B NEW! Phi-4-14B NEW! Phi-4-multimodal-5.6B Phi-1-1.3B Phi-3-VISION-4.2B NEW! Phi-4-multimodal-5.6B NEW! Phi-4-mini-3.8B Phi-3.5-VISION-4.2B NEW! Phi-4-multimodal-5.6B NEW! Phi-4-multimodal-5.6B Phi-3.5-MoE-42B (Active params is 6.6B) Microsoft Phi Model Family Open Source With MIT License Advanced Reasoning NEW! Phi-4-14B NEW! Phi-4-mini-3.8B Azure AI Foundry Hugging Face GitHub Models Available on (HF,ONNX,GGUF) NVIDIA NIM Ollama AITK LM Studio Phi-2-2.7B Phi-2-2.7B Function calling NEW! Phi-4-mini-3.8B NEW! Phi-4-multimodal- 5.6B (text only)
  18. Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI

    Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning
  19. カスタマイズ技術 の選択 (旅行チャットエージェント) コンテキストの最適化 (外部の知識を活用する ) high low high low

    RAG Fine-tuning モデルの適応 (モデルのがどのようにふるまうか) コンビネーション(Fine-tuning + RAG + Prompt) RLHF Custom model 旅行予約 システム Q&A システム Prompt 要約・翻訳
  20. Gen AI journey データを活用して、基本的なGenAIから高度なGenAIへの反復的なパスを計画 プロンプトエンジニアリング モデルの動作をガイドするための 特殊なプロンプトとパイプライン の作成 検索拡張生成(RAG) LLM/SLM

    とエンタープライズ データの組み合わせ ファインチューニング 事前学習済みの Gen AI モデ ルを特定のデータセットまたはド メインに適合させる Pre-training GenAI モデルをゼロからトレーニ ングする Accuracy / Complexity / Compute-Intensive
  21. GenAIデプロイメントのシームレスな統合 Data Azure Cosmos DB SQL DB Data Lake Storage

    Gen2 Blob storage Table storage OneLake サポートされているデータソースの 自動データ取り込み 合理化されたベクトル処理: インジェスト、チャンク、エンリッチ、ベクトル化を 1 つの パイプラインで実現 Data pipeline Azure OpenAI Azure Machine Learning Azure AI Services Models Langchain Copilot Studio Semantic Kernel LlamaIndex Azure AI Foundry Dev environments Azure AI Search
  22. Vector Search (ANN, KNN) Query rewriting Hybrid Search (RRF) Multi-vector

    search Search reranking (BM25) Multi-lingual search Exact keyword match Geospatial search Facets Auto-complete 多くの本番環境で実証済みの検索エンジン
  23. Retrieval- Augmented Generation App UX ユーザーの質問 回答 オーケストレーター / エージェント

    Retrieval system Large Language Model データソース インデックス化 検索 Azure AI Search Azure AI Foundry
  24. 38 (参考) RAG精度改善の進め方 ① 非構造化データのテキスト抽出精度の向上 など ② チャンク分割の最適化 (分割戦略, 分割サイズ,

    オーバラップサイズ) など ③ 検索ドキュメントのエンリッチメント など ④ ドキュメント検索精度のチューニング など ⑤ プロンプトエンジニアリング, クエリ拡張, 最適モデルの使用 など ⑥ RAGアプリ利用のUIの改善 など 各ステップごとに施策を行い継続的な評価を行うことで改善有無を確認する 回答用のデータ 検索エンジン OpenAI Service テキスト チャンク Retrievedデータ プロンプト (質問含む) 回答 ① ② ③ ④ ⑤ ⑥ Store Retrieve Augment Generate ここで最も重要なことは継続的な精度評価を行うための仕組みを用意 すること。なければ改善有無が判断できない。
  25. 39 (参考) RAGで精度を出すために検討が必要なポイント 以下の各ステップの検討・チューニング・評価を繰り返すことが回答精度向上につながる 検索アルゴリズム アルゴリズムの パラメータ チューニング カスタム アナライザ

    スコアリング プロファイル 類似度 チューニング PDFファイルの テキスト化 Officeファイルの テキスト化 音声データの テキスト化 チャンク分割 (チャンクチューニング) オーバラップ テーブル構造抽出 エンリッチメント カテゴリ付け モデル選択 (回答生成) マルチモーダル システム メッセージ定義 ユーザ メッセージ定義 検索クエリ生成 ユーザへの聞き返し Function Calling 仮説的文書埋め込み 動画データの テキスト化 画像データの テキスト化 Store Retrieve Augment Generate モデル選択 (埋め込みモデル) ファイン チューニング Evaluation
  26. 構造を理解しての文章のチャンク分割とインデクシング Azure Document Intelligence を用いたセマンティックチャンキング ⚫ Azure AI Search の

    AI スキルセットに Azure AI Document Intelligence をサポート ⚫ Document Intelligence にて多種類の文章ファイル(PDF, Word, Excel, Power Point, HTML 等)から構造を理解し たうえでテキスト抽出が可能に テーブル構造、リスト、図、ヘッダー/フッターの認識が可能 ⚫ 認識結果を、マークダウン形式で出力 ⚫ 文脈を意識したうえでのチャンク分割が可能に (セマンティックチャンキング)
  27. Azure Document Intelligence 4.0 version GA Announcing the General Availability

    of Document Intelligence v4.0 API | Microsoft Community Hub
  28. クエリエンジン L0: クエリ前処理 L1: 候補取得 L2: ランキング L3: 合成 ベクトル化

    言語解析など 抽出型回答 LLM向けの結果 文脈化されたキャプ ション 融合 Semantic Ranking キーワード検索 ベクトル検索 クエリ セマンティック ランキング クエリリライティング RAG調整済みのL2ランカー →結果品質を全体的に向上 SLMベースのクエリのリライティング →難しいクエリを改善
  29. New L2 Ranker 全面的に品質を向上 RAGシナリオ向けに設計 +22 points 0 10 20

    30 40 50 60 70 80 Vector Hybrid Hybrid + L2 Old Hybrid + L2 New Relevance (NDCG@3) for Real-World Datasets 8xより広いコンテキストウィンドウ  本番環境で見られるほとんどのチャンク長 に適合  ほぼすべてのケースで要約ステップを回避  関連性の向上  NDCG@3, real-world datasets * “vector” retrieval using text-embedding-003-large, “hybrid” using same vectors + BM25 combined with RRF
  30. 関連性の向上 と より速いレスポス パフォーマンスの妥協はなし 小さなチャンクサイズでも同等のレイテンシ より一般的なトークン数では2倍以上 0 50 100 150

    200 250 300 128 256 512 1024 2048 Latency (ms) Chunk length (token count) Current (ms) New (ms) Up to 2.3x faster ranking for typical chunk lengths
  31. クエリリライティング クエリパイプラインにおける高速なSLM (検索言語モデル)の最初のシナリオ 難しいクエリの結果を改善 +8 ポイント キーワード検索(ベクターなし) +5 ポイント 低リコールシナリオのハイブリッド検索

    デバッグモードで生成される内容を確認可能 { "queryRewrites": "generative|count-10", … } “マイクロソフトの製品サポートに問い合わせたい“ "Microsoft製品のヘルプデスク", "Microsoft製品のサポート連絡先", "Microsoft製品のカスタマーサポート", "Microsoft製品サポート連絡先", "Microsoft製品のヘルプとサポート", "マイクロソフト サポートセンター", "マイクロソフト製品サポート連絡先", "マイクロソフト製品ヘルプデスク", "マイクロソフト製品のサポートセンター", "マイクロソフト製品のサポートサービス" NDCG@3(実データセット)でのポイント増加を示しています
  32. Instruction Tuning (Supervised) Alignment Tuning (RLHF, DPO) ジェネリック LLM/SLM Pre-training

    (Un-supervised) ラベル付けされていない 大量の汎用データ 指示応答データ、タスク固 有データ、その他のラベル付 きデータ 人間の好みを示したデータ、 報酬モデルデータ、選好ス コアデータ 言語機能 推論能力 世界の知識 チャット、インストラクション フォロー、コーディングなど Continual Pretraining Supervised Fine-Tuning (SFT) Parameter Efficient Fine-Tuning (PEFT) Fine-Tuning (カスタマイゼーション) Training 高品質で特化されたデータ Post-training(Fine-tuning) Pre-training LLM/SLMのTrainingとFine-Tuning
  33. Pre-Training Fine-Tuning LLM/SLM カスタマイゼーショ ン Instruction Tuning (Supervised) Domain-Adaptation (Supervised)

    Retrain from scratch Continual pre- training Alignment Tuning (RLHF, DPO) [Ref.] A Comprehensive Overview of Large Language Models: https://arxiv.org/pdf/2307.06435.pdf High quality data Supervised Fine- Tuning (SFT) Parameter Efficient Fine- Tuning (PEFT) 例 LoRA 目的別の Fine-Tuningメソッド 更新されたパラメータの量による Fine-Tuning テクニック カスタマイゼーション目的別のFine-Tuningメソッド • ドメイン固有のデータに関する一般的な理 解を追加 • 最新のデータを追加 • 多言語サポート • 教師データなし(準備不可) • 新しいスキルとスタイルを学ぶ • ドメイン固有のデータとタスクの学習 • 教師データあり(準備可能) Pre-trainingの時より データの変化が大きい Pre-trainingの知識と能 力をベースに改善・追加 • 大量のデータ、リソース、時間が利用可能 • 高いパフォーマンスと柔軟性が必要 • 通常、SLMに使う • 効率重視 • 通常、LLM に使う
  34. 主要 アップデート一覧 •マルチターン会話における重み付け •自己選択型パラメータ設定 •関数呼び出しとツールのサポート •継続的なファインチューニング(以前にファインチューニングされたモデルを再調整) •Direct Preference Optimization (DPO)

    サポート •Reinforcement Fine Tuning (o-1mini) •Full Validation Statistics •チェックポイントの選択と保存 •内蔵型セーフティ機能 •視覚モデルのファインチューニング •評価と蒸留 (Distillation)プロセス •Weights & Biases との統合
  35. Azure OpenAI Stored Completions Region o1-preview, 2024-09-12 o1-mini, 2024-09-12 gpt-4o,

    2024-08-06 gpt-4o, 2024-05-13 gpt-4o-mini, 2024-07-18 Sweden Central North Central US - - - - East US 2 - - - - チャット・セッションから会話履歴をキャプチャ して、評価やファインチュン(蒸留など)の データセットとして使用します。 completion = client.chat.completions.create( model="gpt-4o", store= True, # set the `store` parameter to True to enable stored completion metadata = { "user": "admin", "category": "docs-test", }, # use the `metadata` parameter to enrich stored completion dataset messages=[ {"role": "system", "content": "Provide a clear and concise summary of ...”} ] ) https://learn.microsoft.com/en-us/azure/ai-services/openai/how-to/stored-completions リージョンとモデルのサポート (2025/02)
  36. Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI

    Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning
  37. AI エージェントはどのように機能するか? 利用者 旅行予約 エージェント 「クライアントとのミーティングのためにニューヨークへの 旅行を予約するのを手伝ってくれませんか? 来週の月曜日に飛行機で出発し、金曜日に戻らな ければなりません。」 ナレッジソース

    (検索、ファイル、データベース、ストレージなど) モデル (Azure OpenAI Service、サービスとしてのモデル) アクション (構築済みまたはプロセスを自動化する カスタムツール) 「リクエスト通り、ニューヨークへの旅行を 予約しました。詳細はこちらです。」
  38. Azure AI Agent Service エンタープライズ対応機能の ビルトイン BYO-file storage BYO-search index

    Azure AI Foundry – Agent Service OBO Authorization Support Enhanced Observability 幅広いツールのエコシステム ナレッジ Microsoft Fabric SharePoint Bing Search Azure AI Search Your own licensed data Files (local or Azure Blob) File Search Code Interpreter アクション Azure Logic Apps OpenAPI 3.0 Specified Tools Azure Functions モデルカタログ Azure OpenAI Service (GPT-4o, GPT-4o mini) Models-as-a-Service Llama 3.1-405B-Instruct Mistral Large Cohere-Command-R-Plus Azure AI Foundry
  39. Azure AI Foundry で エージェントをデプロイ 1 シングルエージェント 管理エージェント マイクロサービス 2

    マルチエージェント AutoGen と Semantic Kernelと 一緒にオーケストレーション 最先端の技術 リサーチSDK 本番環境に対応し 安定したSDK アイディエーション 本番環境 Azure AI Foundry
  40. microsoft/ai-agents-for-beginners: 10 Lessons to Get Started Building AI Agents •AIエージェントを学ぶ全10レッスン

    • IntroやRAG、多エージェント構成などの知識を体系的に 習得 •豊富なツールやフレームワークを活用 • Azure AI Foundry / GitHub Model Catalog / Azure AI Agent Service / Semantic Kernel / AutoGen •初心者にやさしいコードサンプル • Pythonコードをforkして自由にカスタマイズ・実行可能 •マルチランゲージ対応・翻訳リソース充実 • 日本語含む多数の言語でドキュメントを提供 •Azure AIコミュニティDiscordで質問&交流 • 学習の詰まりや相談はDiscordで気軽にやり取り •スキル拡張に役立つ関連コースも多数 • Generative AIやML、データサイエンスなど幅広く学べる リソースを案内
  41. シングルエージェント プ ロ ン プ ト 完 了 行動を起こし、新しい知識を習得 する能力を持つ単一のエージェント

    マルチエージェント プ ロ ン プ ト 完 了 複数のエージェントが連携して 複雑な問題を解決する MoE エージェント プ ロ ン プ ト 完 了 さらに複雑な問題を解決するた めのマルチエージェントを含む複 数のドメインエキスパート Swarm プ ロ ン プ ト 完 了 レプリケーションを行い、動的に 変換し、変化する環境に適応す る能力を持つエージェント タスク解決 反射 作家 批評家 マネージャー コマンダー コマンダー セーフガード 会話 チェス盤 チェスプレイヤー1 チェスプレイヤー2 画像 生成 イメージ アナライザー マルチ モーダル 意思 決定 アシスタント グラウンディングエージェント プランナーエージェント
  42. Content Understanding の構成要素 入力 ドキュメント 画像 ビデオ オーディオ テキスト コンテンツ抽出

    前処理 正規化 (解像度、フォーマット) 向き補正/歪み補正 エンリッチメント 話者認識 レイアウトと構造 顔のグループ化 コンテンツ抽出 付加機能 フィールド抽出 GPT最適化 コンテキストウィンドウ プロンプト調整 後処理 信頼度スコア グラウンディング 正規化 スキーマ 推論 信頼性と グラウンディング 出力 構造化 インサイト コンテンツ + 追加 コンシューマー Search Databases Copilots Apps Fabric Agents Azure AI Foundry
  43. Azure AI Foundry Visual Studio Copilot Studio GitHub Azure AI

    Foundry SDK モデルカタログ オープンソースモデル 基盤モデル タスクモデル 産業モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング Azure Machine Learning
  44. Azure AI Foundry 生成AI のリスク軽減は複数のレイヤーで行われます アプリの応答 ユーザープロンプト フィルター処理された応答 安全システム 変更

    & フィルタリング プロンプト モデル 応答 システム メッセージと グランディング 変更された プロンプト 自社のアプリケーション 評価とモニタリング
  45. Azure AI Content Safety 有害カテゴリ カスタムカテゴリ ヘイトと公平性、性的、 暴力、自傷行為を認識 また、カスタマイズも可能 根拠性検出

    LLMの回答がユーザーの 提供された情報に 基づいているか検出 プロンプト シールド 直接攻撃 間接攻撃 保護された素材 の検出 保護されたコード 保護されたテキスト Azure AI Foundry
  46. Azure AI Content Safety と Defender の連携  検知したセキュリティ アラートを

    Defender for Cloud 及び Defender ポータル で管理 疑わしいプロンプト入力内容 Defender for Cloud
  47. Azure AI Contents Safety と Defender の連携  検知したセキュリティ アラートを

    Defender for Cloud および Defender XDR で管 理 Defender Portal のインシデント インシデントが発生したリソースおよびユーザー
  48. 参考:AI のセキュリティに関する推奨事項 Azure 関連  Azure AI Services リソースのキー アクセスが無効になっている必要があります

    (ローカル認証を無効にする)  Azure AI Services リソースでネットワーク アクセスを制限する必要がある  Azure AI サービスのリソースでは Azure Private Link を使用する必要があります  (必要に応じて有効にする) Azure AI サービスリソースでは、カスタマー マネージド キー (CMK) を使用して保存データを暗号化する必要があります  Azure AI サービス リソースの診断ログを有効にする必要がある  Azure Machine Learning ワークスペースのリソース ログを有効にする必要がある (プレビュー)  Azure Machine Learning ワークスペースで公衆ネットワーク アクセスを無効にする必要がある (プレビュー)  Azure Machine Learning コンピューティングは仮想ネットワーク内に存在する必要がある (プレビュー)  Azure Machine Learning コンピューティングでローカル認証方法を無効にする必要がある (プレビュー)  最新のソフトウェア更新プログラムを取得するには、Azure Machine Learning コンピューティング インスタンスを再作成する必要がある (プレビュー)  Azure Databricks ワークスペースのリソース ログを有効にする必要がある (プレビュー)  Azure Databricks ワークスペースではパブリック ネットワーク アクセスを無効にする必要がある (プレビュー)  Azure Databricks クラスターはパブリック IP を無効にする必要がある (プレビュー)  Azure Databricks ワークスペースは仮想ネットワーク内に存在する必要がある (プレビュー)  Azure Databricks ワークスペースはプライベート リンクを使用する必要がある (プレビュー) AWS 関連  AWS Bedrock でモデル呼び出しログが有効になっている必要がある  AWS Bedrock では AWS PrivateLink を使用する必要がある  AWS Bedrock エージェントは、生成 AI アプリケーションへのアクセスを許可するときにガードレールを使用する必要がある https://learn.microsoft.com/ja- jp/azure/defender-for- cloud/recommendations- reference-ai
  49. AIワークロードの脅威保護 • AI ワークロードに対する脅威を検出してアラート化 • SOCチームの調査に活用することで不正な利用にいち早く対応 • Azure AI Content

    Safety Prompt Shield と統合(Azure OpenAI コンテンツフィルタリング側 でフィルターの設定が必要) • 現時点で、利用には 申し込みForm からの申請が必要 • 【検出可能なアラート】 • Azure Open AI モデルのデプロイメントで認証情報の盗 難を検出 • Azure Open AI モデルデプロイメントに対する Jailbreak の試みは、プロンプトシールドによってブロックされました。 • Azure Open AI モデルデプロイメントに対する Jailbreak の試みがプロンプトシールドによって検出されました。 • Azure Open AIモデルのデプロイで検出された機密デー タの公開 https://learn.microsoft.com/ja-jp/azure/defender- for-cloud/alerts-ai-workloads Microsoft Defender ポータルで インシデント管理も可能
  50. クラウド内のデータの保護 SecOps AI アプリケーションの利用 Investigate in Defender ジェイルブレイクによる機密 データへのアクセスのリスク セキュリティチーム

    機密データのラベリングと 保護 Azure AI Content Safety 入力と出力 Investigate in Purview Azure AI Content Safety Prompt Shields によってブロック されるプロンプト攻撃 Azure AI アプリケーションコンテキスト 脅威インテリジェンスのシグナルで調 査結果を充実させる 悪意のあるアクティビティ データリスク 開発者 Data Security & Compliance
  51. 開催日 : 2025 年 3 月 27 日 (木) 場

    所 : 東京ビッグサイト 参 加 : 事前登録制 (参加無料) * Microsoft AI Tour Tokyo 会長兼 CEO サティア・ナデラ登壇決定! 最新情報・登録は QR コードまたは以下 URL よりご確認ください https://aitour.microsoft.com/tokyo *席数に限りがあるため、参加のお申し込みをいただいてもすぐにお席は確保されません。 お客様の登録が確定しましたら、登録完了のメールをお送りしますので、少々お待ちください。