Microsoft Build 2023 Azure AI & ML 最新アップデート 永田 祥平 - Shohei Nagata Cloud Solution Architect (Data & AI) – Microsoft Japan

永田祥平 (Shohei Nagata)  Microsoft 所属  Cloud Solution Architect (Data & AI)  主に機械学習やデータ分析基盤の導入/活用支援を実施  もともとの専門は Genomics, Bioinformatics  趣味/マイブーム  日本酒/コーヒー/Starbucks  東京の美味しいご飯屋探し  アニメ、マンガ、読書  興味分野  ビッグデータ分析基盤  Explainable AI  Healthcare, Genomics Personal Info @shohei_aio /shohei-nagata

Agenda  Microsoft Build 2023 アップデート  Azure OpenAI Service  & Azure Cognitive Search  Azure AI Content Safely  Azure Machine Learning  Azure Cognitive Services - Vision 本セッション資料は後ほど共有いたします。 詳細はそちらをご確認ください。

Microsoft AI portfolio Business Users & Citizen Developers Applications Power Platform Power BI Power Apps Power Automate Power Virtual Agents Developers & Data Scientists Azure AI Applied AI Services Bot Service Cognitive Search Form Recognizer Video Indexer Metrics Advisor Immersive Reader Vision Speech Language Decision Azure OpenAI Service ML Platform Azure Machine Learning Cognitive Services

Azure OpenAI Service

ユーザー独自モデルの 構築/学習 Azure OpenAI / OSS モデルと独自データのグ ラウンディング 組み込み ベクトルインデックス 外部データ連携の 簡易化 プロンプトフローの 作成 組み込み AI safety

Azure OpenAI Service Top capabilities コンテンツ生成 文章要約 コード生成 セマンティック検索 Customer use cases

Azure OpenAI Service GPT-3 (GA) DALL·E 2 (preview) ChatGPT (GA) GPT-4 (GA) 独自データの利用 プレビュー開始予定 6月中 Azure OpenAI プラグイン Coming soon 設定可能な コンテンツフィルター プレビュー開始予定 6月中 プロビジョニング済み スループット 限定公開 6月中

Azure OpenAI Service on your data OpenAI/ChatGPTモデルと独自データの連携が実現可能に

外部知識ベースを利用したLLMアプリケーション 大量のデータの中から関連データを集めたい。 構造化されてないクエリーを入力にしたい。 -> 検索エンジンの仕事 App UX オーケストレーター Azure OpenAI (ChatGPT) Azure Cognitive Search Data Sources (files, databases, etc.) 検索クエリによる 外部知識取得 プロンプト＋外部知識 によるAI回答生成 Azure Cognitive Search  ファイルストレージ、データベース等々幅広いデータ ソースに対応  文章、画像、音声、動画、等々幅広いデータ種 類に対応  パーティション＆レプリケーションによるスケーリング 検索対象 これまでユーザー独自で実装する必要があったCognitive Searchとの連携が、ネイティブ機能としてリリース予定 LLM: ChatGPTなどの大規模言語モデル

Azure Cognitive Searchが ベクトル検索に対応 様々なデータをベクトル化した上で類似度計算＆取得が可能に Images Audio Video Graphs Documents • 様々なデータ種類やデータソースに対応 • ベクトル検索やハイブリッド検索の利用 • OpenAI embeddingsモデルやユーザー 持ち込みも対応 • レプリケーションやパーティションによる スケーラビリティ • OpenAI/ChatGPT活用したアプリ ケーションや検索プラグインの開発 https://aka.ms/VectorSearchSignUp

Azure Cognitive Search に よるデータ検索 Azure Translator による 100 を超える言語の翻訳 Bing 検索による最新情報の グラウンディング Azure SQL からの構造化デー タの抽出 Azure OpenAI Plugins • 利用者の様々なデータストア、ベ クトルデータベース、ウェブ上のデー タに安全にアクセス可能 • Azure ADとマネージド ID による データアクセス制御 • 管理者ロールはどのプラグインを有 効化するか選択可能 Azure OpenAI Plugins マイクロソフトのサービスにセキュアにアクセスできる強力な AI Copilot の開発 OpenAI社、Bing、Microsoft 365 Copilot等とプラグインフォーマットを共通化

予測可能な性能 Azure OpenAI Service プロビジョニング済みスループット 高負荷本番用途向け：モデル処理容量の月別予約購入 コスト削減 処理容量の予約 均一なワークロードに対して安定した レイテンシーとスループットを実現 需要に応じた処理能力の確保 高スループット用途では トークンベースの使用と比較して コスト削減が見込める

Azure AI Content Safety

Azure AI Content Safety Service 安全でないコンテンツを検出し 重要度スコアを割り当て 人間やAIが生成した コンテンツで動作 Azure AIサービス 全体に統合 プレビュー提供開始

ヘイト 性的 自傷 暴力 新しいMicrosoftの 基盤モデル: Florenceを利用 カテゴリごとに 4 つの重大度レベル (0、2、4、6) を返します。 マルチクラス、マルチ重大度、 およびマルチ言語 カテゴリごとに 4 つの重大度レベル (0、2、4、6) を返します。 言語: 英語、スペイン語、ドイツ語、フランス語 日本語、ポルトガル語、イタリア語、中国語 Azure AI Content Safety (coming soon) (coming soon)

Azure OpenAI Service には、モデルとともに動作するコンテンツフィルターが組み込まれています。 コンテンツフィルターは、アンサンブル分類モデルによって Prompt (入力) とCompletion (出力) の両方から有害なコンテンツ の検出と防止を行うことを目的としています。 対応言語: 日本語、英語、ドイツ語、スペイン語、フランス語、イタリア語、ポルトガル語、中国語 1 Azure OpenAI APIのレスポンスによ り、有害コンテンツを4つのカテゴリーに 分類 ヘイト 性的 暴力 自傷 各カテゴリーの重大度スコアを0~6 で 返す 2 0 4 0 重大度に基づいてコンテンツを分類 高リスク: 自動的にブロック 中リスク: モデレーターへ送信 低リスク: 自動的に承認 Azure OpenAI Service のコンテンツフィルタリング 2 3

Azure OpenAI コンテンツフィルター コンテンツフィルタリングが設定可能に 重大 度 Prompt (入力) への 適用 Completion (出力) への 適用 説明 低 中 高 Yes Yes 最も厳しいフィルタリングの設定。 重大度が低、中、高で検出されたコン テンツがフィルタリングされます。 中 高 Yes Yes デフォルト設定。 重大度が低で検出されたコンテンツは フィルターを通過し、中、高で検出された コンテンツはフィルタリングされます。 高 No* No* 重大度が低と中で検出されたコンテンツ は、コンテンツフィルターを通過します。重 大度が高いコンテンツのみがフィルタリン グされます。

Azure Machine Learning

Azure Machine Learning Open Datasets Structured Data Unstructured Data Seamless studio experience Responsible ML tools Notebooks Designer Comprehensive MLOps across clouds and on-premises Powerful Compute (CPU, GPU, FPGA) Managed Kubernetes Azure Edge & Hybrid Azure Arc-enabled Kubernetes Edge/IoT Devices Reproducibility Automation Deployment Re-training Security and Governance Automated ML Prepare Data Build & Train Manage & Monitor Deploy Business Apps Analytics & Govern 機械学習プロジェクト全体をカバーするプラットフォーム

Microsoft AI portfolio Business Users & Citizen Developers Applications Power Platform Power BI Power Apps Power Automate Power Virtual Agents Developers & Data Scientists Azure AI Applied AI Services Bot Service Cognitive Search Form Recognizer Video Indexer Metrics Advisor Immersive Reader Vision Speech Language Decision Azure OpenAI Service ML Platform Azure Machine Learning Cognitive Services

OSS モデルカタログ 責任ある AI Azure AI Content Safety プロンプト構築/評 価ツール Prompt flow 大規模AI アプリデプロイ 生成 AI モデル モニタリング

• 選択したフレームワークとAPI を使用してさまざまな言 語モデルとデータソースを使用する AI ワークフローを作 成 • 1つのプラットフォームで生成 AI ワークフローの 構築、調整、評価を実行 • 事前構築済の指標で AI ワークフローの品質を評価 • プロンプトのチューニング、比較、トラッキング Azure Machine Learning Prompt Flow

ユーザーの質問 LLM Workflow データのクエリ プロンプトに結果を追加 テキスト生成 結果の送信

Prompt Flow 大規模言語モデルを利用したアプリケーションの開発と制御をサポート

Azure Machine Learning 基盤モデル/モデルカタログ • モデルカタログ機能で、Hugging FaceとAzure OpenAI Serviceで利用可能な数千のオープン ソースモデルをそのまま利用可能 • モデルの微調整 (Fine-tuning)と評価に対応 • 数クリックでマネージドエンドポイントへデプロイ

Managed Feature Store Public Preview Foundation Models Public Preview Import data from external sources aka Data Import Public Preview VSCode Web Public Preview Model Training with Serverless Compute Public Preview Improved experiment tracking tools Public Preview Azure Container for PyTorch (ACPT) General Availability Interactive Job General Availability Scheduling General Availability Mirror Traffic General Availability Model Monitoring Public Preview Managed Feature Store Public Preview Foundation Models Public Preview Managed Network Isolation Public Preview Support for DataRobot 9.0 Public Preview

責任ある AI ダッシュボード for 画像とテキスト • Azure ML の責任ある AI ダッシュボードで、テキストと画像 データをサポート • 非構造化データのモデル構築、トレーニング、評価プロセス中 にモデルをより包括的に理解 • 自然言語 AI および 画像 AI の徹底的な評価と デバッグのために、エラー分析、モデルの解釈可能性、 不公平性を評価 および 軽減 • 企業はモデルがデプロイされる前にデバッグ機能と視覚化を 使用してバイアス、公平性、説明可能性をチェックし、情報 に基づいたビジネス上の意思決定を行うことができる • Generate Responsible AI vision insights with YAML and Python in Azure Machine Learning - Azure Machine Learning | Microsoft Learn • Generate Responsible AI text insights with YAML and Python in Azure Machine Learning - Azure Machine Learning | Microsoft Learn Public Preview 画像とテキストデータでもモデルの説明が可能に

マネージド仮想ネットワーク分離 • ビルトインされた ワークスペースレベルの Azure Machine Learning マネージド 仮想ネットワーク • ネットワーク分離構成を合理化および 自動化 • お客様は複雑なネットワーク構成に対 処する必要がなく、Microsoft が管理 する仮想ネットワークを利用可能 Announcing Azure Machine Learning managed network isolation - Microsoft Community Hub Public Preview ワークスペースのネットワーク分離を自動的に構成

マネージドフィーチャーストア • 組織全体でのフィーチャー (特徴量)の検出と再利用 • 変換パイプラインを使用したフィーチャの作成 • 学習/推論パイプラインとの共通化、YAML定義、バー ジョン管理を通じたMLOpsの実現 Announcing managed feature store in Azure Machine Learning - Microsoft Community Hub Public Preview データセットの特徴量管理を通じて学習と運用のコストを削減

共有レジストリ • 組織内のワークスペース間での共同作業を支援 • モデル、コンポーネント、データセット、環境の共有 • Dev/Test環境から本番環境への移行など、ワークス ペース間の MLOps の実現を支援 Machine Learning registries - Azure Machine Learning | Microsoft Learn GA ワークスペースをまたいだMLアセット共有が簡単に

モデルモニタリング  オンライン エンドポイントとモデルからのデータ収集によるモデ ルモニタリング  データドリフト、予測ドリフト、データ品質、フィーチャー属性ド リフトに対応  広い視点と詳細な視点を備えた監視セットアップ(コホート 分析)  重要な特徴量のみをモニタリングすることによるコスト削減  カスタムモニタリングシグナル: 組み込みの監視信号がニー ズを満たさない場合は、独自の監視信号を定義 Continuously Monitor the Performance of your AzureML Models in Production - Microsoft Community Hub Public Preview デプロイ後のモデル精度を監視＆改善へ

パイプラインコンポーネントデプロイ – バッチエンドポイント • 処理グラフ (パイプライン) 全体を推論パイプラインとして デプロイ可能 • 低待機時間と非同期の方法でバッチ推論を実行 • プラットフォームに既に存在するコンポーネントを推論用 に再利用 • Reaching production has never been easier: Announcing Pipeline component deployments - Microsoft Community Hub Public Preview 処理パイプラインをバッチエンドポイントとしてデプロイ

ミラートラフィック機能 - オンラインエンドポイント  エンドポイント部分でトラフィックをコピーするこ とで、本番デプロイに影響を与えずに新モデル をテスト  モデル性能 (レイテンシー, スループット, CPU/GPU利用率など)を確認  テスト後はそのままライブトラフィックを送信さ せることで本番投入  Safely roll out your machine learning models using Managed online endpoint in Azure Machine Learning - Microsoft Community Hub GA 本番環境に影響を与えずに新モデルをテスト (シャドウテスト)

Private preview 段階の機能を早期に テストしフィードバックを行う機会を提供 開発チームと直接的に情報交換 https://aka.ms/azureMLinsiders

Demo – Model Catalog Azure Machine Learning

Azure Cognitive Services - Vision

Azure Cognitive Services Vision Speech Language Decision NEW 認知機能になぞられた機能群をAIパーツ (API)として利用

Project Florence – Microsoft Researchの大規模基盤モデル Caption Depth Video Reasoning 基盤モデル (Foundation model)：大量かつ多様なデータで訓練され、多様な下流タスクに適応できるモデル

Open World Recognition 認識可能なカテゴリ : 10k → 400k → 1M+… American white ibis Mt. Rainier Washington Microsoft Capri Sun Fruit Punch case Jean Reno The Return of the Jedi Chest CT Romanian glassware Free body diagram Sunflower hearts Griffith observatory Honda logo Campbells Well Yes Minestrone w/ Kale soup Charlize Theron On Strange Tides, Pirates of the Caribbean Abdominal organs Wooden statue Dock receipt Shamu show BMW headquarters USPS tracking Barefoot Contessa cookbook Dwade Avengers Trails Monoblasts Along the river during the Quigming Festival Gartner hype curve Roebuck deer Snoqualmie ridge Starbucks Dove Sensitive Skin Beauty Bar Elon Musk The Lion King movie Virus Irises painting Ecuaciones algebraicas 動物 ランドマーク ロゴ 製品 有名人 映画 医療 美術 文書

Computer Vision の最新機能 複数の業界ドメインにわたる画像や動画コンテンツからのインサイト抽出 デジタル資産管理 安全性とセキュリティの強化 小売業務の自動化 画像検索 デンスキャプション 背景除去 動画検索 動画要約 モデル カスタマイズ 製品検出

画像分析 API REST API https://{endpoint}/computervision/imageanalysis:analyze?features=caption https://{endpoint}/computervision/imageanalysis:analyze?features=densecaptions 画像キャプション デンス・キャプション a woman in a canoe touching water with a man in the front デジタル資産管理

画像検索 API

画像検索 API REST API https://{endpoint}/computervision/retrieval:vectorizeImage https://{endpoint}/computervision/retrieval:vectorizeText Vectorize Image API Image Vectors Vectorize Text API Text Vector Cosine Similarity N Top Image Vectors Find images for vectors “Light through the canopy” Photo Library Vectorize Image API Image Vectors Vectorize Text API Text Vector Cosine Similarity N Top Image Vectors Find images for vectors “Light through the canopy” Photo Library “Light through the canopy” Photo Library テキスト・ベクトル API 画像・ベクトル API テキスト ベクトル 画像 ベクトル トップ N 画像ベクトル ベクトル 画像検索 Search Index Cosine 類似度 デジタル資産管理

セグメントAPI: 背景除去 REST API https://{endpoint}/computervision/imageanalysis:segment?mode=backgroundremoval デジタル資産管理

製品検知 API https://{endpoint}/computervision/operations/shelfanalysis-productunderstanding:analyze https://{endpoint}/computervision/operations/shelfanalysis-productunderstanding:analyze?product- classifier-model-name=custommodel * * 小売り

Product Recognition APIs Planogram Matching https://{endpoint}/computervision/operations/shelfanalysis-planogrammatching:analyze inches inches * pixels pixels * 小売り

関連セッション Keynote: Next generation AI for developers with the Microsoft Cloud DIS 113: Build and Maintain your Company Copilot with AzureML and GPT-4 Q&A DIS 114: Semantic Kernel: Connect with the product team and learn from Q&A BRK212H: Practical Deep-dive into Machine Learning Techniques and MLOps BRK213H: Building and using AI models responsibly BRK211H: Build and Maintain your Company Copilot with AzureML and GPT-4

© Copyright Microsoft Corporation. All rights reserved.

最新の技術情報と日本のオリジナルコンテンツをお届け！ 日 時: 6 月 27 日 (火) ～ 28 日 (水) 場 所: オンライン/東京会場 (日本マイクロソフト株式会社 品川本社) ※会場ではセッションに加え、ハンズオンやExpo等の体験型コンテンツを実施 最新情報・登録はQRコードまたは以下URLよりご確認ください https://aka.ms/buildjapan.top