Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Microsoft Build 2023 Azure AI&ML 最新アップデート

Microsoft Build 2023 Azure AI&ML 最新アップデート

Azure OpenAI ServiceやAzure Machine Learningを中心に、Azure AIサービスのアップデートについてご紹介した資料です。

発表イベント:https://dllab.connpass.com/event/284571/

Key words:
Azure OpenAI Service, Azure Cognitive Search, Azure Machine Learning, Azure Cognitive Services for Vision

Shohei N.

June 09, 2023
Tweet

More Decks by Shohei N.

Other Decks in Technology

Transcript

  1. Microsoft Build 2023
    Azure AI & ML 最新アップデート
    永田 祥平 - Shohei Nagata
    Cloud Solution Architect (Data & AI) – Microsoft Japan

    View Slide

  2. 永田祥平 (Shohei Nagata)
     Microsoft 所属
     Cloud Solution Architect (Data & AI)
     主に機械学習やデータ分析基盤の導入/活用支援を実施
     もともとの専門は Genomics, Bioinformatics
     趣味/マイブーム
     日本酒/コーヒー/Starbucks
     東京の美味しいご飯屋探し
     アニメ、マンガ、読書
     興味分野
     ビッグデータ分析基盤
     Explainable AI
     Healthcare, Genomics
    Personal Info
    @shohei_aio
    /shohei-nagata

    View Slide

  3. Agenda  Microsoft Build 2023 アップデート
     Azure OpenAI Service
     & Azure Cognitive Search
     Azure AI Content Safely
     Azure Machine Learning
     Azure Cognitive Services - Vision
    本セッション資料は後ほど共有いたします。
    詳細はそちらをご確認ください。

    View Slide

  4. Microsoft AI portfolio
    Business Users
    & Citizen Developers
    Applications
    Power Platform
    Power BI Power Apps Power Automate Power Virtual Agents
    Developers &
    Data Scientists
    Azure AI
    Applied AI Services
    Bot Service Cognitive Search Form Recognizer Video Indexer Metrics Advisor Immersive Reader
    Vision Speech Language Decision
    Azure OpenAI
    Service
    ML Platform
    Azure Machine Learning
    Cognitive Services

    View Slide

  5. Azure OpenAI Service

    View Slide

  6. ユーザー独自モデルの
    構築/学習
    Azure OpenAI / OSS
    モデルと独自データのグ
    ラウンディング
    組み込み
    ベクトルインデックス
    外部データ連携の
    簡易化
    プロンプトフローの
    作成
    組み込み
    AI safety

    View Slide

  7. Azure OpenAI Service
    Top capabilities
    コンテンツ生成 文章要約 コード生成 セマンティック検索
    Customer use cases

    View Slide

  8. Azure OpenAI Service
    GPT-3 (GA) DALL·E 2 (preview)
    ChatGPT (GA) GPT-4 (GA)
    独自データの利用
    プレビュー開始予定
    6月中
    Azure OpenAI
    プラグイン
    Coming soon
    設定可能な
    コンテンツフィルター
    プレビュー開始予定
    6月中
    プロビジョニング済み
    スループット
    限定公開
    6月中

    View Slide

  9. Azure OpenAI Service on your data
    OpenAI/ChatGPTモデルと独自データの連携が実現可能に

    View Slide

  10. 外部知識ベースを利用したLLMアプリケーション
    大量のデータの中から関連データを集めたい。
    構造化されてないクエリーを入力にしたい。
    -> 検索エンジンの仕事
    App UX
    オーケストレーター
    Azure OpenAI
    (ChatGPT)
    Azure Cognitive Search
    Data Sources
    (files, databases, etc.)
    検索クエリによる
    外部知識取得
    プロンプト+外部知識
    によるAI回答生成
    Azure Cognitive Search
     ファイルストレージ、データベース等々幅広いデータ
    ソースに対応
     文章、画像、音声、動画、等々幅広いデータ種
    類に対応
     パーティション&レプリケーションによるスケーリング
    検索対象
    これまでユーザー独自で実装する必要があったCognitive Searchとの連携が、ネイティブ機能としてリリース予定
    LLM: ChatGPTなどの大規模言語モデル

    View Slide

  11. Azure Cognitive Searchが
    ベクトル検索に対応
    様々なデータをベクトル化した上で類似度計算&取得が可能に
    Images Audio Video Graphs Documents
    • 様々なデータ種類やデータソースに対応
    • ベクトル検索やハイブリッド検索の利用
    • OpenAI embeddingsモデルやユーザー
    持ち込みも対応
    • レプリケーションやパーティションによる
    スケーラビリティ
    • OpenAI/ChatGPT活用したアプリ
    ケーションや検索プラグインの開発
    https://aka.ms/VectorSearchSignUp

    View Slide

  12. Azure Cognitive Search に
    よるデータ検索
    Azure Translator による 100
    を超える言語の翻訳
    Bing 検索による最新情報の
    グラウンディング
    Azure SQL からの構造化デー
    タの抽出
    Azure OpenAI
    Plugins
    • 利用者の様々なデータストア、ベ
    クトルデータベース、ウェブ上のデー
    タに安全にアクセス可能
    • Azure ADとマネージド ID による
    データアクセス制御
    • 管理者ロールはどのプラグインを有
    効化するか選択可能
    Azure OpenAI Plugins
    マイクロソフトのサービスにセキュアにアクセスできる強力な AI Copilot の開発
    OpenAI社、Bing、Microsoft 365 Copilot等とプラグインフォーマットを共通化

    View Slide

  13. 予測可能な性能
    Azure OpenAI Service プロビジョニング済みスループット
    高負荷本番用途向け:モデル処理容量の月別予約購入
    コスト削減
    処理容量の予約
    均一なワークロードに対して安定した
    レイテンシーとスループットを実現
    需要に応じた処理能力の確保 高スループット用途では
    トークンベースの使用と比較して
    コスト削減が見込める

    View Slide

  14. Azure AI Content Safety

    View Slide

  15. Azure AI Content Safety Service
    安全でないコンテンツを検出し
    重要度スコアを割り当て
    人間やAIが生成した
    コンテンツで動作
    Azure AIサービス
    全体に統合
    プレビュー提供開始

    View Slide

  16. ヘイト
    性的
    自傷
    暴力
    新しいMicrosoftの
    基盤モデル: Florenceを利用
    カテゴリごとに 4 つの重大度レベル
    (0、2、4、6) を返します。
    マルチクラス、マルチ重大度、
    およびマルチ言語
    カテゴリごとに 4 つの重大度レベル
    (0、2、4、6) を返します。
    言語:
    英語、スペイン語、ドイツ語、フランス語
    日本語、ポルトガル語、イタリア語、中国語
    Azure AI Content Safety
    (coming soon)
    (coming soon)

    View Slide

  17. Azure OpenAI Service には、モデルとともに動作するコンテンツフィルターが組み込まれています。
    コンテンツフィルターは、アンサンブル分類モデルによって Prompt (入力) とCompletion (出力) の両方から有害なコンテンツ
    の検出と防止を行うことを目的としています。
    対応言語: 日本語、英語、ドイツ語、スペイン語、フランス語、イタリア語、ポルトガル語、中国語
    1
    Azure OpenAI APIのレスポンスによ
    り、有害コンテンツを4つのカテゴリーに
    分類
    ヘイト 性的
    暴力 自傷
    各カテゴリーの重大度スコアを0~6 で
    返す
    2 0
    4 0
    重大度に基づいてコンテンツを分類
    高リスク: 自動的にブロック
    中リスク: モデレーターへ送信
    低リスク: 自動的に承認
    Azure OpenAI Service のコンテンツフィルタリング
    2 3

    View Slide

  18. Azure OpenAI コンテンツフィルター
    コンテンツフィルタリングが設定可能に
    重大

    Prompt
    (入力) への
    適用
    Completion
    (出力) への
    適用
    説明



    Yes Yes
    最も厳しいフィルタリングの設定。
    重大度が低、中、高で検出されたコン
    テンツがフィルタリングされます。


    Yes Yes
    デフォルト設定。
    重大度が低で検出されたコンテンツは
    フィルターを通過し、中、高で検出された
    コンテンツはフィルタリングされます。
    高 No* No*
    重大度が低と中で検出されたコンテンツ
    は、コンテンツフィルターを通過します。重
    大度が高いコンテンツのみがフィルタリン
    グされます。

    View Slide

  19. Azure Machine Learning

    View Slide

  20. Azure Machine Learning
    Open Datasets
    Structured Data
    Unstructured
    Data
    Seamless studio experience
    Responsible ML tools
    Notebooks Designer
    Comprehensive MLOps
    across clouds and on-premises
    Powerful Compute
    (CPU, GPU, FPGA)
    Managed
    Kubernetes
    Azure Edge & Hybrid
    Azure Arc-enabled
    Kubernetes
    Edge/IoT Devices
    Reproducibility Automation Deployment Re-training
    Security and Governance
    Automated ML
    Prepare Data Build & Train Manage & Monitor
    Deploy
    Business Apps
    Analytics & Govern
    機械学習プロジェクト全体をカバーするプラットフォーム

    View Slide

  21. Microsoft AI portfolio
    Business Users
    & Citizen Developers
    Applications
    Power Platform
    Power BI Power Apps Power Automate Power Virtual Agents
    Developers &
    Data Scientists
    Azure AI
    Applied AI Services
    Bot Service Cognitive Search Form Recognizer Video Indexer Metrics Advisor Immersive Reader
    Vision Speech Language Decision
    Azure OpenAI
    Service
    ML Platform
    Azure Machine Learning
    Cognitive Services

    View Slide

  22. OSS
    モデルカタログ
    責任ある AI
    Azure AI Content
    Safety
    プロンプト構築/評
    価ツール Prompt
    flow
    大規模AI
    アプリデプロイ
    生成 AI モデル
    モニタリング

    View Slide

  23. • 選択したフレームワークとAPI を使用してさまざまな言
    語モデルとデータソースを使用する AI ワークフローを作

    • 1つのプラットフォームで生成 AI ワークフローの
    構築、調整、評価を実行
    • 事前構築済の指標で AI ワークフローの品質を評価
    • プロンプトのチューニング、比較、トラッキング
    Azure Machine Learning
    Prompt Flow

    View Slide

  24. ユーザーの質問
    LLM Workflow
    データのクエリ
    プロンプトに結果を追加
    テキスト生成
    結果の送信

    View Slide

  25. Prompt Flow 大規模言語モデルを利用したアプリケーションの開発と制御をサポート

    View Slide

  26. Azure Machine Learning
    基盤モデル/モデルカタログ
    • モデルカタログ機能で、Hugging FaceとAzure
    OpenAI Serviceで利用可能な数千のオープン
    ソースモデルをそのまま利用可能
    • モデルの微調整 (Fine-tuning)と評価に対応
    • 数クリックでマネージドエンドポイントへデプロイ

    View Slide

  27. Managed Feature Store Public Preview
    Foundation Models Public Preview
    Import data from external sources aka Data Import Public Preview
    VSCode Web Public Preview
    Model Training with Serverless Compute Public Preview
    Improved experiment tracking tools Public Preview
    Azure Container for PyTorch (ACPT) General Availability
    Interactive Job General Availability
    Scheduling General Availability
    Mirror Traffic General Availability
    Model Monitoring Public Preview
    Managed Feature Store Public Preview
    Foundation Models Public Preview
    Managed Network Isolation Public Preview
    Support for DataRobot 9.0 Public Preview

    View Slide

  28. 責任ある AI ダッシュボード for 画像とテキスト
    • Azure ML の責任ある AI ダッシュボードで、テキストと画像
    データをサポート
    • 非構造化データのモデル構築、トレーニング、評価プロセス中
    にモデルをより包括的に理解
    • 自然言語 AI および 画像 AI の徹底的な評価と
    デバッグのために、エラー分析、モデルの解釈可能性、
    不公平性を評価 および 軽減
    • 企業はモデルがデプロイされる前にデバッグ機能と視覚化を
    使用してバイアス、公平性、説明可能性をチェックし、情報
    に基づいたビジネス上の意思決定を行うことができる
    • Generate Responsible AI vision insights with YAML and Python in Azure
    Machine Learning - Azure Machine Learning | Microsoft Learn
    • Generate Responsible AI text insights with YAML and Python in Azure Machine
    Learning - Azure Machine Learning | Microsoft Learn
    Public Preview
    画像とテキストデータでもモデルの説明が可能に

    View Slide

  29. マネージド仮想ネットワーク分離
    • ビルトインされた ワークスペースレベルの
    Azure Machine Learning マネージド
    仮想ネットワーク
    • ネットワーク分離構成を合理化および
    自動化
    • お客様は複雑なネットワーク構成に対
    処する必要がなく、Microsoft が管理
    する仮想ネットワークを利用可能
    Announcing Azure Machine Learning managed
    network isolation - Microsoft Community Hub
    Public Preview
    ワークスペースのネットワーク分離を自動的に構成

    View Slide

  30. マネージドフィーチャーストア
    • 組織全体でのフィーチャー (特徴量)の検出と再利用
    • 変換パイプラインを使用したフィーチャの作成
    • 学習/推論パイプラインとの共通化、YAML定義、バー
    ジョン管理を通じたMLOpsの実現
    Announcing managed feature store in Azure Machine Learning -
    Microsoft Community Hub
    Public Preview
    データセットの特徴量管理を通じて学習と運用のコストを削減

    View Slide

  31. 共有レジストリ
    • 組織内のワークスペース間での共同作業を支援
    • モデル、コンポーネント、データセット、環境の共有
    • Dev/Test環境から本番環境への移行など、ワークス
    ペース間の MLOps の実現を支援
    Machine Learning registries - Azure Machine Learning | Microsoft Learn
    GA
    ワークスペースをまたいだMLアセット共有が簡単に

    View Slide

  32. モデルモニタリング
     オンライン エンドポイントとモデルからのデータ収集によるモデ
    ルモニタリング
     データドリフト、予測ドリフト、データ品質、フィーチャー属性ド
    リフトに対応
     広い視点と詳細な視点を備えた監視セットアップ(コホート
    分析)
     重要な特徴量のみをモニタリングすることによるコスト削減
     カスタムモニタリングシグナル: 組み込みの監視信号がニー
    ズを満たさない場合は、独自の監視信号を定義
    Continuously Monitor the Performance of your AzureML Models in Production -
    Microsoft Community Hub
    Public Preview
    デプロイ後のモデル精度を監視&改善へ

    View Slide

  33. パイプラインコンポーネントデプロイ – バッチエンドポイント
    • 処理グラフ (パイプライン) 全体を推論パイプラインとして
    デプロイ可能
    • 低待機時間と非同期の方法でバッチ推論を実行
    • プラットフォームに既に存在するコンポーネントを推論用
    に再利用
    • Reaching production has never been easier: Announcing Pipeline component
    deployments - Microsoft Community Hub
    Public Preview
    処理パイプラインをバッチエンドポイントとしてデプロイ

    View Slide

  34. ミラートラフィック機能 - オンラインエンドポイント
     エンドポイント部分でトラフィックをコピーするこ
    とで、本番デプロイに影響を与えずに新モデル
    をテスト
     モデル性能 (レイテンシー, スループット,
    CPU/GPU利用率など)を確認
     テスト後はそのままライブトラフィックを送信さ
    せることで本番投入
     Safely roll out your machine learning models using Managed
    online endpoint in Azure Machine Learning - Microsoft
    Community Hub
    GA
    本番環境に影響を与えずに新モデルをテスト (シャドウテスト)

    View Slide

  35. Private preview 段階の機能を早期に
    テストしフィードバックを行う機会を提供
    開発チームと直接的に情報交換
    https://aka.ms/azureMLinsiders

    View Slide

  36. Demo – Model Catalog
    Azure Machine Learning

    View Slide

  37. Azure Cognitive Services - Vision

    View Slide

  38. Azure Cognitive Services
    Vision Speech Language Decision
    NEW
    認知機能になぞられた機能群をAIパーツ (API)として利用

    View Slide

  39. Project Florence – Microsoft Researchの大規模基盤モデル
    Caption Depth
    Video Reasoning
    基盤モデル (Foundation model):大量かつ多様なデータで訓練され、多様な下流タスクに適応できるモデル

    View Slide

  40. Open World Recognition
    認識可能なカテゴリ : 10k → 400k → 1M+…
    American white ibis
    Mt. Rainier
    Washington
    Microsoft
    Capri Sun Fruit Punch
    case
    Jean Reno The Return of the Jedi Chest CT Romanian glassware Free body diagram
    Sunflower hearts Griffith observatory Honda logo
    Campbells Well Yes
    Minestrone w/
    Kale soup
    Charlize Theron
    On Strange Tides,
    Pirates of the
    Caribbean
    Abdominal organs Wooden statue Dock receipt
    Shamu show BMW headquarters USPS tracking
    Barefoot Contessa
    cookbook
    Dwade Avengers Trails Monoblasts
    Along the river during
    the Quigming Festival
    Gartner hype curve
    Roebuck deer Snoqualmie ridge Starbucks
    Dove Sensitive Skin
    Beauty Bar
    Elon Musk The Lion King movie Virus Irises painting
    Ecuaciones
    algebraicas
    動物 ランドマーク ロゴ 製品 有名人 映画 医療 美術 文書

    View Slide

  41. Computer Vision の最新機能
    複数の業界ドメインにわたる画像や動画コンテンツからのインサイト抽出
    デジタル資産管理 安全性とセキュリティの強化 小売業務の自動化
    画像検索 デンスキャプション 背景除去 動画検索 動画要約 モデル
    カスタマイズ
    製品検出

    View Slide

  42. 画像分析 API
    REST API
    https://{endpoint}/computervision/imageanalysis:analyze?features=caption
    https://{endpoint}/computervision/imageanalysis:analyze?features=densecaptions
    画像キャプション デンス・キャプション
    a woman in a canoe touching water with a man in the front
    デジタル資産管理

    View Slide

  43. 画像検索 API

    View Slide

  44. 画像検索 API
    REST API
    https://{endpoint}/computervision/retrieval:vectorizeImage
    https://{endpoint}/computervision/retrieval:vectorizeText
    Vectorize Image API Image Vectors
    Vectorize Text API Text Vector
    Cosine
    Similarity
    N Top Image
    Vectors
    Find images
    for vectors
    “Light through
    the canopy”
    Photo Library
    Vectorize Image API Image Vectors
    Vectorize Text API Text Vector
    Cosine
    Similarity
    N Top Image
    Vectors
    Find images
    for vectors
    “Light through
    the canopy”
    Photo Library
    “Light through
    the canopy”
    Photo Library
    テキスト・ベクトル
    API
    画像・ベクトル
    API
    テキスト
    ベクトル
    画像
    ベクトル
    トップ N
    画像ベクトル
    ベクトル
    画像検索
    Search Index
    Cosine
    類似度
    デジタル資産管理

    View Slide

  45. セグメントAPI: 背景除去
    REST API
    https://{endpoint}/computervision/imageanalysis:segment?mode=backgroundremoval
    デジタル資産管理

    View Slide

  46. 製品検知 API
    https://{endpoint}/computervision/operations/shelfanalysis-productunderstanding:analyze
    https://{endpoint}/computervision/operations/shelfanalysis-productunderstanding:analyze?product-
    classifier-model-name=custommodel
    * *
    小売り

    View Slide

  47. Product Recognition APIs
    Planogram Matching
    https://{endpoint}/computervision/operations/shelfanalysis-planogrammatching:analyze
    inches
    inches
    *
    pixels
    pixels
    *
    小売り

    View Slide

  48. 関連セッション
    Keynote: Next generation AI for developers
    with the Microsoft Cloud
    DIS 113: Build and Maintain your Company
    Copilot with AzureML and GPT-4 Q&A
    DIS 114: Semantic Kernel: Connect with the
    product team and learn from Q&A
    BRK212H: Practical Deep-dive into Machine
    Learning Techniques and MLOps
    BRK213H: Building and using
    AI models responsibly
    BRK211H: Build and Maintain your Company
    Copilot with AzureML and GPT-4

    View Slide

  49. © Copyright Microsoft Corporation. All rights reserved.

    View Slide

  50. 最新の技術情報と日本のオリジナルコンテンツをお届け!
    日 時: 6 月 27 日 (火) ~ 28 日 (水)
    場 所: オンライン/東京会場 (日本マイクロソフト株式会社 品川本社)
    ※会場ではセッションに加え、ハンズオンやExpo等の体験型コンテンツを実施
    最新情報・登録はQRコードまたは以下URLよりご確認ください
    https://aka.ms/buildjapan.top

    View Slide