Microsoft Build2022 最新アップデートAI/ML

▼こちらのイベントでお話しした内容です。
https://dllab.connpass.com/event/249528/

Azure AI （Applied AI Services, Cognitive Services, Azure Machine Learning）アップデート
今回もたくさんの AI/ML サービスのアップデートがありました。Cognitive Services for Language や Azure ML CLI(V2) 等多数の機能・サービスが GA (一般提供)したり、AutoML で自然言語処理と画像タスクのサポート、モデルのトレーニングコードの生成、Responsible AI Dashboard の作成等が可能になったりしました。(Preview)。これらの AuzreAI サービスの Buildアップデートに関して駆け足ですが、満遍なく最新情報をお伝えします！

Transcript

1. Azure AI Update
   Build 2022を振り返ろう！
   2022年06月13日
   

   View Slide

2. @shisyu_gaku /koheiogawa
   Microsoftでは・・・
   • MS Technologyを中心としたアーキテクチャ設計・ソリューション開発
   • 具体的なビジネス活用の議論・検証・実装
   • エンジニアコミュニティへの技術的な支援 / 高専出身
   趣味/マイブーム
   • 書を書いたり、プログラムを書いたりすること
   • 何かを設計し、何かを最適化するのが好き
   • QoLをあげること/非現実体験を味わうこと
   • サ活/スタバ/インテリア・アート好き
   興味分野
   • センシング、HCI、AIの社会実装、MLOps、エッジAI推論
   • Linux Foundation / Green Software Foundation所属
   Kohei Ogawa
   Microsoft Japan Co., Ltd.
   Cloud Solution Architect
   (Data & AI)
   

   View Slide

3. 想定オーディエンス
   • Azure AIの何かを利用したことがあり、Azure AIの最新アップデート情報を知りたい方
   • Azure AIのファンの皆様
   

   View Slide

4. Agenda
   1. Azure AIについてと今回お話しするアップデートサービスの領域
   2. Azure Applied AI Servicesのアップデート
   3. Azure Cognitive Servicesのアップデート
   4. Azure Machine Learningのアップデート
   

   View Slide

5. Azure AI
   • Speech to Text
   • Text to Speech
   • Speech Translation
   • Speaker
   Recognition
   • Computer Vision
   • Custom Vision
   • Face API
   • Entity recognition
   • Sentiment analysis
   • QnA Maker
   • Conversational language
   understanding
   • Translator etc…
   • Anomaly Detector
   • Content Moderator
   • Personalizer
   業務シナリオに特化したサービス群
   カスタム可能な学習済みAIモデル
   エンドツーエンドの機械学習サービス
   エンジン
   • GPT-3シリーズ
   • Codexシリーズ
   • 埋め込みシリーズ
   

   View Slide

6. Azure AI
   • Speech to Text
   • Text to Speech
   • Speech Translation
   • Speaker
   Recognition
   • Computer Vision
   • Custom Vision
   • Face API
   • Entity recognition
   • Sentiment analysis
   • QnA Maker
   • Conversational language
   understanding
   • Translator etc…
   • Anomaly Detector
   • Content Moderator
   • Personalizer
   業務シナリオに特化したサービス群
   カスタム可能な学習済みAIモデル
   エンドツーエンドの機械学習サービス
   エンジン
   • GPT-3シリーズ
   • Codexシリーズ
   • 埋め込みシリーズ
   ！
   ！
   ！ ！
   ！
   

   View Slide

7. Azure AI Build 2022 主なUpdate内容
   自動チューニング機能がPreview
   ！ ！
   ・for Language自体やいくつかの機能がGA
   ・ Text Summarization → Document Summarization
   ・NER(カスタム固有表現)の自動ラベル付け機能がPreview
   etc …
   Azure上でOpenAIが使用可能に
   1
   ！
   ！
   段落、ヘッダー、タイトルのレイアウト機能に
   より、さらに正確なテキスト抽出が可能に
   • Arcのサポート
   • マネージドエンドポイント
   • Python SDK v2
   • Command Line Interface v2
   • 再利用可能なカスタムコンポーネント
   • Responsible AI Dashboard & Responsible AI Scorecard
   Automated ML の新機能
   • 自然言語処理と画像タスクをサポート
   • モデルのトレーニングコードの生成
   • RStudio Workbenchとの統合
   

   View Slide

8. Azure AI Build 2022 主なUpdate内容
   自動チューニング機能がPreview
   ！ ！
   ・for Language自体やいくつかの機能がGA
   ・ Text Summarization → Document Summarization
   ・NER(カスタム固有表現)の自動ラベル付け機能がPreview
   etc …
   Azure上でOpenAIが使用可能に
   1
   ！
   ！
   段落、ヘッダー、タイトルのレイアウト機能に
   より、さらに正確なテキスト抽出が可能に
   • Arcのサポート
   • マネージドエンドポイント
   • Python SDK v2
   • Command Line Interface v2
   • 再利用可能なカスタムコンポーネント
   • Responsible AI Dashboard & Responsible AI Scorecard
   Automated ML の新機能
   • 自然言語処理と画像タスクをサポート
   • モデルのトレーニングコードの生成
   • PowerBIとの統合とMLOpsの機能強化
   • RStudio Workbenchとの統合
   

   View Slide

9. U S E C A S E S
   ビジネスメトリクスの
   モニタリング
   AIOps 予知保全
   様々なシナリオで異常を
   検知することが可能
   モニタリングよりも修正にフォーカス
   価値実現までの時間を短縮
   

   View Slide

10. Azure Metrics Advisor
    新機能(プレビュー)
    • 新しい自動チューニング機能（プレビュー版）が追加
    • ユーザーがサービスをカスタマイズして、
    パーソナライズされた異常のみを表示可能
    • ガイド付きエクスペリエンスを通じて、感度のレベルや異常のパ
    ターンなど、検知に関する設定を行い、バックエンドでモデルを
    調整
    • ユーザーは、カスタマイズしたモデルを過去のデータで実行する
    ことによって生成される推定値で、設定の有効性を迅速に評
    価することが可能。さらに、このサービスは、ミッションクリティカ
    ルな通知用にさらにカスタマイズ可能なアラートルールを提案
    ビ ジ ネスロ ジ ッ ク
    

    View Slide

11. シンプルなAPIでテキストと構造を抽出
    フォームに合わせた抽出のカスタマイズ
    クラウドからエッジまで、
    どこにでもデプロイ可能
    U S E C A S E S
    要求管理と自動化 ドキュメントプロセスの
    自動化
    帳票類の自動化
    

    View Slide

12. Azure Form Recognizer
    新機能(プレビュー)
    • 検出可能な文章シナリオが追加
    (preBuildモデル追加)
    • 保険証やワクチンカード
    • 患者のチェックインやワクチン接種の
    確認
    • 段落、ヘッダー、タイトルのレイアウト機能に
    より、さらに正確なテキスト抽出が可能に。
    What's new in Form Recognizer? - Azure Applied AI Services | Microsoft Docs
    

    View Slide

13. Azure AI Build 2022 主なUpdate内容
    自動チューニング機能がPreview
    ！ ！
    ・for Language自体やいくつかの機能がGA
    ・ Text Summarization → Document Summarization
    ・NER(カスタム固有表現)の自動ラベル付け機能がPreview
    etc …
    Azure上でOpenAIが使用可能に
    (Limited Access Preview)
    1
    ！
    ！
    段落、ヘッダー、タイトルのレイアウト機能に
    より、さらに正確なテキスト抽出が可能に
    • Arcのサポート
    • マネージドエンドポイント
    • Python SDK v2
    • Command Line Interface v2
    • 再利用可能なカスタムコンポーネント
    • Responsible AI Dashboard & Responsible AI Scorecard
    Automated ML の新機能
    • 自然言語処理と画像タスクをサポート
    • モデルのトレーニングコードの生成
    • PowerBIとの統合とMLOpsの機能強化
    • RStudio Workbenchとの統合
    

    View Slide

14. Azure Cognitive Service for Language
    • For Language がPreview-> GA
    • 次の機能がGA
    • カスタムテキスト分類
    • カスタム固有表現認識 (NER)
    • 会話言語理解
    • オーケストレーションワークフロー
    • Text Summarization → Document Summarizationに
    名前が変わる
    新機能(プレビュー)
    • 文章、会話の要約機能
    • 通話の理由や解決方法など、ドキュメントやコンタクト
    センターの通話で重要な情報をすばやく表示できる
    新しい機能が提供
    • 文章・会話内でのPII検出機能(個人を特定できる情報)
    

    View Slide

15. View Slide

16. GPT-3
    モデル
    +
    OpenAI API
    June 2020
    Customize
    モデル
    (ファイン
    チューニング)
    June 2021
    Azure OpenAI
    招待制プレビュー
    Nov 2021
    Sept 2021
    GitHub
    Copilot
    on Azure
    OpenAI
    Codex
    モデル
    Aug 2021
    Embeddings
    &
    Instruct GPT
    Jan 2022
    DALL-E and
    CLIP モデル
    Jan 2021
    Dall-E 2
    MS BUILD
    リミテッドプレビュー
    May 2021
    Power Platform Fx
    Power BI DAX
    showcase GPT-3
    April 2022
    July 2019
    OpenAI とのストラテジック
    パートナーシップ
    

    View Slide

17. OpenAI models
    • アプリケーション生成
    

    View Slide

18. View Slide

19. Azure AI Build 2022 主なUpdate内容
    自動チューニング機能がPreview
    ！ ！
    ・for Language自体やいくつかの機能がGA
    ・ Text Summarization → Document Summarization
    ・NER(カスタム固有表現)の自動ラベル付け機能がPreview
    etc …
    Azure上でOpenAIが使用可能に
    1
    ！
    ！
    段落、ヘッダー、タイトルのレイアウト機能に
    より、さらに正確なテキスト抽出が可能に
    • Arcのサポート
    • マネージドエンドポイント
    • Python SDK v2
    • Command Line Interface v2
    • 再利用可能なカスタムコンポーネント
    • Responsible AI Dashboard & Responsible AI Scorecard
    Automated ML の新機能
    • 自然言語処理と画像タスクをサポート
    • モデルのトレーニングコードの生成
    • PowerBIとの統合とMLOpsの機能強化
    • RStudio Workbenchとの統合
    

    View Slide

20. Azure Machine Learning
    Responsible AI Dashboard
    & Responsible AI Scorecard
    マネージドエンドポイント
    Python SDK v2
    Arcのサポート
    Command Line Interface v2
    再利用可能なカスタムコンポーネント
    Automated ML の新機能
    自然言語処理と画像タスクをサポート
    モデルのトレーニングコードの生成
    RStudio Workbenchとの統合
    パブリック プレビュー: Azure Machine Learning の更新プログラムの|Azure の更新|Microsoft Azure
    

    View Slide

21. Arcのサポート
    まもなくArc-enabled MLが一般提供(GA)
    関連記事
    Azure Arc 対応の k8sクラスターを
    Azure ML Studio上で選択
    Azure Machine Learning anywhere with Kubernetes (プレビュー) - Azure Machine Learning | Microsoft Docs
    

    View Slide

22. マネージドエンドポイント
    マネージドエンドポイントが一般提供
    (GA)
    •
    •
    •
    関連記事
    ブルーグリーンデプロイメント
    • SKU
    • カスタムモデル mlflowモデル
    • 独自のカスタムコンテナの持ち込み
    • Yamlベース
    • Azure MonitorによるSLA
    • オートスケーリング
    • 安全なロールアウト
    • AutoMLモデルを簡単にデプロイ
    • マネージドIDの使用
    •
    開発を高速化
    • VSCodeを使用した
    • コスト表示
    詳細
    

    View Slide

23. Python SDK v2/CLI(v2)
    Build and deploy ML models using
    Python SDK v2
    Documentation
    Data
    Preparation
    Model
    Building
    Model
    Training
    Model Management
    & Monitoring
    Model
    Deployment
    CLI(v2)の記述の仕方とSDK v2の書き方
    

    View Slide

24. Azure MLリソースの認証部分の違い
    

    View Slide

25. Jobのyamlファイル例
    azureml-examples/hello-automl-job-basic.yml at main · Azure/azureml-examples (github.com)
    

    View Slide

26. Pipeline
    メタデータ
    name、display_name、version、type、etc...
    インターフェース
    入出力の仕様(名前、型、説明、既定値など)
    コマンド、コード、環境
    コンポーネントの実行に必要なコマンド、
    コード、環境
    SDK
    CLI
    UI
    再利用可能なカスタムコンポーネント
    コンポーネントとは (プレビュー) - Azure Machine Learning | Microsoft Docs
    

    View Slide

27. Responsible AI Dashboard
    & Responsible AI Scorecard
    AML Responsible AI Dashboardとスコアカードで
    AIシステムを評価し、データドリブンな意思決定
    を行う。
    Documentation
    こちら
    

    View Slide

28. AutoMLの予測期間の
    メトリクスの可視化
    •
    •
    Documentation
    実測値と予測値の同時可視化
    

    View Slide

29. Automated ML の新機能
    •
    • モデルのトレーニングコードの生成
    Documentation
    自然言語処理タスク
    • 複数テキスト分類
    • 複数ラベルテキスト分類
    • 名前付きエンティティの認識 (NER)
    CVタスク
    • 画像分類の単数ラベル
    • 画像分類の複数ラベル
    • 物体検出
    • インスタンスのセグメント化
    

    View Slide

30. Automated ML の新機能
    • 自然言語処理と画像タスクをサポート
    •
    Documentation
    AutoMLのトレーニングスクリプトの
    確認
    

    View Slide

31. RStudio Workbenchとの統合
    Azure Machine Learning内からRStudio Workbenchを簡単に使用
    RStudio Workbench を Azure データ ソースやその他の Azure ML
    機能と組み合わせて使用して、結果へのアクセス、開発、分析を
    行うことが可能に
    RStudio Workbench は、オープンソース版と比較して、
    以下のような豊富な機能を提供します。
    • 複数のバージョンのRを同時に実行
    • 高度な R セッション管理
    • 強化されたセキュリティ、監査、監視
    • プロジェクトの共有と他者とのコードファイルの同時編集
    • Jupyter Notebooks、JupyterLab、VSCodeを用いたPythonコー
    ドのオーサリングと編集機能
    • 複数のRおよびPythonセッションの並列実行
    • RStudio のサポートへのアクセス
    Documentation
    Azureのデータソースと連携
    

    View Slide

32. View Slide