$30 off During Our Annual Pro Sale. View Details »

Azure Machine Learning 概要 & Data Labeling 紹介 - 51st Microsoft Data Platform Day

Azure Machine Learning 概要 & Data Labeling 紹介 - 51st Microsoft Data Platform Day

Azure Machine Learning の概要とData Labeling の機能をご紹介します!
---
■Japan SQL Server User Group
Japan SQL Server User Groupは、Japan SQL Server User Groupは、SQL ServerやAzure Data Platformに関する技術情報をテーマにした勉強会を開催しているコミュニティです。

Community自体は、SQL Serverをはじめ、Data Analytics Platform、Data Governanceなどのセッション内容で毎月に開催しています。企業およびエンジニアに、Azure Data Techを支援し、企業内のDXに加速させます。また、 Engineerに Azure Data Skillを Upさせ、より企業内でDXソリューションに Impactを与え、自身の Skillの Transformationにも Chanceを与えます。

■Microsoft Data Platform Day
当イベントでは、最新版SQL Server 2022をはじめ、SQL Server、Azure Data Platfromのテクノロジーを勉強します。 初心者向けのセッションもありますので、未経験者もご参加ください。 また、SQL Server、Azure Data Platfromを利用している現場、あるいは、SQL Server、Azure Data Platfromをこれから導入しようとする現場のSE、PMの方々はぜひご参加ください。 現場のインフラ、コーディング課題をみんなで解決しましょう。

https://sqlserver.connpass.com/event/228774/

Shohei N.

March 03, 2022
Tweet

More Decks by Shohei N.

Other Decks in Technology

Transcript

  1. 51st Microsoft Data Platform Day
    Azure Machine Learning – Labeling
    永田 祥平 - Shohei Nagata
    Cloud Solution Architect (Data & AI) – Microsoft Japan

    View Slide

  2. 永田祥平 (Shohei Nagata)
     Microsoft 所属
     Cloud Solution Architect (Data & AI)
     主に機械学習やデータ分析基盤の導入/活用支援を実施
     もともとの専門は Genomics, Bioinformatics
     好きなもの/マイブーム
     日本酒・コーヒー勉強中
    Personal Info
    @shohei_aio

    View Slide

  3. ©Microsoft Corporation
    Azure
    Analytics with Azure
    Azure Synapse を使用した分析のエンド ツー エンド - Azure Example Scenarios | Microsoft Docs

    View Slide

  4. Agenda

    View Slide

  5. View Slide

  6. Azure AI

    View Slide

  7. 既製品

    View Slide

  8. Azure M achine Learning service
    実験的なモデル開発
    ⾃動機械学習
    デザイナー
    Pytyon / R
    モデル検証
    パッケー
    ジ化と
    Azure Container
    Instnaces での検証
    モデル学習
    コンピュー
    ティング
    クラスター
    モニタリング
    モデルのモニタリング
    デプロイ
    スケー
    ラブルな
    kubernetes サ

    ビス

    のデプロイ
    CI/CD & モデル再学習
    GitHub & Azure DevOps 統合・連携

    View Slide

  9. Responsible
    AI
    Industry leading
    MLOps
    Open &
    Interoperable
    For all skill
    levels
    あらゆるスキルレベルに対応し、
    ML の生産性・利便性を向上
    DevOps 連携による
    ML ライフサイクルの運用管理
    責任のある
    ML ソリューションの構築
    オープンテクノロジーの採用
    と相互運用性の実現

    View Slide

  10. View Slide

  11. View Slide

  12. • 様々なスペックのVMを選択・起動
    • 自動スケールアウト・ダウン
    • ジョブ管理、スケジュール管理
    学習コード
    train train train
    ジョブ・スケジュール管理
    • 自動でライブラリ・データを準備
    ・・・
    • 低優先度オプション : 80% 割引で利用可能
    Compute Cluster
    Compute Instance
    • スケジュール起動/停止 (Public Preview)

    View Slide

  13. • 直感的なマウス操作でパイプライン構築
    • 特徴量エンジニアリング
    • モデル学習 (回帰、分類、クラスタリング)
    • 推論 (リアルタイム & バッチ)
    • カスタムモデル・スクリプト (Python, R)
    機械学習パイプライン構築、テスト、デプロイするためのビジュアルワークフロー
    ※ 参考 : Azure Machine Learning デザイナー (プレビュー) とは
    https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-designer

    View Slide

  14. Criterion
    Loss
    Min Samples Split
    Min Samples Leaf
    Others
    N Neighbors
    Weights
    Metric
    P
    Others
    走行距離
    状態
    車のブランド
    年式
    燃費…
    勾配ブースティング
    最近傍法
    サポートベクターマシン
    ベイズ回帰
    LightGBM

    最近傍法
    Model
    Iterate
    (繰り返し)
    勾配ブースティング
    走行距離
    車のブランド
    年式
    モデルの作成は時間がかかる – 一般的な機械学習のプロセス
    車のブランド
    年式
    状態
    どのアルゴリズム? どのパラメータ?
    どの条件?

    View Slide

  15. • Microsoft Research の研究結果をベースに開発
    • NIPS 2018 にて論文を発表
    • 強調フィルタリング & ベイズ最適化をメタ学習に採用
    • プライバシー保護:データを直接見ない
    • ONNX 変換をサポート
    • スケーラブルな計算環境による高速学習
    回帰
    クラス分類 時系列予測
    教師あり学習
    Microsoft Research によるブレークスルー
    参考:Probabilistic Matrix Factorization for Automated Machine Learning (NIPS2018)
    http://papers.nips.cc/paper/7595-probabilistic-matrix-factorization-for-automated-machine-learning

    View Slide

  16. ※参考;How BERT is integrated into Azure automated machine learning
    https://techcommunity.microsoft.com/t5/azure-ai/how-bert-is-integrated-into-azure-
    automated-machine-learning/ba-p/1194657
    深層学習ベースのテキスト分類モデル (BERT) に
    対応
    • 日本語を含めた多言語対応

    View Slide

  17. View Slide

  18. データ用意 モデル選定 学習 評価 モデル管理 コンテナ化 デプロイ

    準備 実験 モデル運用管理

    View Slide

  19. Data Scientist IT Professional
    モデル学習の再現性 モデル再学習の自動化
    シンプルなデプロイ
    モデル検証
    "エンドーツーエンドの機械学習ライフサイクルを実現”
    Azure DevOps
    & Github
    Azure Machine Learning

    View Slide

  20. Train model Validate
    model
    Deploy
    model
    Monitor
    model
    Build app
    Collaborate Test app Release app Monitor app
    App developer
    using Azure DevOps
    Data scientist using
    Azure Machine Learning
    Retrain model
    Azure Machine Learning extension
    for Azure DevOps / GitHub
    Data
    (Model)
    Code
    自動化パイプラインによって運用管理を効率的に!

    View Slide

  21. 責任のある機械学習ライフサイクルを
    実現するための包括的な機能

    View Slide

  22. Blackbox
    モデル説明 SHAP
    Lime
    Partial dependence
    Sensitivity analysis
    機械学習モデル解釈・説明のための包括的なフレームワーク
    予測値に対して、各特徴量がどのくらい寄与しているのか?
    Model
    Explanation
    Perturb
    Inputs
    Analyze

    View Slide

  23. View Slide

  24. View Slide

  25. ラベリング機能のインスタンスセグメンテーションへの対応
    画像とテキスト ドキュメントにラベルを付ける | Microsoft Docs

    View Slide

  26. View Slide

  27. 事前トレーニング済みモデルの転移学習により、ラベル付けを効率化

    View Slide

  28. View Slide

  29. View Slide

  30. View Slide

  31. View Slide

  32. • Image classification (multi-class/multi-label)
    • MobileNetV
    • モバイル アプリケーション用の軽量モデル
    • ResNet - 18/34/50/101/152
    • ResNeSt - 50/101
    • SE-ResNeXt50
    • ViT
    • Vision Transformer ネットワーク
    • Object detection
    • FasterRCNN
    • fasterrcnn_resnet_fpn
    • YoloV5
    • Small / Medium / Large / xLarge
    • RetinaNet
    • Instance Segmentation
    • MaskRCNN
    • maskrcnn_resnet_fpn
    Computer Vision 用に AutoML を設定する - Azure Machine Learning | Microsoft Docs

    View Slide

  33. jsonl_converter.py

    View Slide

  34. Computer Vision (概要説明)
    Computer Vision タスクのデータを準備する (データ準備手順)
    Computer Vision 用に AutoML を設定する (モデル学習手順)
    azureml-examples/python-sdk/tutorials/automl-with-azureml at main · Azure/azureml-
    examples (github.com)

    View Slide

  35. View Slide

  36. View Slide

  37. View Slide

  38.  Azure Machine Learning data labeling is a
    central place to create, manage, and
    monitor labeling projects:
     Coordinate data, labels, and team
    members to efficiently manage labeling
    tasks.
     Track progress and maintains the queue of
    incomplete labeling tasks.
     Start and stop the project and control the
    labeling progress.
     Review the labeled data and export
    labeled in COCO format or as an Azure
    Machine Learning dataset.

    View Slide

  39. View Slide