Azure Machine Learning 概要 & Data Labeling 紹介 - 51st Microsoft Data Platform Day

Azure Machine Learning の概要とData Labeling の機能をご紹介します！
---
■Japan SQL Server User Group
Japan SQL Server User Groupは、Japan SQL Server User Groupは、SQL ServerやAzure Data Platformに関する技術情報をテーマにした勉強会を開催しているコミュニティです。

Community自体は、SQL Serverをはじめ、Data Analytics Platform、Data Governanceなどのセッション内容で毎月に開催しています。企業およびエンジニアに、Azure Data Techを支援し、企業内のDXに加速させます。また、 Engineerに Azure Data Skillを Upさせ、より企業内でDXソリューションに Impactを与え、自身の Skillの Transformationにも Chanceを与えます。

■Microsoft Data Platform Day
当イベントでは、最新版SQL Server 2022をはじめ、SQL Server、Azure Data Platfromのテクノロジーを勉強します。 初心者向けのセッションもありますので、未経験者もご参加ください。 また、SQL Server、Azure Data Platfromを利用している現場、あるいは、SQL Server、Azure Data Platfromをこれから導入しようとする現場のSE、PMの方々はぜひご参加ください。 現場のインフラ、コーディング課題をみんなで解決しましょう。

https://sqlserver.connpass.com/event/228774/

Transcript

1. 51st Microsoft Data Platform Day
   Azure Machine Learning – Labeling
   永田 祥平 - Shohei Nagata
   Cloud Solution Architect (Data & AI) – Microsoft Japan
   

   View Slide

2. 永田祥平 (Shohei Nagata)
    Microsoft 所属
    Cloud Solution Architect (Data & AI)
    主に機械学習やデータ分析基盤の導入/活用支援を実施
    もともとの専門は Genomics, Bioinformatics
    好きなもの/マイブーム
    日本酒・コーヒー勉強中
   Personal Info
   @shohei_aio
   

   View Slide

3. ©Microsoft Corporation
   Azure
   Analytics with Azure
   Azure Synapse を使用した分析のエンド ツー エンド - Azure Example Scenarios | Microsoft Docs
   

   View Slide

4. Agenda
   

   View Slide

5. View Slide

6. Azure AI
   

   View Slide

7. 既製品
   

   View Slide

8. Azure M achine Learning service
   実験的なモデル開発
   ⾃動機械学習
   デザイナー
   Pytyon / R
   モデル検証
   パッケー
   ジ化と
   Azure Container
   Instnaces での検証
   モデル学習
   コンピュー
   ティング
   クラスター
   モニタリング
   モデルのモニタリング
   デプロイ
   スケー
   ラブルな
   kubernetes サ
   ー
   ビス
   へ
   のデプロイ
   CI/CD & モデル再学習
   GitHub & Azure DevOps 統合・連携
   

   View Slide

9. Responsible
   AI
   Industry leading
   MLOps
   Open &
   Interoperable
   For all skill
   levels
   あらゆるスキルレベルに対応し、
   ML の生産性・利便性を向上
   DevOps 連携による
   ML ライフサイクルの運用管理
   責任のある
   ML ソリューションの構築
   オープンテクノロジーの採用
   と相互運用性の実現
   

   View Slide

10. View Slide

11. View Slide

12. • 様々なスペックのVMを選択・起動
    • 自動スケールアウト・ダウン
    • ジョブ管理、スケジュール管理
    学習コード
    train train train
    ジョブ・スケジュール管理
    • 自動でライブラリ・データを準備
    ・・・
    • 低優先度オプション : 80% 割引で利用可能
    Compute Cluster
    Compute Instance
    • スケジュール起動/停止 (Public Preview)
    

    View Slide

13. • 直感的なマウス操作でパイプライン構築
    • 特徴量エンジニアリング
    • モデル学習 (回帰、分類、クラスタリング)
    • 推論 (リアルタイム & バッチ)
    • カスタムモデル・スクリプト (Python, R)
    機械学習パイプライン構築、テスト、デプロイするためのビジュアルワークフロー
    ※ 参考 : Azure Machine Learning デザイナー (プレビュー) とは
    https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-designer
    

    View Slide

14. Criterion
    Loss
    Min Samples Split
    Min Samples Leaf
    Others
    N Neighbors
    Weights
    Metric
    P
    Others
    走行距離
    状態
    車のブランド
    年式
    燃費…
    勾配ブースティング
    最近傍法
    サポートベクターマシン
    ベイズ回帰
    LightGBM
    …
    最近傍法
    Model
    Iterate
    (繰り返し)
    勾配ブースティング
    走行距離
    車のブランド
    年式
    モデルの作成は時間がかかる – 一般的な機械学習のプロセス
    車のブランド
    年式
    状態
    どのアルゴリズム? どのパラメータ?
    どの条件?
    

    View Slide

15. • Microsoft Research の研究結果をベースに開発
    • NIPS 2018 にて論文を発表
    • 強調フィルタリング & ベイズ最適化をメタ学習に採用
    • プライバシー保護：データを直接見ない
    • ONNX 変換をサポート
    • スケーラブルな計算環境による高速学習
    回帰
    クラス分類 時系列予測
    教師あり学習
    Microsoft Research によるブレークスルー
    参考：Probabilistic Matrix Factorization for Automated Machine Learning (NIPS2018)
    http://papers.nips.cc/paper/7595-probabilistic-matrix-factorization-for-automated-machine-learning
    

    View Slide

16. ※参考；How BERT is integrated into Azure automated machine learning
    https://techcommunity.microsoft.com/t5/azure-ai/how-bert-is-integrated-into-azure-
    automated-machine-learning/ba-p/1194657
    深層学習ベースのテキスト分類モデル (BERT) に
    対応
    • 日本語を含めた多言語対応
    

    View Slide

17. View Slide

18. データ用意 モデル選定 学習 評価 モデル管理 コンテナ化 デプロイ
    …
    準備 実験 モデル運用管理
    

    View Slide

19. Data Scientist IT Professional
    モデル学習の再現性 モデル再学習の自動化
    シンプルなデプロイ
    モデル検証
    "エンドーツーエンドの機械学習ライフサイクルを実現”
    Azure DevOps
    & Github
    Azure Machine Learning
    

    View Slide

20. Train model Validate
    model
    Deploy
    model
    Monitor
    model
    Build app
    Collaborate Test app Release app Monitor app
    App developer
    using Azure DevOps
    Data scientist using
    Azure Machine Learning
    Retrain model
    Azure Machine Learning extension
    for Azure DevOps / GitHub
    Data
    (Model)
    Code
    自動化パイプラインによって運用管理を効率的に！
    

    View Slide

21. 責任のある機械学習ライフサイクルを
    実現するための包括的な機能
    

    View Slide

22. Blackbox
    モデル説明 SHAP
    Lime
    Partial dependence
    Sensitivity analysis
    機械学習モデル解釈・説明のための包括的なフレームワーク
    予測値に対して、各特徴量がどのくらい寄与しているのか？
    Model
    Explanation
    Perturb
    Inputs
    Analyze
    

    View Slide

23. View Slide

24. View Slide

25. ラベリング機能のインスタンスセグメンテーションへの対応
    画像とテキスト ドキュメントにラベルを付ける | Microsoft Docs
    

    View Slide

26. View Slide

27. 事前トレーニング済みモデルの転移学習により、ラベル付けを効率化
    

    View Slide

28. View Slide

29. View Slide

30. View Slide

31. View Slide

32. • Image classification (multi-class/multi-label)
    • MobileNetV
    • モバイル アプリケーション用の軽量モデル
    • ResNet - 18/34/50/101/152
    • ResNeSt - 50/101
    • SE-ResNeXt50
    • ViT
    • Vision Transformer ネットワーク
    • Object detection
    • FasterRCNN
    • fasterrcnn_resnet_fpn
    • YoloV5
    • Small / Medium / Large / xLarge
    • RetinaNet
    • Instance Segmentation
    • MaskRCNN
    • maskrcnn_resnet_fpn
    Computer Vision 用に AutoML を設定する - Azure Machine Learning | Microsoft Docs
    

    View Slide

33. jsonl_converter.py
    

    View Slide

34. Computer Vision (概要説明)
    Computer Vision タスクのデータを準備する (データ準備手順)
    Computer Vision 用に AutoML を設定する (モデル学習手順)
    azureml-examples/python-sdk/tutorials/automl-with-azureml at main · Azure/azureml-
    examples (github.com)
    

    View Slide

35. View Slide

36. View Slide

37. View Slide

38.  Azure Machine Learning data labeling is a
    central place to create, manage, and
    monitor labeling projects:
     Coordinate data, labels, and team
    members to efficiently manage labeling
    tasks.
     Track progress and maintains the queue of
    incomplete labeling tasks.
     Start and stop the project and control the
    labeling progress.
     Review the labeled data and export
    labeled in COCO format or as an Azure
    Machine Learning dataset.
    

    View Slide

39. View Slide