51st Microsoft Data Platform Day Azure Machine Learning – Labeling 永田 祥平 - Shohei Nagata Cloud Solution Architect (Data & AI) – Microsoft Japan

永田祥平 (Shohei Nagata)  Microsoft 所属  Cloud Solution Architect (Data & AI)  主に機械学習やデータ分析基盤の導入/活用支援を実施  もともとの専門は Genomics, Bioinformatics  好きなもの/マイブーム  日本酒・コーヒー勉強中 Personal Info @shohei_aio

©Microsoft Corporation Azure Analytics with Azure Azure Synapse を使用した分析のエンド ツー エンド - Azure Example Scenarios | Microsoft Docs

Agenda

No content

Azure AI

既製品

Azure M achine Learning service 実験的なモデル開発 ⾃動機械学習 デザイナー Pytyon / R モデル検証 パッケー ジ化と Azure Container Instnaces での検証 モデル学習 コンピュー ティング クラスター モニタリング モデルのモニタリング デプロイ スケー ラブルな kubernetes サ ー ビス へ のデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携

Responsible AI Industry leading MLOps Open & Interoperable For all skill levels あらゆるスキルレベルに対応し、 ML の生産性・利便性を向上 DevOps 連携による ML ライフサイクルの運用管理 責任のある ML ソリューションの構築 オープンテクノロジーの採用 と相互運用性の実現

No content

No content

• 様々なスペックのVMを選択・起動 • 自動スケールアウト・ダウン • ジョブ管理、スケジュール管理 学習コード train train train ジョブ・スケジュール管理 • 自動でライブラリ・データを準備 ・・・ • 低優先度オプション : 80% 割引で利用可能 Compute Cluster Compute Instance • スケジュール起動/停止 (Public Preview)

• 直感的なマウス操作でパイプライン構築 • 特徴量エンジニアリング • モデル学習 (回帰、分類、クラスタリング) • 推論 (リアルタイム & バッチ) • カスタムモデル・スクリプト (Python, R) 機械学習パイプライン構築、テスト、デプロイするためのビジュアルワークフロー ※ 参考 : Azure Machine Learning デザイナー (プレビュー) とは https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-designer

Criterion Loss Min Samples Split Min Samples Leaf Others N Neighbors Weights Metric P Others 走行距離 状態 車のブランド 年式 燃費… 勾配ブースティング 最近傍法 サポートベクターマシン ベイズ回帰 LightGBM … 最近傍法 Model Iterate (繰り返し) 勾配ブースティング 走行距離 車のブランド 年式 モデルの作成は時間がかかる – 一般的な機械学習のプロセス 車のブランド 年式 状態 どのアルゴリズム? どのパラメータ? どの条件?

• Microsoft Research の研究結果をベースに開発 • NIPS 2018 にて論文を発表 • 強調フィルタリング & ベイズ最適化をメタ学習に採用 • プライバシー保護：データを直接見ない • ONNX 変換をサポート • スケーラブルな計算環境による高速学習 回帰 クラス分類 時系列予測 教師あり学習 Microsoft Research によるブレークスルー 参考：Probabilistic Matrix Factorization for Automated Machine Learning (NIPS2018) http://papers.nips.cc/paper/7595-probabilistic-matrix-factorization-for-automated-machine-learning

※参考；How BERT is integrated into Azure automated machine learning https://techcommunity.microsoft.com/t5/azure-ai/how-bert-is-integrated-into-azure- automated-machine-learning/ba-p/1194657 深層学習ベースのテキスト分類モデル (BERT) に 対応 • 日本語を含めた多言語対応

No content

データ用意 モデル選定 学習 評価 モデル管理 コンテナ化 デプロイ … 準備 実験 モデル運用管理

Data Scientist IT Professional モデル学習の再現性 モデル再学習の自動化 シンプルなデプロイ モデル検証 "エンドーツーエンドの機械学習ライフサイクルを実現” Azure DevOps & Github Azure Machine Learning

Train model Validate model Deploy model Monitor model Build app Collaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Retrain model Azure Machine Learning extension for Azure DevOps / GitHub Data (Model) Code 自動化パイプラインによって運用管理を効率的に！

責任のある機械学習ライフサイクルを 実現するための包括的な機能

Blackbox モデル説明 SHAP Lime Partial dependence Sensitivity analysis 機械学習モデル解釈・説明のための包括的なフレームワーク 予測値に対して、各特徴量がどのくらい寄与しているのか？ Model Explanation Perturb Inputs Analyze

No content

No content

ラベリング機能のインスタンスセグメンテーションへの対応 画像とテキスト ドキュメントにラベルを付ける | Microsoft Docs

No content

事前トレーニング済みモデルの転移学習により、ラベル付けを効率化

No content

No content

No content

No content

• Image classification (multi-class/multi-label) • MobileNetV • モバイル アプリケーション用の軽量モデル • ResNet - 18/34/50/101/152 • ResNeSt - 50/101 • SE-ResNeXt50 • ViT • Vision Transformer ネットワーク • Object detection • FasterRCNN • fasterrcnn_resnet_fpn • YoloV5 • Small / Medium / Large / xLarge • RetinaNet • Instance Segmentation • MaskRCNN • maskrcnn_resnet_fpn Computer Vision 用に AutoML を設定する - Azure Machine Learning | Microsoft Docs

jsonl_converter.py

Computer Vision (概要説明) Computer Vision タスクのデータを準備する (データ準備手順) Computer Vision 用に AutoML を設定する (モデル学習手順) azureml-examples/python-sdk/tutorials/automl-with-azureml at main · Azure/azureml- examples (github.com)

No content

No content

No content

 Azure Machine Learning data labeling is a central place to create, manage, and monitor labeling projects:  Coordinate data, labels, and team members to efficiently manage labeling tasks.  Track progress and maintains the queue of incomplete labeling tasks.  Start and stop the project and control the labeling progress.  Review the labeled data and export labeled in COCO format or as an Azure Machine Learning dataset.

No content