Azure Machine Learning 概要 & Data Labeling 紹介 - 51st Microsoft Data Platform Day

Azure Machine Learning の概要とData Labeling の機能をご紹介します！
---
■Japan SQL Server User Group
Japan SQL Server User Groupは、Japan SQL Server User Groupは、SQL ServerやAzure Data Platformに関する技術情報をテーマにした勉強会を開催しているコミュニティです。

Community自体は、SQL Serverをはじめ、Data Analytics Platform、Data Governanceなどのセッション内容で毎月に開催しています。企業およびエンジニアに、Azure Data Techを支援し、企業内のDXに加速させます。また、 Engineerに Azure Data Skillを Upさせ、より企業内でDXソリューションに Impactを与え、自身の Skillの Transformationにも Chanceを与えます。

■Microsoft Data Platform Day
当イベントでは、最新版SQL Server 2022をはじめ、SQL Server、Azure Data Platfromのテクノロジーを勉強します。 初心者向けのセッションもありますので、未経験者もご参加ください。 また、SQL Server、Azure Data Platfromを利用している現場、あるいは、SQL Server、Azure Data Platfromをこれから導入しようとする現場のSE、PMの方々はぜひご参加ください。 現場のインフラ、コーディング課題をみんなで解決しましょう。

https://sqlserver.connpass.com/event/228774/

Transcript

1. 51st Microsoft Data Platform Day Azure Machine Learning – Labeling 永田 祥平 - Shohei Nagata Cloud Solution Architect (Data & AI) – Microsoft Japan
2. 永田祥平 (Shohei Nagata)  Microsoft 所属  Cloud Solution Architect (Data & AI)  主に機械学習やデータ分析基盤の導入/活用支援を実施  もともとの専門は Genomics, Bioinformatics  好きなもの/マイブーム  日本酒・コーヒー勉強中 Personal Info @shohei_aio
3. ©Microsoft Corporation Azure Analytics with Azure Azure Synapse を使用した分析のエンド ツー エンド - Azure Example Scenarios | Microsoft Docs
4. Agenda
6. Azure AI
7. 既製品
8. Azure M achine Learning service 実験的なモデル開発 ⾃動機械学習 デザイナー Pytyon / R モデル検証 パッケー ジ化と Azure Container Instnaces での検証 モデル学習 コンピュー ティング クラスター モニタリング モデルのモニタリング デプロイ スケー ラブルな kubernetes サ ー ビス へ のデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携
9. Responsible AI Industry leading MLOps Open & Interoperable For all skill levels あらゆるスキルレベルに対応し、 ML の生産性・利便性を向上 DevOps 連携による ML ライフサイクルの運用管理 責任のある ML ソリューションの構築 オープンテクノロジーの採用 と相互運用性の実現
12. • 様々なスペックのVMを選択・起動 • 自動スケールアウト・ダウン • ジョブ管理、スケジュール管理 学習コード train train train ジョブ・スケジュール管理 • 自動でライブラリ・データを準備 ・・・ • 低優先度オプション : 80% 割引で利用可能 Compute Cluster Compute Instance • スケジュール起動/停止 (Public Preview)
13. • 直感的なマウス操作でパイプライン構築 • 特徴量エンジニアリング • モデル学習 (回帰、分類、クラスタリング) • 推論 (リアルタイム & バッチ) • カスタムモデル・スクリプト (Python, R) 機械学習パイプライン構築、テスト、デプロイするためのビジュアルワークフロー ※ 参考 : Azure Machine Learning デザイナー (プレビュー) とは https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-designer
14. Criterion Loss Min Samples Split Min Samples Leaf Others N Neighbors Weights Metric P Others 走行距離 状態 車のブランド 年式 燃費… 勾配ブースティング 最近傍法 サポートベクターマシン ベイズ回帰 LightGBM … 最近傍法 Model Iterate (繰り返し) 勾配ブースティング 走行距離 車のブランド 年式 モデルの作成は時間がかかる – 一般的な機械学習のプロセス 車のブランド 年式 状態 どのアルゴリズム? どのパラメータ? どの条件?
15. • Microsoft Research の研究結果をベースに開発 • NIPS 2018 にて論文を発表 • 強調フィルタリング & ベイズ最適化をメタ学習に採用 • プライバシー保護：データを直接見ない • ONNX 変換をサポート • スケーラブルな計算環境による高速学習 回帰 クラス分類 時系列予測 教師あり学習 Microsoft Research によるブレークスルー 参考：Probabilistic Matrix Factorization for Automated Machine Learning (NIPS2018) http://papers.nips.cc/paper/7595-probabilistic-matrix-factorization-for-automated-machine-learning
16. ※参考；How BERT is integrated into Azure automated machine learning https://techcommunity.microsoft.com/t5/azure-ai/how-bert-is-integrated-into-azure- automated-machine-learning/ba-p/1194657 深層学習ベースのテキスト分類モデル (BERT) に 対応 • 日本語を含めた多言語対応
18. データ用意 モデル選定 学習 評価 モデル管理 コンテナ化 デプロイ … 準備 実験 モデル運用管理
19. Data Scientist IT Professional モデル学習の再現性 モデル再学習の自動化 シンプルなデプロイ モデル検証 "エンドーツーエンドの機械学習ライフサイクルを実現” Azure DevOps & Github Azure Machine Learning
20. Train model Validate model Deploy model Monitor model Build app Collaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Retrain model Azure Machine Learning extension for Azure DevOps / GitHub Data (Model) Code 自動化パイプラインによって運用管理を効率的に！
21. 責任のある機械学習ライフサイクルを 実現するための包括的な機能
22. Blackbox モデル説明 SHAP Lime Partial dependence Sensitivity analysis 機械学習モデル解釈・説明のための包括的なフレームワーク 予測値に対して、各特徴量がどのくらい寄与しているのか？ Model Explanation Perturb Inputs Analyze
25. ラベリング機能のインスタンスセグメンテーションへの対応 画像とテキスト ドキュメントにラベルを付ける | Microsoft Docs
27. 事前トレーニング済みモデルの転移学習により、ラベル付けを効率化
32. • Image classification (multi-class/multi-label) • MobileNetV • モバイル アプリケーション用の軽量モデル • ResNet - 18/34/50/101/152 • ResNeSt - 50/101 • SE-ResNeXt50 • ViT • Vision Transformer ネットワーク • Object detection • FasterRCNN • fasterrcnn_resnet_fpn • YoloV5 • Small / Medium / Large / xLarge • RetinaNet • Instance Segmentation • MaskRCNN • maskrcnn_resnet_fpn Computer Vision 用に AutoML を設定する - Azure Machine Learning | Microsoft Docs
33. jsonl_converter.py
34. Computer Vision (概要説明) Computer Vision タスクのデータを準備する (データ準備手順) Computer Vision 用に AutoML を設定する (モデル学習手順) azureml-examples/python-sdk/tutorials/automl-with-azureml at main · Azure/azureml- examples (github.com)
38.  Azure Machine Learning data labeling is a central place to create, manage, and monitor labeling projects:  Coordinate data, labels, and team members to efficiently manage labeling tasks.  Track progress and maintains the queue of incomplete labeling tasks.  Start and stop the project and control the labeling progress.  Review the labeled data and export labeled in COCO format or as an Azure Machine Learning dataset.