Step-by-Step MLOps and Microsoft Products

Step-by-Step MLOps and Microsoft Products v1.1 Kohei Ogawa CSU/CSA Data&AI
Shunta Ito CSU/CSA Data&AI Keita Onabuta FastTrack Engineer for Azure (AI/ML)

目次  MLOps 概要  Step by Step MLOps 
Lv0 No MLOps  Lv1 DevOps no MLOps  Lv2 Automated Training  Lv3 Automated Model Deployment  Lv4 Full MLOps Automated Retraining  Azure Machine Learning における MLOps  各 Lv 別アーキテクチャと Azure サービス詳細  技術詳細  機械学習におけるコード品質  機械学習モデルのテスト  MLflow  Feature Store

MLOps 概要

MLOps とは Validate Model Deploy Model Package Model Monitor Model
Train Model モデル再学習開発と学習ビジネス課題を解決するパッケージ化モデルをどこでも使用可能にする挙動の検証応答性の観点と規制遵守の観点からデプロイ予測値の生成にモデルを使用するモニタリング挙動とビジネス価値を監視する陳腐化したモデルをいつ置換/廃止するか決める機械学習ライフサイクルを管理する手法・概念、あるいは ML における DevOps

機械学習システム D. Sculley et. al. ,“Hidden Technical Debt in Machine
Learning Systems,” Google, NIPS2015. Figure 1: Only a small fraction of real-world ML systems is composed of the ML code, as shown by the small green box in the middle. The required surrounding infrastructure is vast and complex. ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring

機械学習プロジェクトにおける課題

課題に対する技術的アプローチ自動化/ 可観測性 • コード駆動のアセット生成とデプロイ • 再現性と検証可能性を持ったパイプライン •
アセット間の依存関係が明示され、集中管理された管理体制検証 • SWE で培われた品質管理のベストプラクティス適用 • オフラインでのモデル品質検証、バイアスの最小化と説明性の確保 • メトリックに基づく検証再現性/監査可能性 • 制御されたロールアウト機能 • 予測性能と期待性能のライブ比較 • ドリフトの監視とモデル改善に使用できるフィードバック

MLOps を実現するための要素 People • チームで共同で開発を進め、他人が引き継ぐことを前提とした品質確保を継続的に行う体制構築と文化醸成 • 無駄なくスキルをビジネス価値
へと転換するために必要な体制・技術への金銭的/人的投資 Process • 学習やデプロイプロセス等、機械学習の一連のプロセスに含まれる定型的処理の自動化 • アセットの集中管理と共有による作業効率の向上 • 再現性確保 Platform • アセットを集中管理し共有するためのハブ • 運用中のパイプライン、インフラ、製品を監視し、期待通りの動作をしていないことを検知することが可能な仕組み • 必要に応じて可及的速やかかつ安全に本番への機能投入を可能とするシステム

ML プロジェクトのループ構造  Inner Loop  モデルの探索と仮説検証  開発環境で人間がインタラクティブに試行
 Middle Loop  本番投入可能なモデルの探索  再実行可能  Outer Loop  モデルの継続的監視とメンテナンスモニタリング自動学習本番デプロイ推論学習パイプラインパラメーターチューニングモデルQA 学習評価モデル選定  「MLOps」は各要素およびループの間をつなぎ、円滑化を目指す

成熟度モデル https://docs.microsoft.com/ja-JP/azure/architecture/example-scenario/mlops/mlops-maturity-model https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/mlops-maturity-model-with-azure-machine-learning/ba-p/3520625 概要技術文化 Level 0 No MLOps
• 機械学習モデルのライフサイクル全体を管理することは困難 • チームは別々で、リリースは困難 • ほとんどのシステムは "ブラックボックス " として存在し、デプロイ時およびデプロイ後のフィードバックはほとんどなし • 手動によるビルドとデプロイ • モデルおよびアプリケーションの手動によるテスト • モデルのパフォーマンスの一元的追跡なしモデル学習は手動 • まず動くものを作り上げ、スモールスタートでプロジェクトを推進する Level 1 DevOps no MLOps • Level 0 よりもリリースの苦労は少ないが、新しいモデルごとにデータチームに依存 • 運用段階でのモデルのパフォーマンスに関するフィードバックは依然として限られる • 結果の追跡および再現が困難 • 自動ビルド • アプリケーションコードの自動テスト • チーム内でのコード共有とレビューを行う • パイプラインなどの自動化技術を活用して、低摩擦に継続的に本番投入する • テストなどによりコード品質に配慮する Level 2 Automated Training • トレーニング環境は完全に管理され、追跡可能 • モデルの再現が容易 • リリースは手動であるが、摩擦は少ない • 自動化されたモデルの学習 • モデル学習のパフォーマンスを一元的に追跡 • モデル管理 • 機械学習固有の性質に配慮した自動化を行う • 機械学習実験の再現性確保に注意を払う Level 3 Automated Model Deployment • リリースは低摩擦で自動 • デプロイから元のデータまで完全に追跡可能 • 環境全体 (学習 > テスト > 運用) を管理 • デプロイするモデルのパフォーマンスに関する A/B テストを統合 • すべてのコードのテストを自動化 • モデルの学習性能を一元化 • 機械学習モデルの品質に配慮する • 投入先ソフトウェア開発チームと連携した継続的モデルデプロイとその自動化を推進する Level 4 Full MLOps Automated Retraining • システムを完全自動化し、監視を容易化 • 運用システムは、改善方法に関する情報を提供。場合によっては、新しいモデルで自動的に改善 • ゼロダウンタイムシステムに近づく • モデル学習とテストを自動化 • デプロイされたモデルからの詳細で一元化されたメトリック • 機械学習モデルの経時的な劣化を前提とした監視体制を整備する • 手動で実行する必要が無い部分について自動化を進め、「最大効率で機械学習モデルを運用できる体制」を目指す

Step by Step MLOps

Level 0 – No MLOps  インタラクティブかつ実験的に有益なモデルを探す  環境構築、データの取得、デプロイ、テストは手動データソース
データ準備良いモデルの発見アルゴリズム選定手動デプロイ標準化されていない ML 環境 ML エンジニアデータサイエンティスト外部ソースからのデータの読み込み

課題・チャレンジ再現性 • 個々にデータサイエンティストが独自にカスタマイズした機械学習ツールやコード、Python/Rパッケージを使い学習モデルのジョブを作成しており、組織全体に共有されず学習モデルのジョブを再現することは非常に困難品質とセキュリティ • テストが設定されていない •
テストポリシーが組織横断的に設計されていない • 機械学習基盤および成果物が管理されておらず、セキュリティ上の懸念があるスケーラビリティ • 大規模なジョブを実行するのに十分なパワーの計算リソースがない • 高価な計算リソースが属人的に管理・使用されて組織内で共有されていないため、コスト増につながる • 機械学習用のデータソースが整備されておらず、学習データの取得に手作業が必要

Lv0 → Lv1  機械学習プラットフォームの整備  チーム・組織で共有の機械学習プラットフォームを利用していること  コードを集約するリポジトリホスティング環境の整備 
テストの自動化  少なくともコードに対するテスト項目がルール化されており、テストの実行が自動化できていること  データ基盤が整備され始めていること

Level 1 – DevOps no MLOps  データパイプラインとマネージドな ML 環境が整備される
 テストが整備され始めるデータパイプラインデータカタログデータ準備良いモデルの発見アルゴリズム選定手動デプロイマネージドな ML 環境コードレベルのテスト ML エンジニアデータサイエンティストデータエンジニア Capture  コードコードリポジトリ

課題・チャレンジ再現性 • 機械学習の実験記録が共有可能な形で取られておらず、実験およびジョブの再現が困難 • 機械学習のライフサイクルを構成するアセットが組織間で共有されていない • 学習モデルワークフローの中に複雑なジョブの依存関係があり、開発者に属人的となっている

Lv1 → Lv2  モデル学習の再現性確保  1度やった実験を再現しようと思えばでき、実験の成果物（学習済みモデル等）が実験と紐づいた形で保管されていること  パイプラインが構築され、確立した手順は簡単に再実行できること
 モデルの運用管理  モデルが管理されており、関連する実験やエンドポイントが紐づくこと

Level 2 – Automated Training  コード、データ、モデルがバージョン管理され、実験が記録される  モデルの再作成が自動化されるデータ
準備アルゴリズム選定良いモデルの発見 Capture  データセット  環境  コード (スナップショット)  ログ/メトリック  生成物履歴の取得と保存モデル登録機械学習パイプラインデータパイプラインデータカタログ ML エンジニアデータサイエンティストデータエンジニア MLOps エンジニア

課題・チャレンジデプロイ • モデルの用途によって推論環境の実装方法が毎回異なり、デプロイ手順が散在している • デプロイ手順が属人化しており共有されておらず、再実行が難しい品質とセキュリティ • 学習されたモデルの挙動と性能が求める要件を満たしているか検証する手順
(QA) が標準化されていない • 機械学習モデルのテスト工程が全く自動化されていない • ステークホルダーにモデルの解釈可能性、説明可能性、公平性等のモデルの信頼性について説明をする必要がある

Lv2 → Lv3  推論環境に合わせたデプロイパイプラインの実装  データを受け取って機械学習モデルによる推論結果を返すコンテナをビルドし Kubernetes 等のコンテナを動かす基盤上にデプロイする一連の作業を実行するパイプラインを構築※ 
データソースからデータを取得し、機械学習モデルによる推論結果を得てデータを格納するバッチ処理を実行するパイプラインを構築する※  モデルの検証・品質確認を行う仕組みの実装  テストデータ（ゴールドデータ）による精度検証の自動化  説明性、公平性の確認 ※代表的な機械学習モデルのデプロイパイプライン、実際にはユースケースに応じた構築が必要

Level 3 – Automated Model Deployment  モデルのパッケージ化、品質確認、デプロイが半自動的に行われるパッケージ化品質確認
リリース Environments コード説明データセットイベント & 通知 DevOps 統合 (CI/CD) Model Registry MLOps エンジニア QAエンジニア

機械学習を取り巻く現実学習に用いるデータは日々増大していくデータの性質は日々変化していく使用状況やビジネス要件の変化に伴って要望が生じる機動的なモデル改善と継続的なモデル作成 (再学習)
が必要

課題・チャレンジ監視 • 推論環境およびモデルの推論性能の監視が十分でない • データの監視が十分でない • 再トレーニングの基準となる KPI およびその閾値の設定ができていない
品質とセキュリティ • デプロイ後モデルが適切なタイミングでアップグレードされていない • 新しいモデルを本番の推論環境にデプロイする場合に、ユーザーへの影響を最小化できていないスケーラビリティ • システム全体に自動化可能にも関わらず手動実行が必要な部分が多数存在する

Lv3 → Lv4  機械学習モデルの性能劣化や劣化につながる要因を検知するための監視体制を整備する  機械学習モデルの性能を評価できる指標の洗い出し  指標の算出に必要なログの収集とニアリアルタイムな指標算出の仕組み構築
 データセットの変動を検知する仕組みの構築  自動化の仕組みを実装する  学習からデプロイまでの各工程を間断なく処理する仕組みの実装※1  ブルー・グリーンデプロイと新モデルの挙動を自動的に監視対象に含める仕組みの構築  異常検知時の通知や定型的作業の自動実行  再学習・再展開を実行する指標の閾値設定とトリガーの実装※2 ※1 運用方針に応じて、QA やデプロイ時等、人間による承認を間に挟むことは許容される ※2 新しいモデルが閾値を超えられない or より劣化した場合にロールバックする基準も同時に定める必要がある

Level 4 – Full MLOps Automated Retraining データパイプライン学習パイプラインデプロイ
パイプラインデータ準備良いモデルの発見アルゴリズム選定データセットモデルテスト・検証 ML エンジニアデータサイエンティストデータエンジニア QAエンジニア MLOps エンジニア検証 ML API ログデータ変動再学習トリガーアプリ Kubernetes インフラエンジニアソフトウェアエンジニアログモニタリング ML エンジニアデータサイエンティスト QAエンジニア MLOps エンジニア

Azure Machine Learning での MLOps 実装 • アーキテクチャ • 利用する
Azure サービスの機能詳細

Azure Machine Learning とは？ https://docs.microsoft.com/ja-jp/azure/machine-learning/overview-what-is-azure-machine-learning 機械学習の各プロセスから MLOps まで幅広くサポートする『機械学習プラットフォーム』

Azure Machine Learning のキー要素 Models Environments Experiments & Run Deployment
Pipelines Datastores & Datasets Compute Target Data Labelling Workspace

Azure Machine Learning の全体像 Workspace に各リソースとアセットが紐づく Azure Kubernetes Service Azure
Container Instance Data Science Virtual Machine Azure Databricks Azure Synapse Analytics Remote Compute (ローカル, VM) Azure HDInsight Linked Services Datastores Compute targets Environments Experiments Pipelines Datasets Models Endpoints マネージドリソース依存 Compute instances Compute clusters Workspace Azure Key Vault Azure Container Registry Azure Storage Account Azure Application Insights アセット

Azure Machine Learning の基本的な使い方 31 • GPU 搭載のサーバーを調達 •
電源確保＆ネットワークに接続 • Python 環境と Jupyter をセットアップ • GPU のドライバ/ライブラリをインストール • データを吸出して CSVやParquet等のファイル形式で貰う • データの前処理 • アルゴリズムの試行とパラメーター探索 • Dockerfile を書いてモデルを収めたコンテナを作成 • Flask / fastAPI などで HTTP エンドポイントをセット • Kubernetes 等にコンテナをデプロイ • 計算リソースをアタッチ • Azure ML Compute Instance/Cluster を展開 • Environment を読み込む • Compute Instance をそのまま使う • Datastores としてデータソースをアタッチして、Dataset を作成 • Auto ML でモデルを自動作成 • 大規模計算リソースで効率的に探索 • 実験/モデルを記録 • 保存したモデルにメタデータを付与する • エントリスクリプトの作成 • アタッチした推論用のリソースにデプロイ計算リソースの用意環境構築データの吸出し前処理/モデルの作成推論コンテナの作成デプロイ従来 Azure Machine Learning

Level 0 – No MLOps Train Mount/ Download Azure Data
Lake Storage Gen2 Compute Instance Model Deploy manually Managed Endpoint (Online/Batch) Local Conda YAML PIP requirements etc container Azure Machine Learning Components DSVM

利用サービスサービス機能目的 Azure Data Lake Storage Gen2 •
データの保存 Azure Machine Learning Compute Instance • 機械学習の実行 • 開発 Managed Online Endpoint • モデルの API 化

Data Science Virtual Machine  一通り機械学習を実行するために必要なソフトウェアがプリセットされた VM 
JupyterLab + JupyterHub がデフォルトで稼働 https://docs.microsoft.com/ja-jp/azure/machine-learning/data-science-virtual-machine/overview

Level 1 – DevOps No MLOps Train Mount/ Download Azure
Data Lake Storage Gen2 Compute Instance Model Deploy manually Managed Endpoint (Online/Batch) Local Conda YAML PIP requirements etc container Code Checkout GitHub Test Code Test Data Check Data Prep Data Azure Machine Learning Components

利用サービスサービス機能目的 Azure Synapse Analytics Synapse Pipelines •
ETL Azure Data Lake Storage Gen2 • データの保存 GitHub リポジトリ • コードの集約 GitHub Actions • テストの実行 • コンテナのビルド • デプロイ Azure Machine Learning Compute Instance • 機械学習の実行 • 開発 Datatsore • データソースへの接続 Data • データセットの定義 Managed Online Endpoint • モデルの API 化

GitHub  Git によるソースコード管理  多種多様なサービスとの強力な連携機能  Github Actions
によるワークフロー構築

GitHub Actions  イベント駆動でジョブを実行する GitHub のワークフローツール https://docs.github.com/ja/actions

Azure Repos  Azure DevOps に含まれるソースコード管理機能  Git※もしくは TFVC
 容量無制限  AAD ベースの権限管理 https://azure.microsoft.com/ja-jp/services/devops/repos/ ※ Azure Machine Learning は Git と連携可能 (TFVC は未対応）

Azure Pipelines  Azure DevOps に含まれるパイプラインツール  Azure と緊密に連携した処
理に強み

Workspaces  Azure Machine Learning 使用時に作成したあらゆる成果物を集約した一元的な作業スペースを提供  Workspace
は複数人で共有することができ、RBAC によって Workspace 上で可能な操作を制限することができる

Data and Data Stores  Datastores は Azure のストレージサービスに対する接続情報を保持する
ために使用される  Data は Datastores を使用して接続されたデータソース内に保存されたデータを参照する  Data と Datastores により、機械学習ジョブとデータが疎結合になる認証情報 username: admin password: p@s5w0rd! ストレージ接続情報リソースID: /subscriptions/902f23… Datastores pandas/spark データフレーム Data ファイル

Azure ML CLI v2  yaml 形式で記述した静的な定義ファイル + az ml
コマンドを使用した Azure ML の CLI  Azure Resource Manager への API コールによってジョブ実行、パイプライン定義、デプロイなどを実行する https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-v2#azure-machine-learning-cli-v2

CLI v2 ジョブ実行 https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-train-cli $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json command: | ls ${{inputs.data_dir}}
echo "--iris-csv: ${{inputs.data_dir}}/iris.csv" python hello-iris.py --iris-csv ${{inputs.data_dir}}/iris.csv code: src inputs: data_dir: type: uri_folder path: wasbs://[email protected]/ environment: azureml:AzureML-sklearn-1.0-ubuntu20.04-py38-cpu@latest compute: azureml:cpu-cluster az ml job create -f jobs/basics/hello-iris-folder.yml --web

マネージドリソース  Azure Machine Learning 配下のマネージドなコンピューティングリソース • Compute Instances
• 単一の VM • 様々なマシンスペック (GPU 搭載含む) から自由に選んで作成可能 • Notebook (Azure ML Studio) の他、JupyterLab、VSCode 等を使用したアドホックな分析を行うための計算リソース • Compute Clusters • オートスケールするクラスター • 様々なマシンスペック (GPU 搭載含む) から自由に選んで作成可能 • 1台の VM ではこなしきれない大規模な処理をこなすための計算リソース

Level 2 – Automated Training Mount/Download Azure Synapse Pipeline Azure
Data Lake Storage Gen2 Job Environments Azure Container Registry Data Models Managed (Online/Batch) Endpoint Code Checkout Managed (Online/Batch) Endpoint GitHub Model Training Code Test, Data Check Model Training Model Evaluation Responsible AI container Compute Instance Compute Clusters build&push build&push job submit experiment log/metric Register model deploy manually deploy manually Data Prep Training (pipeline) Azure Machine Learning Python SDK/CLI Azure Machine Learning Components

ETL Azure Data Lake Storage Gen2 • データの保存 Github リポジトリ • コードの集約 GitHub Actions • テストの実行 • コンテナのビルド • デプロイ • パイプラインのキック Azure Machine Learning Compute Instance • モデル開発と分析 Compute Clusters • ジョブ・パイプラインの実行 Environments • 実行環境の保存 Datatsore • データソースへの接続 Data • データセットの定義 Jobs • 実験の記録 Models • モデルの保存 Pipelines • パイプラインの構築 Azure Container Instances • コンテナのホスト

マネージドリソース  Azure Machine Learning 配下のマネージドなコンピューティングリソース • Compute Instances
• 単一の VM • 様々なマシンスペック (GPU 搭載含む) から自由に選んで作成可能 • Notebook (Azure ML Studio) の他、JupyterLab、VSCode 等を使用したアドホックな分析を行うための計算リソース • Compute Clusters • オートスケールするクラスター • 様々なマシンスペック (GPU 搭載含む) から自由に選んで作成可能 • 1台の VM ではこなしきれない大規模な処理をこなすための計算リソース

 Compute Targets は学習スクリプトを実行するか、モデルのデプロイ先として使用するコンピューティングリソースを表す  DSVM、Azure ML
Compute リソース、 Kubernetes など幅広い計算リソースをサポート Compute Targets Compute Target 学習デプロイローカルコンピューター ✓ Azure 上の Linux VM (例: Data Science Virtual Machine) ✓ Azure ML Compute ✓ Azure Databricks ✓ Azure Data Lake Analytics ✓ Apache Spark for HDInsight ✓ Azure Container Instance ✓ Azure Kubernetes Service ✓ Azure IoT Edge ✓ Field-Programmable Gate Array (FPGA) ✓ Azure Functions (preview) ✓ Azure App Service (preview) ✓ Azure Synapse (preview) ✓ Azure Arc (preview) ✓ 現在サポートされている Compute Targets

Azure Databricks  オートスケールするマネージド Spark クラスター  Databricks Notebooks
 Jupyter Notebook 互換  SQL、Scala、Python 等をサポート  Notebook を Azure ML Pipleines に組み込み可能 https://docs.microsoft.com/ja-jp/azure/databricks/scenarios/what-is-azure-databricks

 Azure Machine Learning Environments は機械学習を実行する環境のカプセル化を提供する  Environment では学習や推論スクリ
プト周辺の Python パッケージ、環境変数、ソフトウェアの設定、ランタイム（Python、Spark や Docker 等）を指定する Azure ML Environments Environment 1 種類: conda environment.yml Environment 2 種類: pip requirements.txt Environment 3 種類: Dockerfile コンテナ (必要に応じて自動でビルドされる) Compute Targets

 Experiment は複数の Job をグループ化したもので各 Job を管理し、メトリックを横断的に可視化する 
Job は1回の実験についてのパラメーター、メトリック、生成物、ログ等を保存し、実験の再現性確保を支援する Azure ML Jobs and Experiments Experiment 売上予測モデル作成 Job 1 モデル: LightGBM パラメーター: n_estimator=50, num_leaves… メトリック: R2=0.823 Job 2 モデル: LightGBM パラメーター: n_estimator=30, num_leaves… メトリック: R2=0.802 Job 3 パラメーターチューニング Child Job 1 パラメーター: n_estimator=50, num_leaves… メトリック: R2=0.823 Child Job 2 パラメーター: n_estimator=40, num_leaves… メトリック: R2=0.802

 Model は学習が完了したモデルの状態を保存したファイルを含むオブジェクトである  Model Registry は Model
をバージョニングして保管し、 Model を使用したエンドポイントや Model を生成した Run と関連付けして管理する  MLflow Models との高い互換性 Azure ML Models and Model Registry Model A ver.1 ver.2 Model B ver.1 ver.2 ver.3 Model Registry 任意のモデルに関連したファイル Model

 1つの Pipeline は完成した機械学習タスクのワークフローを表し、機械学習の各サブタスクはパイプラインを構成する Step として内包される 
Pipeline は REST エンドポイントをパラメーターを備え、パラメーターを受け取ることで動作をカスタマイズすることができる Azure ML Pipelines データ準備アルゴリズム選定良いモデルの発見データ準備モデル学習推論と結果の保存データ準備モデル学習推論と結果の保存

Designer GUI で機械学習のタスクを定義し、実行可能なパイプラインを作成する機能

Auto ML 特徴量エンジニアリング、アルゴリズムとハイパーパラメーターの選択を自動化し、データに対して最適なモデルを探索する機能 https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-automated-ml ユーザーによる入力特徴量化 & 特徴量
エンジニアリングアルゴリズム選択ハイパーパラメーターチューニングモデルリーダーボード Dataset 設定・制約 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% 順位モデルスコア 1 95% 2 76% 3 53% …

Level 3 – Automated Model Deplyment Mount/Download Azure Synapse Pipeline
Azure Data Lake Storage Gen2 Job Environments Azure Container Registry Data Prep Data Models Managed (Online/Batch) Endpoint Code Checkout Managed (Online/Batch) Endpoint GitHub Model Training Code Test, Data Check Model Training Model Evaluation Responsible AI Deploy to Stage Deploy to Stage Model Test Responsible AI container Gated approval Deploy to Prod Deploy to Prod Model Test ResponsibleAI Safe Rollout Compute Instance Compute Clusters build&push Training (pipeline) Deployment (pipeline) build&push job submit experiment log/metric Register model deploy automatically deploy automatically Event Grid (Model Trigger) (Code Trigger) model register Azure Machine Learning Python SDK/CLI Azure Machine Learning Python SDK/CLI Azure Machine Learning Components Azure Machine Learning Python SDK/CLI

ETL Azure Data Lake Storage Gen2 • データの保存 Github リポジトリ • コードの集約 GitHub Actions • テストの実行 • パイプラインのキック Azure Machine Learning Compute Instance • モデル開発と分析 Compute Clusters • ジョブ・パイプラインの実行 Datatsore • データソースへの接続 Data • データセットの定義 Jobs • 実験の記録 Models • モデルの保存 Pipelines • パイプラインの構築 • 学習パイプライン • デプロイパイプライン • 推論パイプライン Managed Online Endpoint • モデルの API 化

Azure ML Managed Endpoints Managed Online Endpoints  SKU とスケールの設定のみ、インフラリソース
の作成・管理不要  Azure Monitor による SLA の重要指標の監視  リアルタイムログ、ログ分析、ローカルデバッグによる迅速なデバッグ  インプレースアップデートとブルー・グリーンデプロイによる安全なロールアウト  マネージド ID によるシームレスなアクセス  CLI、ARM テンプレート、GUI によるデプロイのサポート Managed Batch Endpoints  合理的な YAML ベースのエクスペリエンス  宣言的な ARM テンプレート  MLflow Models によるノーコードデプロイ  バッチスコアリングのための一貫性のある再利用可能なエンドポイント  オンラインとバッチスコアリング間の統合された概念 https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-endpoints

ブルーグリーンデプロイメント AzureMLのエンドポイントは、複数のデプロイを含めることができる。メリット・できること • 各デプロイに任意の割合のトラフィックを与えて負荷分散可能 • モデルを切り替える際の安全なロールアウトの実現が可能 • 別のデプロイにミラーリングして、ライブクライアントに影響を与えずに、応用待機時間やエラー状態などをテスト可能(プレビュー)
ミラーリングの場合 Blue:100%、Green:10%(ミラーリング) デプロイ先によってトラフィックを分離可能トラフィックの割合を設定可能詳細な方法：オンラインエンドポイントの安全なロールアウト - Azure Machine Learning | Microsoft Docs

Level 4 – Full MLOps Automated Retraining Mount/Download Azure Synapse
Pipeline Azure Data Lake Storage Gen2 Job Environments Azure Machine Learning Python SDK/CLI Azure Container Registry Data Prep Data Models Monitoring Azure Machine Learning Python SDK/CLI Managed (Online/Batch) Endpoint Code Checkout Managed (Online/Batch) Endpoint GitHub Model Training Code Test, Data Check Model Training Model Evaluation Responsible AI Deploy to Stage Deploy to Stage Model Test Responsible AI Azure Monitor Azure Insights Azure Machine Learning Components container Gated approval Retraining Trigger Deploy to Prod Deploy to Prod Model Test ResponsibleAI Safe Rollout Azure Machine Learning Python SDK/CLI Compute Instance Compute Clusters build&push Training (pipeline) Deployment (pipeline) Data Science team Infra team Alert Dashboard build&push job submit experiment log/metric auto scale log/metric auto scale log/metric Register model deploy automatically deploy automatically Event Grid (Model Trigger) (Code Trigger) Azure Managed Grafana Event Grid model register data drift

ETL Azure Data Lake Storage Gen2 • データの保存 GitHub リポジトリ • コードの集約 GitHub Actions • テストの実行 • パイプラインのキック Azure Machine Learning Compute Instance • モデル開発と分析 Compute Clusters • ジョブ・パイプラインの実行 Datatsore • データソースへの接続 Data • データセットの定義 Jobs • 実験の記録 Models • モデルの保存 Pipelines • パイプラインの構築 • 学習パイプライン • デプロイパイプライン • 推論パイプライン Managed Endpoint • モデルの API 化 Azure Monitor • 監視 Application Insights • 監視 Azure Managed Grafana • 監視

Dataset Monitor (Preview)  データセットの変動（ドリフト）を検知する Azure ML の機能 
データセット作成機能と統合され、ベースラインデータセットと現在のデータの差分を監視  ドリフトに関するアラートを設定し、モデルの陳腐化に対処データセットでデータドリフトを検出する (プレビュー) - Azure Machine Learning | Microsoft Docs

Azure Monitor  ログの収集、分析とその後の対応をカバーするサービス Metrics Logs Application Containers VM Monitoring
Solutions Insights Dashboards Views Power BI Workbooks Visualize Metrics Explorer Log Analytics Analyze Alerts Autoscale Respond Event Hubs Ingest & Export APIs Logic Apps Integrate Azure Monitor Custom Sources Application Operating System Azure Resources Azure Subscription Azure Tenant

Azure Event Grid  イベントを検知し、イベントハンドラーに送信するサービス  Azure Machine Learning からは以下イベントをサポート
 Microsoft.MachineLearningServices.RunCompleted  Microsoft.MachineLearningServices.ModelRegistered  Microsoft.MachineLearningServices.ModelDeployed  Microsoft.MachineLearningServices.DatasetDriftDetected  Microsoft.MachineLearningServices.RunStatusChanged  通知送信、WebHooks による API キック、Functions や Logic Apps によるコード実行等に繋げることで自動化 ML ワークフロー内でイベントをトリガーする (プレビュー) - Azure Machine Learning | Microsoft Docs

技術詳細 MLOps を構成する要素技術の詳細

Lv.1 DevOps No MLOps

機械学習におけるコード品質継続的なメンテナンスと多人数開発を可能とするコード品質を確保するための技法

コード品質を保つ意義  今、一緒に開発を行っている同僚が効率的かつ継続的にコードに手を入れられるようになる  将来、コードを書いた当人以外が苦労なくコードに手を入れ、メンテナンスやリファクタリングを継続することができる  上記の結果としてビジネス上の価値を効率的に生み出すことができる

コード品質を担保する仕組み  Linter と formatter  型ヒント  テスト

Linter と Formatter Linter  ルールに則ったコードの記述ができているか静的に解析するツール  実行時にエラーにならないが、バグの温床やコード品質を下げる原因と
なるような記述を特定することができる Formatter  コードのスタイルを確認・自動修正するツール  改行やインデントなどを自動的に修正し、コードの見た目を整える https://black.readthedocs.io/en/stable/index.html

機械学習における Linter と Formatter  不必要な import や未使用の変数など、実験を繰り返す中で混入したコードの見通しを悪化させる要素を取り除くことができる 
コードの形式をある程度の範囲で自動的に揃えることができる 複数人でコラボレーションする際の摩擦低減につながる  特に初期段階においては導入コストが低く効果が大きい

型ヒント Python は型を明示的に記述しなくても動作するが、任意で型ヒントを付与することができる  可読性が向上する  型ヒント付与により IDE
の支援が強力に  型の静的解析を行うことで不正な値が渡されることを防ぐ  必須ではないため徐々に導入することが可能

機械学習における型ヒント  受け取るデータ形式を明示・制約することで意図しないエラーを防ぐ  Int 型と Float 型の取り違えによるミス (除算で起こりがち)
 渡す型のミスによるエラーや NaN 、 Inf の発生  機械学習では各コンポーネントやモデルが独自の型や形式を要求することが多く、開発者当人以外のエンジニアがコードを触る際の可読性向上は効果が大きい  tensor か pandas の DataFrame か Spark の DataFrame か ndarray か list か、あるいはライブラリが備える独自型か  入力として複数の tensor を要求するモデルへの渡し方  パイプラインのコンポーネントとして実装する場合の入出力インターフェースの明示

テスト  プログラムが正しく動作するか検証するためのテストコード コード変更時の影響範囲調査と修正が高速化 「動くコード」に継続的に手を入れることが可能になり、リファクタリングを通じて品質向上につながる デプロイ頻度の向上とリードタイムの
低減

引用元 : https://speakerdeck.com/twada/quality-and-speed-2020-autumn-edition?slide=7

テストのトレードオフ  テストを書くことによる短期的な時間損失は存在する チーム規模が小さく十分なリソースを確保できない（と感じる）初期段階や、成果を急かされている状況ではテストは省略されがち  しかし中長期で見れば、テストコードを書く時間より多くの時間を失う  コード変更時の影響範囲調査に時間を要し、修正時の動作も見落としが発生しがちになり品
質が低下する  「現在動くコード」をリファクタリングすることが困難になり、品質が低下し続ける  爆弾処理のようなコード修正をこなすことになるか、最悪本番障害が発生し長期化する

機械学習におけるコードレベルのテスト  前処理部分はテスト可能かつ境界値テストで問題を事前検知しやすくテストを書くメリットが大きい  学習部分のコードは出力がモデルであることが多く、厳密な一致を確認することは意味が薄い  単にモデルが生成されていることのみを確認し、モデルそのものの性質は後述のモデルに対するテストで代替する
 モデルに NaN や Inf などが含まれていないか程度はこのタイミングで確認することも可能

機械学習におけるテストの考慮事項  テストを書く対象となるコード  テストを書く意義が薄いコードも存在  使い捨てのコンポーネントにテストは必要か？（使い捨てでも状況によって必要なこともある）  ライブラリの薄いラッパー、ほとんどライブラリ側のテストで検証済みのことを再検証するような場合 
テストの粒度  実装するテストの粒度を費用対効果に基づいて決定する  状況に合わないテスト戦略はむしろリソースを無駄に消費する E2E 結合単体 • ユーザー環境に近い • 実行速度が遅い • 高コスト • 局所的(問題箇所を絞りやすい) • 実行速度が速い • 低コスト  例1: プロトタイピング (jupyter notebook) と本番投入用コード (python スクリプト) でテストの有無を分ける  例2: 使い回すコンポーネント向けのユニットテストを優先し、E2Eテストはテストデータを用いたドライランで代替して実装しない

Lv.2 Automated Training

MLflow 実験管理やモデル管理を実現する OSS

MLflow とは  機械学習のライフサイクルを管理する OSS プラットフォーム  実験管理、コードのパッケージ化、モデル管理と登録の4要素 Tracking 実験の記録とクエリ
(コード、データ、構成設定、結果) Projects コードのパッケージ化による再現性を実現する形式 Models モデルの様々な環境へのデプロイメント Model Registry 一元的なモデルのライフサイクル管理

MLflow Tracking Server  実験のログやモデルを保存するための API サーバー  Backend Store
 ローカルファイルか RDB (MySQL, PostgreSQL, SQLite, SQL Server)  Artifact Store  SFTP, NFS, HDFS などでアクセス可能なストレージかクラウド上のブロックストレージ  MLflow の Client と REST API で通信  各種実験ログは Backend Store に保存される (1a, 1b)  モデルやその他のファイル群 (log_artifact で保存される全てのファイル) は Artifact Store に保存され、 URI が Backend Store に保存される (2a, 2b, 2c) https://www.mlflow.org/docs/latest/tracking.html#mlflow-tracking-servers

チームで使用する MLflow 環境の管理

MLflow-as-a-Service  組織的に MLflow を活用する場合にはセキュリティ上の課題と直面  使いたいときに使うことができる可用性確保（サーバーの冗長構成）  認証機構の組み込み マネージドな
MLflow を使いたい

Azure Databricks + MLflow  Azure Databricks の一部としての MLflow 
外部から MLflow Tracking Server として利用可能 Azure Infrastructure ML Lifecycle Management integrations ML Runtime Optimized Databricks runtime engine Databricks I/O Delta Lake TensorFlow PyTorch Scikit-Learn MLflow Serverless Optimized Apache Spark scikit Azure Active Directory Azure Virtual Machine Scale Sets Azure Data Lake Storage Metrics Artifacts Models

実験 Logging API Tracking URI Model API Azure Machine Learning
+ MLflow  MLflow Tracking Server 互換 MLflow を使用して Azure ML に実験やモデルを記録 Metrics Artifacts MLflow Tracking Server 互換エンドポイント Azure Machine Learning Environments Azure Machine Learning Experiments Azure Machine Learning Models Models Azure Machine Learning Endpoints Metrics Artifacts Models API 実験管理・記録デプロイ

Azure Machine Learning と MLflow の関係 SDK v1  ログ記録の選択肢の1つ
機械学習のコードから Azure ML 依存的なコードの大半を排除できる SDK v2 (preview)  唯一のログ記録の手段  MLflow Models 形式のサポート  MLflow Projects によるジョブ定義と実行 (preview) v2 ではログ記録で MLflow が必須 ログ記録以外の機能サポートも大幅に強化 https://docs.microsoft.com/ja-jp/azure/machine-learning/v1/how-to-use-mlflow https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-use-mlflow-cli-runs?tabs=mlflow

Azure ML as MLflow Tracking Server https://www.mlflow.org/docs/latest/tracking.html#mlflow-tracking-servers 1. Azure ML
の Python SDK を使用して Workspace と接続 2. MLflow Tracking Server 互換のトラッキング URI を発行 3. MLflow に set する ml_client.workspaces.get(). mlflow_tracking_uri ws.get_mlflow_tracking_uri() v2 v1 mlflow.set_tracking_uri(ml_client.workspaces .get().mlflow_tracking_uri) mlflow.set_tracking_uri(ws.get_mlflow_tracking_uri() ) v2 v1

MLflow Tracking による実験管理  MLflow Tracking  機械学習の logging API
 あらゆるライブラリ・環境に対応  run の単位で記録され、run は experiment に集計される  Automatic Logging  記録対象  Parameter : ランダムフォレストモデルのツリーの数などのハイパーパラメータ  Metric : RMSE、AUC などの精度指標  Artifact : 画像、モデルファイルなどの任意のファイル  Source : 学習で用いたコード名 (Git commit hash)、MLflow Project 名 etc Tracking 実験の記録とクエリ (コード、データ、構成設定、結果)

MLflow Models  フレームワーク、モデルの保存形式、読み込み・書き込み、モデルの入出力、デプロイ周りを抽象化するコンポーネント モデルを統一的な API で取り扱うことができる ノーコードでモデルデプロイを実現 
Docker コンテナ作成  SageMaker or AML へのデプロイ  ローカルデプロイ Models

MLflow Model ノーコードデプロイの条件  フレームワークの種類と入出力形状を特定していること  フレームワークの種類は mlflow.pytorch のようにサブモジュール
レベルで特定する  使用しているフレームワークがビルトイン (右記) でない場合は Python Function を使用し、メンバー関数として predict を持つクラスのインスタンスを登録する  入出力形状は mlflow.models.signature.infer_signature に入出力サンプルを与えて得られる signature を渡すことで決定する

MLflow Model Registry モデル本体、モデルの入出力の情報、フレームワークの種類等、MLflow Models で定義した情報を保持モデルは実験と紐づけられた上でバージョンごとに分離して管理

Feature Store 特徴量を格納・共有し、異なる性能要件を持つワークロードに対して共通のインターフェースで特徴量を供給するコンポーネント

特徴量 booking datetime customer_id driver_id Trip_completed 10001 2021-03-17 19:31 1010
5010 True 10002 2021-03-18 19:31 1010 5010 False 10003 2021-03-19 19:31 1010 5010 True 10004 2021-03-20 19:31 1010 5010 False datetime driver_id conv_rate acc_rate avg_daily_trips 2021-03-17 19:31 5010 0.229297 0.685843 861 2021-03-17 20:31 5010 0.781655 0.861280 769 2021-03-17 21:31 5010 0.150333 0.525581 778 2021-03-17 22:31 5010 0.951701 0.228883 570 conv_rate acc_rate avg_daily_trips Trip_completed 0.229297 0.685843 861 True 0.781655 0.861280 769 False 0.150333 0.525581 778 True 0.951701 0.228883 570 False ML Model 入力出力特徴量エンジニアリング • カテゴリ変数の変換(label encoding etc…) • 欠損値の変換(平均値、予測値、代表値etc..) • 新たな特徴量の作成 ⇒特徴量の管理がしたい(できる) ⇒ Feature Storeの出番

Feature Storeの概念  データサイエンティストが作成した特徴量を保存・共有する  トレーニングとサービングの両方において一貫したインターフェースを提供する  低待機時間＆リアルタイムで提供するオフラインストアオンラインストア
ストリーミング Feature Store ML API バッチ推論学習特徴量エンジニアリング

特徴量がスクリプト上に埋もれて、再利用や活用できるように整理、保存されないため、トラッキングやコンプライアンス基準を満たすことが難しい特徴量エンジニアリングの作業は、重複しており、Data Scientist の時間とCompute リソースを消費する特徴量を本番環境に反映させるのは難しいオフライントレーニングとオンライン推論では、通常、異なるサービングパイプラインが必要であり、一貫して特徴量を生成されることを保証するのはコストがかかり、モデル性能の
劣化を招く特徴量やデータの質は刻々と変化しており、人の手が介入する必要がある Feature Store がない状態で抱える問題

Feature Storeの構成共通特徴レジストリ＆管理特徴量モニタリング再利用性統一性(重複の防止)
汎用性特徴量の取り込み & 計算 (バッチ & ストリーミングソース) 共通プロバイダー • バッチプロバイダー：高スループット(学習) • オンラインプロバイダー：低レイテンシー (推論) 利用時・方法における特徴量の一貫性監視性 Feature Store が解決する問題

Feathr

Feature Store Open- Source Point-in-time Support Data Source Feature Transformation
Feature materialization Performance Feature Type Feathr Yes Point-in-time対応。様々なタイムスタンプフォーマットをサポート。主要なソースとファイル形式（csv, parquet, avro, orc, delta lake）をサポート declarativeフレームワークによるネイティブな変換のサポート • 行レベル、ウィンドウ集計変換 • オフライン、ストリーミング、オンライン変換をサポート Python API and configuration files + CLIをサポート • スケールあり。 • 低レベルのSpark 最適化が組み込まれており、パフォーマンスが高い。テンソル型(for deep learning/ML) + プリミティブ型 Databricks Feature Store No time-travelのみ (point-in-timeは未対応) オフライン：・Delta Lake オンライン：・Azure Database for MySQL ・Azure SQL Database ・Amazon Aurora ・Amazon RDS MySQL etc… ネイティブな変換は未サポート • PySpark notebookによる一般的なデータ処理のみ。 • PySparkの知識が必要 • オンライン機能変換ができない • Sparkにベンダロックされている。 Notebookで手動管理 Sparkの最適化機能はないが、スケールありプリミティブ型 Feast Yes • Point-in-timeで、タイムスタンプのフォーマットが固定されている必要あり • 時系列でないデータでもタイムスタンプは必ず必要主要なソースに対応。ただ、CSVは未対応。詳細はここに記載あり。 feast-dev/feast: Feature Store for Machine Learning (github.com) ・Pandas（Pythonライブラリ）を用いた行レベル変換のみ CLIサポート • シングルノード • インメモリ • スケールしないプリミティブ型 Google Vertex AI Feature Store No time-travelのみ (point-in-timeは未対応) googleのデータソースのみ。 Not available GCP UI経由のみ BigQueryの性能に依存プリミティブ型

Feature Store For ML Feature Storeの変遷

Azureと各Feature Storeのサービスとの組み合わせ方 Feathr • Feathr: LinkedIn’s feature store is now
available on Azure | Azure Blog and Updates | Microsoft Azure • Open sourcing Feathr – LinkedIn’s feature store for productive machine learning | LinkedIn Engineering • And checkout the GitHub repo here: https://github.com/linkedin/feathr  Feast • Bringing Feature Store to Azure - from Microsoft Azure, Redis, and Feast Community • And checkout the GitHub repo here: https://github.com/feast-dev/feast • Azure/feast-azure: Azure plugins for Feast (FEAture STore) (github.com)

Feathr on Azureの全体像例

1. 特徴量の作成作成：AML, ADB 保存：D-SQL, ADLS etc… Feathr on Azure
- 特徴量の作成 -

2. 特徴量の定義の管理 Purview, Feathr Feathr on Azure - 特徴量の定義の管理 -

3. 特徴量の結合 Feathr Python SDK、Synapse、ADBのSparkクラスタ Feathr on Azure - 特徴量の結合
-

Feathr on Azure - オンラインストアへの保存 - 4. オンラインストアへの保存 Feathr Online
Store, Redis

5. モデルのトレーニング&デプロイ AML Feathr on Azure - モデルのトレーニング＆デプロイ -

6. オンラインFeatureの取得と学習 RedisにFeathrSDKを用いてアクセス Feathr on Azure - オンラインFeature の取得と学習 -

Feathr component Cloud Integrations Offline store – Object Store Azure
Blob Storage Azure ADLS Gen2 AWS S3 Offline store – SQL Azure SQL DB Azure Synapse Dedicated SQL Pools (formerly SQL DW) Azure SQL in VM Snowflake Online store Azure Cache for Redis Feature Registry Azure Purview Compute Engine Azure Synapse Spark Pools Databricks Machine Learning Platform Azure Machine Learning Jupyter Notebook File Format CSV Parquet ORC Avro Delta Lake Feathr on Azure Integration with Cloud Services

 複数のソースから一度にデータを取り込み、機能の再利用を促進することが可能一度に複数のソースを読み込む

 高度なML/DLシナリオに対応した豊富な型  組織全体で再利用することが可能。  複雑な特徴量の取り込み提供時間を短縮し、モデルのパフォーマンスを向上させる  カテゴリカル／カテゴリーセットなど、一般的なMLタイプをサポート etc… MLに適した型タイプ

Lv.3 Automated Model Deployment

機械学習モデルのテスト本番環境へのモデル投入を恐れず進めるための技術

機械学習におけるテストの考慮事項 機械学習モデルの「テスト」は難しい  通常テストで用いられる同値クラスの代表値を用いたテスト手法が使用できない  そもそも「境界」が自明ではなく、それゆえに機械学習を使っているという事情も  わずかな入力の差分が結果に大きな変化を与えることがある  一般に入力の全パターンに対して網羅的にテスト結果を得ることは難しい
テストを踏まえて修正することも難しい  問題のあるパターンを発見した場合に、その問題だけをピンポイントで修正することは困難  多くの場合モデルのアルゴリズムに手を加えるかデータセットに手を加えることになり、修正の結果はやってみなければ分からない 機械学習モデルに求められる要件とテストの実装・実行コストのバランスを踏まえてテストを実装する

開発段階で実施できるテスト  ゴールドスタンダードを使用した性能検証  モデルの精度や FN/FP の傾向を測定する  メタモルフィックテスティング 
モデルの推論結果間にあるべき関係が満たされているか確認する  網羅検証  特定の範囲の入力について、取り得る値の範囲が想定内か確認する

本番環境で実施できるテスト  KPI を評価指標としたモデルの性能モニタリング  推論結果の影響が大きい KPI によってモデルの性能劣化度合いを間接的に測定する  閾値を定めれば自動的かつ効率的なモデル再学習実施のトリガーとして使用できる
 シャドウ A/B テスト  実際にユーザーに影響を与えず新旧モデルの性能を比較する  KPI を評価指標とする A/B テスト  モデルが与えるビジネスインパクトを測定・比較する

ゴールドスタンダードを使用した性能検証  正解ラベル付きのテスト用データセット (ゴールドスタンダード) を用いて機械学習モデルの性能を検証する入力データセット 𝒙𝒙 出力 𝒚𝒚′
正解 𝒚𝒚 クラス分類 • 正解率 • 適合率 • 再現率 • 特異度 … 回帰 • MAE • RMSE • R2 • AIC … 事前に用意するもの

ゴールドスタンダードを使用した性能検証 モデルの予測性能を定量的に評価できる 実装がシンプルかつ容易 (ライブラリで補助関数が実装されている場合が大半) 正解ラベルを付与するためにコストがかかる場合がある 学習データとゴールドスタンダード間の分布差異に注意が必要  学習用データセットから切り出してゴールドスタンダードを構築する場合、両者で分布のずれがあると適正な評価が難しい
 学習用データセットとテスト用データセットの取得タイミングに時間的なずれが生じる場合は、「分布の差異」(データドリフト)そのものが重要な指標となり得る

メタモルフィックテスティング  複数の入力・推論ペア間で満たされるべき関係を見出し、推論結果が実際に関係を満たしているか確認する佐藤直人, 小川秀人, 來間啓伸, 明神智之, 2021, “AIソフトウェアのテスト-答のない答え合わせ
[4つの手法] ”, リックテレコム, p93-123. ソース入力 𝒙𝒙 フォローアップ入力 𝒙𝒙′ ソース出力 𝒚𝒚 ソースフォローアップ出力 𝒚𝒚′ 関係関係？事前に用意するもの

メタモルフィックテスティング ソースとフォローアップの関係に基づいてテストデータを追加生成できる 推論結果の関係に注目しているため、推論結果に明確な正解ラベルを定義できない場合でも使用できる ソースとフォローアップ双方についてその出力間で期待される関係は満たされているが、出力そのものが両方とも間違っている可能性は否定されない 可能であればゴールドスタンダードデータセットによる精度検証と併用する
佐藤直人, 小川秀人, 來間啓伸, 明神智之, 2021, “AIソフトウェアのテスト-答のない答え合わせ [4つの手法] ”, リックテレコム, p93-123.

網羅検証  ある特定の入力範囲についての推論結果が収まるべき範囲を定め、実際に網羅的な入力を加えて推論結果が収まるべき範囲内に収まるか確認するある範囲内の入力データセット 𝒙𝒙 出力 𝒚𝒚′
出力 𝒚𝒚′が満たすべき条件 (範囲) 事前に用意するもの反例の有無

網羅検証  手法によって厳密性と実装の難しさが変わる佐藤直人, 小川秀人, 來間啓伸, 明神智之, 2021, “AIソフトウェアのテスト-答のない答え合わせ [4つの手法]
”, リックテレコム, p201-252. 手法厳密さ実装難易度性質一定範囲のデータをデータセットから抽出してモデルに入力して探索する低い簡単正解ラベルが不要であるため、本番環境からデータを取得するなどサンプリングが容易範囲を網羅するデータセットを生成してモデルに入力して探索するやや高い簡単入力パターンが爆発的に増大し、計算コストが高くなり得るモデルを論理式に変換し SMT ソルバーによって与えれた条件 (論理式) に対する反例が存在しないか探索する高い難しい条件非適合範囲探索に繋げることで、システムとしてサポートする範囲をモデルごとに探索することが可能

網羅検証 特定範囲の入力に対しモデルが出力する推論結果の範囲を限定することで、システムのカバー範囲や異なるモデルを使用する境界設定に繋げることができる 正解ラベルが不要 厳密性を求められる場合、実装が難しい 計算コストが重くなりやすい  SMT ソルバーを使う場合もデータを実際にモデルに入力する場合も計算コストが高い
佐藤直人, 小川秀人, 來間啓伸, 明神智之, 2021, “AIソフトウェアのテスト-答のない答え合わせ [4つの手法] ”, リックテレコム, p93-123.

KPI を評価指標としたモデルの性能モニタリング  推論結果の影響が大きい KPI によってモデルの性能劣化度合いをリアルタイムに測定する既存推論API 入力出力
ユーザー分割 KPI 閾値を決め、新モデルの学習パイプラインのトリガーなどに繋げる

KPI を評価指標としたモデルの性能モニタリング 環境変化によるモデルが持つビジネス価値の劣化度合いを計測できる 正解ラベルの付与が不要 (ニア)リアルタイムに性能を検証できる KPI の設定も難しい  ある程度運用経験がないと設定することが難しい
(鶏卵問題、スモールスタートが現実的な解決策) モデルの性能以外の因子が KPI に与える影響を考慮する必要がある

既存推論API シャドウ A/B テスト  実際に本番で稼働しているモデルに対する入力を複製して新しいモデルにも与え、両モデルの推論結果のズレを比較・検証する、可能であれば正解率なども比較する入力出力
比較 • 正解ラベルを用意して精度を比較する • 推論結果のズレを比較する (分布を比較する) … 新推論API 複製出力ユーザー

シャドウ A/B テスト モデルそのものが実際の環境において使用できるか、本番環境およびユーザーに影響を与えず検証することができる 新モデルを含む API が実際に動作可能かを検証する目的でも使用できる(≒E2E テスト)
ビジネス上の価値を直接的に計測することは困難 性能差を定量的に検証する場合、正解ラベルを簡単に付与できる場合以外ではコストが継続的にかかる  簡単に正解ラベルを付与できる場合の例  厳密な解法があるが UX 観点で機械学習モデルで高速な近似を与えたい場合  前捌きとして機械学習モデルを使用しており、最終的には別の手段で正解となる値を生成する場合

Azure ML マネージドオンラインエンドポイントトラフィックのミラーリング (preview)  トラフィックの一部を複製し、新しくデプロイしたモデルに送信する機能 
応答は返却せず、メトリックとログの収集のみ行う https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-safely-rollout-managed-endpoints#test-the-deployment-with-mirrored-traffic-preview

KPI を評価指標とする A/B テスト  機械学習モデルに対する入力を一定比率で分割して新旧モデルそれぞれに入力して応答させ、モデルごとに算出した KPI を比較する既存推論API
入力出力新推論API 出力ユーザー分割比較既存モデルの KPI 新モデルの KPI

KPI を評価指標とする A/B テスト 新モデルの既存モデルに対するビジネス上の価値の差を直接的に計測できる 新モデルに問題が発覚した場合の切り戻しが容易 システムの構築に手間がかかる 本番環境に精度の保証がない新モデルを投入することが許容されない場合があり得る
 バンディットアルゴリズムにより動的な「活用」群比率変更でリスクマネジメントを試みる  開発環境上でのテストやシャドウ A/B テストを踏まえてモデルの QA を十分に行う  究極的にはユーザーに新しいモデルを試験してもらうことは絶対に避けられない(≒どこかのタイミングで新モデルに切り替えることは不可避)点をステークホルダーに理解させる

Azure ML マネージドオンラインエンドポイント Blue-green デプロイメント  トラフィックを分割し、指定した割合で別のモデルへ転送する機能 
モデル事にメトリックとログを記録  スキーマが一致していれば異なる種類の計算リソースを混在させることが可能 https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-safely-rollout-managed-endpoints#test-the-new-deployment-with-a-small-percentage- of-live-traffic

参考資料 – MS Resources Category Link Microsoft Docs 機械学習とは -
Cloud Adoption Framework | Microsoft Docs Microsoft Docs Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Docs Microsoft Docs Team Data Science Process とは - Azure Architecture Center | Microsoft Docs Github Repository microsoft/MLOps: MLOps examples (github.com) Github Repository microsoft/MCW-ML-Ops: MCW MLOps (github.com) Microsoft Docs Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Docs

参考資料 – External Resources Category Link Twitter mlops_community_jpさん (@MlopsJ) /
Twitter 定義/概要 MLOps - Wikipedia 定義/概要 MLOps とは何か? | NVIDIA Blueprint The Rapid Evolution of the Canonical Stack for Machine Learning (opendatascience.com)

FeatureStoreの参考資料 – External Resources Category Link YouTube (62) #featurestore -
YouTube 講演資料 feathr/Feathr Feature Store Talk.pdf at main · linkedin/feathr (github.com) プロジェクトページ https://linkedin.github.io/feathr/ Getting Started https://github.com/linkedin/feathr/blob/main/feathr_project/feathrcli/data/feathr_user_workspace/nyc_driver_demo.ipynb Source code https://github.com/linkedin/feathr Slack Community https://feathrai.slack.com/ YouTube (74) Feathr Feature Store Introduction - YouTube 学習サイト Feature Store For ML カンファレンス Feature Store Summit 2022 Slack Community https://featurestoreorg.slack.com/ Github Repo feast-dev/feast: Feature Store for Machine Learning (github.com)

 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。  本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 
すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。これらは著作権保護された権利を制限するものではありません。  Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 © 2021 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。その他、記載されている会社名および製品名は、一般に各社の商標です。

Step-by-Step MLOps and Microsoft Products

Step-by-Step MLOps and Microsoft Products

More Decks by KoheiOgawa

Other Decks in Technology

Featured

Transcript