Azure Architecture Center における MLOps Framework の概要と比較 Asei Sugiyama

自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Advisor @ Money Forward Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG 機械学習図鑑 共著

TOC Microsoft の提供する機械学習サービス <- MLOps on Azure LLMOps

Microsoft の提供する機械学習サービス 機械学習サービスの種類 機械学習サービスの特徴 Microsoft と機械学習ライブラリ

機械学習サービスの種類 (1/2) 非常に多岐にわたる Azure Machine Learning Azure Cognitive Services SQL 機械学習 Azure Data Science Virtual Machine Microsoft 機械学習製品 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology- choices/data-science-and-machine-learning

機械学習サービスの種類 (2/2) Azure Databricks ML.NET Windows ML MMLSpark Microsoft 機械学習製品 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology- choices/data-science-and-machine-learning

機械学習サービスの特徴 個別のユースケースに最適化されている 他のプラットフォームでの知識が活かしにくい 囲い込みではなさそう

Microsoft と機械学習ラ イブラリ とてもクオリティの高いラ イブラリをいくつも出して いる LightGBM ONNX Econ ML 研究開発も強力 Welcome to LightGBM’s documentation! — LightGBM 3.3.5 documentation https://lightgbm.readthedocs.io/en/v3.3.5/

どういうことなのか？ 控えめに言って Microsoft は機械学習に非常に強い 提供されているサービスに共通する要素は少ない とてもちぐはぐ

MLOps v2 乱立していたので再利用可 能なコンポーネントに整備 なぜ乱立していたのかは後 述

TOC Microsoft の提供する機械学習サービス MLOps on Azure <- LLMOps

MLOps on Azure 他社と比較した時の大きな違い 代表的な 3 つのドキュメント Azure Machine Learning を使用して機械学習のライフサイクルをア ップスケールするための機械学習運用 (MLOps) フレームワーク 機械学習の運用 (MLOps) v2 Team Data Science Process ライフサイクル

他社と比較した時の大きな違い Google: 社内の ML システムに SRE のプラクティスを適用 Amazon: 社内の ML システムに Microservice のプラクティスを適用 Microsoft: 顧客にサービスを提供し た体験を抽象化 Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械 学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/example-scenario/mlops/mlops- technical-paper

そう考えるといろいろ納得する 多様なサービスがさまざまにある: Microsoft の提携先が多様 個別に最適化されている: 顧客のユースケースごとに最適化されている Microsoft の得意分野が反映されている Azure AD によるリソースと権限管理 Azure DevOps による工程管理 Git を中心としたコード管理

代表的な 3 つのドキュメント Azure Machine Learning を使用して機械学習のライフサイクルをアップ スケールするための機械学習運用 (MLOps) フレームワーク 機械学習の運用 (MLOps) v2 Team Data Science Process ライフサイクル

Azure Machine Learning を 使用して機械学習のライフサ イクルをアップスケールする ための機械学習運用 (MLOps) フレームワーク Microsoft の CSE チームに よる MLOps のケーススタ ディ Azure Machine Learning を使用して機械学習のライフサイクルをアップスケー ルするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja- jp/azure/architecture/example-scenario/mlops/mlops-technical-paper

Azure Machine Learning を使用して機械学習のライフサイクルをアップ スケールするための機械学習運用 (MLOps) フレームワーク Microsoft の商用ソフトウェア エンジニアリング (CSE) チームは、クラ イアントのデータ サイエンティストと協力してパイロット調査を行い、 選択した地域用にカスタマイズされた機械学習モデルを開発しました。

Azure Machine Learning を使用して機械学習のライフサイクルをアップ スケールするための機械学習運用 (MLOps) フレームワーク 「MLOps の課題」が良い 未成熟な MLOps の標準 スキルセットの違い 複数モデルの管理 データ コンディショニングの必要性 かなり現実味のある課題を述べている Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/example-scenario/mlops/mlops-technical-paper

機械学習の運用 (MLOps) v2 機械学習システムのアーキテクチャを記述 表形式データ、画像、自然言語について、それぞれの注意点を述べてい る 表形式データでは自動的な再学習が可能なものの、それ以外では全自動 は難しいことを述べているのが印象的 機械学習の運用 (MLOps) v2 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology- choices/machine-learning-operations-v2

古典的機械学習アーキテクチャ

Team Data Science Process ライフサイクル もっとも独特 機械学習プロジェクトの円 滑な進め方について記述 Azure の各サービスの具体 的な操作方法も記述 Team Data Science Process ライフサイクル - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data- science-process/lifecycle

Team Data Science Process ライフサイクル 1. ビジネスの把握 2. データの取得と理解 3. モデリング 4. デプロイ 5. 顧客による受け入れ Team Data Science Process ライフサイクル - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data- science-process/lifecycle

Team Data Science Process の役割とタスク グループ マネージャー: 企業のデータ サイエンス部全体を管理 チーム リーダー: 企業のデータ サイエンス部のチームを管理 プロジェクト リーダー: 特定のデータ サイエンス プロジェクトの個々の データ サイエンティストの日常業務を管理 プロジェクトの個々の共同作成者:データ サイエンティスト、ビジネス アナリスト、データ エンジニア、アーキテクト、およびデータ サイエン ス プロジェクトを遂行するその他のユーザー。 Azure DevOps と Azure のストレージサービスで上記を実現 Team Data Science Process の役割とタスク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-science- process/roles-tasks

TOC Microsoft の提供する機械学習サービス MLOps on Azure LLMOps <-

LLMOps OpenAI GPT-3 の要約 で、どうする？

OpenAI GPT-3 の要約 数少ない LLM の活用方法に ついて述べたドキュメント プロンプトエンジニアリン グや評価方法など多岐にわ たる クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query- based-summarization

プロンプト エンジニアリング ショー アンド テル: 命令、例、または 2 つを組み合わせて提供すること で、何を求めているかをさらに明確に 高品質なデータを提供: スペルミスなどを修正 (モデルにスペルミスを修 正させない) 設定を確認: 正解が 1 つしかない応答を要求する場合は、 temperature と top_p の設定を低いレベルで構成 一般的な間違いは、これらの設定が "賢さ" や "創造性" のコントロール であると想定することです。 クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query-based- summarization

Finetune 技術的または領域固有のユース ケースに役立つ 数千のサンプルを含むデータセットを推奨 クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query-based- summarization

概要作成の評価 ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 人が生成した要約と n-gram レベル での重複を評価 BERTScore BERT で生成された要約と元の文章 の Embedding を作成し、それらの コサイン類似度を評価 SummEval: Re-evaluating Summarization Evaluation | Transactions of the Association for Computational Linguistics | MIT Press https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00373/100686/SummEval-Re-evaluating- Summarization-Evaluation

で、どうする？ カスタマイズを望む声は多いものの、Finetune によるカスタマイズを行 うと現状では下記の課題が発生する カスタマイズ用のデータセットの用意 データセットの品質保証も必要 再学習のためのコストの負担 評価方法の確立 ゼロショットを可能にするような LLM の能力が再学習後保たれる 保証はない 「LLM の良い評価指標」なるものは存在しない

まとめ Microsoft の提供する MLOps についての考え方は MLOps v2 として整 理されている 機械学習システムのアーキテクチャだけではなく、組織的な体制やプロ ジェクトの円滑な推進方法について述べている LLM の活用方法について述べられたドキュメントを提供しているのは印 象的 LLM のカスタマイズや運用についてはまた新しい課題が生じる