Azure Architecture Center における MLOps Framework の概要と比較

第32回 MLOps 勉強会　AzureMLを活用したMLOpsの実践 での発表資料です
https://mlops.connpass.com/event/283873/

Transcript

1. Azure Architecture Center における
   MLOps Framework の概要と比較
   Asei Sugiyama
   

   View Slide

2. 自己紹介
   杉山 阿聖 (@K_Ryuichirou)
   Software Engineer @ Citadel AI
   Advisor @ Money Forward
   Google Cloud Innovators Champion @
   Cloud AI/ML
   MLSE 機械学習オペレーション WG
   機械学習図鑑 共著
   

   View Slide

3. TOC
   Microsoft の提供する機械学習サービス <-
   MLOps on Azure
   LLMOps
   

   View Slide

4. Microsoft の提供する機械学習サービス
   機械学習サービスの種類
   機械学習サービスの特徴
   Microsoft と機械学習ライブラリ
   

   View Slide

5. 機械学習サービスの種類 (1/2)
   非常に多岐にわたる
   Azure Machine Learning
   Azure Cognitive Services
   SQL 機械学習
   Azure Data Science Virtual
   Machine
   Microsoft 機械学習製品 - Azure Architecture Center | Microsoft Learn
   https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology-
   choices/data-science-and-machine-learning
   

   View Slide

6. 機械学習サービスの種類
   (2/2)
   Azure Databricks
   ML.NET
   Windows ML
   MMLSpark
   Microsoft 機械学習製品 - Azure Architecture Center | Microsoft Learn
   https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology-
   choices/data-science-and-machine-learning
   

   View Slide

7. 機械学習サービスの特徴
   個別のユースケースに最適化されている
   他のプラットフォームでの知識が活かしにくい
   囲い込みではなさそう
   

   View Slide

8. Microsoft と機械学習ラ
   イブラリ
   とてもクオリティの高いラ
   イブラリをいくつも出して
   いる
   LightGBM
   ONNX
   Econ ML
   研究開発も強力
   Welcome to LightGBM’s documentation! — LightGBM 3.3.5 documentation
   https://lightgbm.readthedocs.io/en/v3.3.5/
   

   View Slide

9. どういうことなのか？
   控えめに言って Microsoft は機械学習に非常に強い
   提供されているサービスに共通する要素は少ない
   とてもちぐはぐ
   

   View Slide

10. MLOps v2
    乱立していたので再利用可
    能なコンポーネントに整備
    なぜ乱立していたのかは後
    述
    

    View Slide

11. TOC
    Microsoft の提供する機械学習サービス
    MLOps on Azure <-
    LLMOps
    

    View Slide

12. MLOps on Azure
    他社と比較した時の大きな違い
    代表的な 3 つのドキュメント
    Azure Machine Learning を使用して機械学習のライフサイクルをア
    ップスケールするための機械学習運用 (MLOps) フレームワーク
    機械学習の運用 (MLOps) v2
    Team Data Science Process ライフサイクル
    

    View Slide

13. 他社と比較した時の大きな違い
    Google: 社内の ML システムに SRE
    のプラクティスを適用
    Amazon: 社内の ML システムに
    Microservice のプラクティスを適用
    Microsoft: 顧客にサービスを提供し
    た体験を抽象化
    Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械
    学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn
    https://learn.microsoft.com/ja-jp/azure/architecture/example-scenario/mlops/mlops-
    technical-paper
    

    View Slide

14. そう考えるといろいろ納得する
    多様なサービスがさまざまにある: Microsoft の提携先が多様
    個別に最適化されている: 顧客のユースケースごとに最適化されている
    Microsoft の得意分野が反映されている
    Azure AD によるリソースと権限管理
    Azure DevOps による工程管理
    Git を中心としたコード管理
    

    View Slide

15. 代表的な 3 つのドキュメント
    Azure Machine Learning を使用して機械学習のライフサイクルをアップ
    スケールするための機械学習運用 (MLOps) フレームワーク
    機械学習の運用 (MLOps) v2
    Team Data Science Process ライフサイクル
    

    View Slide

16. Azure Machine Learning を
    使用して機械学習のライフサ
    イクルをアップスケールする
    ための機械学習運用 (MLOps)
    フレームワーク
    Microsoft の CSE チームに
    よる MLOps のケーススタ
    ディ
    Azure Machine Learning を使用して機械学習のライフサイクルをアップスケー
    ルするための機械学習運用 (MLOps) フレームワーク - Azure Architecture
    Center | Microsoft Learn https://learn.microsoft.com/ja-
    jp/azure/architecture/example-scenario/mlops/mlops-technical-paper
    

    View Slide

17. Azure Machine Learning を使用して機械学習のライフサイクルをアップ
    スケールするための機械学習運用 (MLOps) フレームワーク
    Microsoft の商用ソフトウェア エンジニアリング (CSE) チームは、クラ
    イアントのデータ サイエンティストと協力してパイロット調査を行い、
    選択した地域用にカスタマイズされた機械学習モデルを開発しました。
    

    View Slide

18. Azure Machine Learning を使用して機械学習のライフサイクルをアップ
    スケールするための機械学習運用 (MLOps) フレームワーク
    「MLOps の課題」が良い
    未成熟な MLOps の標準
    スキルセットの違い
    複数モデルの管理
    データ コンディショニングの必要性
    かなり現実味のある課題を述べている
    Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center |
    Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/example-scenario/mlops/mlops-technical-paper
    

    View Slide

19. 機械学習の運用 (MLOps) v2
    機械学習システムのアーキテクチャを記述
    表形式データ、画像、自然言語について、それぞれの注意点を述べてい
    る
    表形式データでは自動的な再学習が可能なものの、それ以外では全自動
    は難しいことを述べているのが印象的
    機械学習の運用 (MLOps) v2 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology-
    choices/machine-learning-operations-v2
    

    View Slide

20. 古典的機械学習アーキテクチャ
    

    View Slide

21. Team Data Science Process
    ライフサイクル
    もっとも独特
    機械学習プロジェクトの円
    滑な進め方について記述
    Azure の各サービスの具体
    的な操作方法も記述
    Team Data Science Process ライフサイクル - Azure Architecture Center |
    Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-
    science-process/lifecycle
    

    View Slide

22. Team Data Science Process
    ライフサイクル
    1. ビジネスの把握
    2. データの取得と理解
    3. モデリング
    4. デプロイ
    5. 顧客による受け入れ
    Team Data Science Process ライフサイクル - Azure Architecture Center |
    Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-
    science-process/lifecycle
    

    View Slide

23. Team Data Science Process の役割とタスク
    グループ マネージャー: 企業のデータ サイエンス部全体を管理
    チーム リーダー: 企業のデータ サイエンス部のチームを管理
    プロジェクト リーダー: 特定のデータ サイエンス プロジェクトの個々の
    データ サイエンティストの日常業務を管理
    プロジェクトの個々の共同作成者:データ サイエンティスト、ビジネス
    アナリスト、データ エンジニア、アーキテクト、およびデータ サイエン
    ス プロジェクトを遂行するその他のユーザー。
    Azure DevOps と Azure のストレージサービスで上記を実現
    Team Data Science Process の役割とタスク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-science-
    process/roles-tasks
    

    View Slide

24. TOC
    Microsoft の提供する機械学習サービス
    MLOps on Azure
    LLMOps <-
    

    View Slide

25. LLMOps
    OpenAI GPT-3 の要約
    で、どうする？
    

    View Slide

26. OpenAI GPT-3 の要約
    数少ない LLM の活用方法に
    ついて述べたドキュメント
    プロンプトエンジニアリン
    グや評価方法など多岐にわ
    たる
    クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft
    Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query-
    based-summarization
    

    View Slide

27. プロンプト エンジニアリング
    ショー アンド テル: 命令、例、または 2 つを組み合わせて提供すること
    で、何を求めているかをさらに明確に
    高品質なデータを提供: スペルミスなどを修正 (モデルにスペルミスを修
    正させない)
    設定を確認: 正解が 1 つしかない応答を要求する場合は、 temperature
    と top_p
    の設定を低いレベルで構成
    一般的な間違いは、これらの設定が "賢さ" や "創造性" のコントロール
    であると想定することです。
    クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query-based-
    summarization
    

    View Slide

28. Finetune
    技術的または領域固有のユース ケースに役立つ
    数千のサンプルを含むデータセットを推奨
    クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query-based-
    summarization
    

    View Slide

29. 概要作成の評価
    ROUGE (Recall-Oriented Understudy for
    Gisting Evaluation)
    人が生成した要約と n-gram レベル
    での重複を評価
    BERTScore
    BERT で生成された要約と元の文章
    の Embedding を作成し、それらの
    コサイン類似度を評価
    SummEval: Re-evaluating Summarization Evaluation | Transactions of the Association for
    Computational Linguistics | MIT Press
    https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00373/100686/SummEval-Re-evaluating-
    Summarization-Evaluation
    

    View Slide

30. で、どうする？
    カスタマイズを望む声は多いものの、Finetune によるカスタマイズを行
    うと現状では下記の課題が発生する
    カスタマイズ用のデータセットの用意
    データセットの品質保証も必要
    再学習のためのコストの負担
    評価方法の確立
    ゼロショットを可能にするような LLM の能力が再学習後保たれる
    保証はない
    「LLM の良い評価指標」なるものは存在しない
    

    View Slide

31. まとめ
    Microsoft の提供する MLOps についての考え方は MLOps v2 として整
    理されている
    機械学習システムのアーキテクチャだけではなく、組織的な体制やプロ
    ジェクトの円滑な推進方法について述べている
    LLM の活用方法について述べられたドキュメントを提供しているのは印
    象的
    LLM のカスタマイズや運用についてはまた新しい課題が生じる
    

    View Slide