『実践MLOps』から学ぶ DevOps for ML

第58回 MLOps 勉強会
『実践MLOps』から学ぶ DevOps for ML
発表資料スライドです
https://mlops.connpass.com/event/373512/

Transcript

1. 『実践MLOps』から学ぶ DevOps for ML 第58回 MLOps勉強会 長江 五月
2. ・『実践MLOps』の紹介 ・『実践MLOps』で学ぶDevOps for ML ・『実践MLOps』抽選プレゼントのお知らせ 本発表の目次
3. ・『実践MLOps』の紹介 ・『実践MLOps』で学ぶDevOps for ML ・『実践MLOps』抽選プレゼントのお知らせ 本発表の目次
4. 『実践MLOps』 作って理解する機械学習システムの 構築と運用 を2025年9月に出版しました 書籍紹介
5. 執筆背景 MLOpsの実践に必要なソフトウェアエンジニアリングスキル・ 知識を体系的に学べる1冊が欲しい
6. 課題 機械学習システムは10%が機械学習 90%がソフトウェアエンジニアリング
7. 課題 担当業務の性質上、一般的なソフトウェア開発の機会を得られ にくいMLエンジニア・データサイエンティストがMLOpsを実 践するハードルが高い ML領域の専門家である MLエンジニア・データサイエンティストがMLOpsを担当する ことが多い
8. 課題 ソフトウェアエンジニアリングが対象とする要素が多すぎて MLOpsを実践するために何から学べばいいか分からない CI/CD デザインパターン テスト 静的解析 コンテナ IaC AWS
9. 執筆背景(再掲) MLOpsの実践に必要なソフトウェアエンジニアリングスキル・ 知識を体系的に学べる1冊が欲しい
10. 本書で扱う内容 ・テーブルデータから学習した線形分類モデルの運用 ・AWSに機械学習パイプライン・推論サービス・ 　MLOpsの各要素を構築 ・MLモデル開発ではなく、運用部分が中心的内容
11. 本書の構成 本書の特徴
12. 本書で扱わない内容 ・LLM周辺サービス (LLMOps) ・ML系マネージドサービスを活用した機械学習システム構築 ・MLモデル学習のためのデータ基盤の構築 ・機械学習、Python、クラウド技術の基礎的な説明
13. 本書のGitHubリポジトリを公開しています https://github.com/nsakki55/mlops-practice-book
14. ・『実践MLOps』の紹介 ・『実践MLOps』で学ぶDevOps for ML ・『実践MLOps』抽選プレゼントのお知らせ 本発表の目次
15. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
16. MLOpsとは Machine Learning Operations 機械学習 運用 を する技術 ×
17. DevOpsの登場 2008年 2012年 第3次AIブーム MLOpsの象徴論文公開 MLOpsの登場 MLOpsの体系化 2015年 2018年 現在 MLOpsの歴史
18. MLOpsの歴史 機械学習・DevOps・MLOpsのGoogle Trends 機械学習 DevOps MLOps
19. MLOpsの歴史 機械学習 DevOps MLOps 2008年 ・DevOpsの登場
20. DevOps 開発(Development)と運用(Operations) を合わせたソフトウェア開発手法 ・CI・CDによる高頻度なリリース ・継続的テスト ・品質保証 ・継続的監視 ・ロギング ・フィードバックループ OPS DEV 参考: システム運用アンチパターン ―エンジニアがDevOpsで解決する組織・自動化・コミュニケーション
21. MLOpsの歴史 機械学習 DevOps MLOps 2015年 「機械学習システムの 隠れた技術的負債」論文の公開
22. 機械学習システムの隠れた技術的負債 ・ML特有のリスク要素を紹介 参考: Hidden Technical Debt in Machine Learning Systems
23. 機械学習システムの隠れた技術的負債 参考: Hidden Technical Debt in Machine Learning Systems ・MLシステムの中でMLコードはごく一部でしかない
24. MLOpsの歴史 機械学習 DevOps MLOps 2018年 Google Cloud Nextで初めて MLOpsという言葉が使われる
25. MLOpsの歴史 ・What is ML Ops? Best Practices for DevOps for ML (Cloud Next '18) でMLOpsという言葉が初めて使われる ・MLのためのDevOpsと表現される 引用: What is ML Ops? Best Practices for DevOps for ML (Cloud Next '18)のYouTube動画サムネイル
26. MLOpsの体系化
27. DevOpsの登場 2008年 2012年 第3次AIブーム MLOpsの象徴論文公開 MLOpsの登場 MLOpsの体系化 2015年 2018年 現在 MLOpsの歴史
28. DevOpsとMLOpsの関係 歴史的には DevOps for ML がMLOpsの立ち位置
29. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
30. 本書で使用するツール ・Python アプリケーション実装に使用 ・Docker アプリケーションパッケージ化に使用 ・Terraform IaCに使用 ・GitHub CI/CDに使用 ・AWS アプリケーションデプロイに使用
31. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
32. 本書で使用するデータ KaggleのContext Ad Clicks Datasetを使用 インターネット広告のクリック情報に関するデータ impression_log(広告配信リクエストのログ)抜粋 参考: Context Ad Clicks Dataset
33. 本書で使用するモデル ・線形回帰分類モデル ・LightGBMモデル
34. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
35. 機械学習パイプライン 機械学習パイプラインとして一般的な処理を実装 ・データ抽出 ・データ検証 ・データ前処理 ・モデル学習 ・モデル評価 ・モデルデプロイ 参考: 入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化
36. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
37. 開発環境標準化 ・Python開発環境標準化 uv ・静的解析ツール導入 Ruff(リンター,フォーマッター), mypy(型チェック) ・テストコード導入 pytest(単体テスト・統合テスト・E2Eテスト)
38. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
39. データバージョン管理 データエンジニアリングの文脈 データに関するメタデータ管理の仕組み 引用: What is Metadata? A Guide to Understanding Data About Data
40. データバージョン管理 参考: Data Version Control · DVC MLOpsの文脈 機械学習システムの実験過程で生成される データの再現性を確保するための仕組み 特徴量ストアの活用
41. 『特徴量ストア』として知られているサービスは様々な機能が含まれ 特徴量ストアの役割が曖昧になりやすい 特徴量ストアは役割が曖昧になりがち 筆者の考え 『特徴量ストア』に『特徴量プラットフォーム』の機能が混在してるのが原因
42. 特徴量ストアと特徴量プラットフォームの関係 2017年 特徴量ストアという言葉が使われ始める 2023年~ 特徴量ストアの機能を拡張した特徴量プラットフォームが登場 特徴量ストアは特徴量プラットフォームの一部という位置付け 参考: Self-serve feature platforms: architectures and APIs
43. 特徴量プラットフォーム 参考: What Is a Feature Platform for Machine Learning?
44. 特徴量プラットフォーム 特徴量ロジック SQL、PySpark、Pythonなどによる特徴量計算ロジックの記述 特徴量リポジトリ Gitなどのリポジトリで特徴量定義をファイルとして管理 特徴量エンジン バッチ・ストリーミング・リアルタイムデータの処理 特徴量ストア オフライン・オンラインで一貫した特徴量を保存・提供 特徴量管理 エンドツーエンドの特徴量パイプラインの発見、使用、監視、ガバナンス
45. 特徴量ストア 特徴量の保存 オフライン学習環境とオンライン推論環境で一貫性のある特徴量を保存 特徴量の提供 オフライン学習環境とオンライン推論環境で一貫性のある特徴量を提供
46. 特徴量ストア 本書で作成する特徴量ストアの構成
47. モデルバージョニング 機械学習モデルの実験過程で生成されるアーティファクトを保存し、 作成済みモデルの実験状況を追跡可能にすること 参考: MLOps の概要: データとモデルのバージョニング モデルレジストリの活用
48. モデルレジストリ モデルレジストリ モデルの保存・管理に特化したツール 参考: ML Model Registry: The Ultimate Guide
49. モデルレジストリ S3 DynamoDB 本書で作成するモデルレジストリの構成
50. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
51. CI・CD 参考:MLOps: ML における継続的デリバリーと自動化のパイプライン 7章 CI・CDで扱う要素 GitHub Actionsで実装 8章 推論サービスで 扱う要素
52. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
53. 推論サービスに関わる機能 ・推論パターン (オンライン推論/バッチ推論) ・モデル読み込みパターン (モデルインイメージ/モデルロード) ・デプロイパターン (一括デプロイ/ブルーグリーンデプロイ/ローリングデプロイ) ・オートスケーリング (水平スケーリング/垂直スケーリング) ・監視 ・A/Bテスト ・モデルレジストリ・特徴量ストアとの連携 ソフトウェアエンジニアリング色が強く、マネージドサービスの恩恵を得やすい
54. 推論サービスの構成
55. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
56. 既存のソフトウェアの問題 ソフトウェアの腐敗 (Software rot) ・ソフトウェアの品質が時間が経つと低下する現象 ・ソフトウェアが外的環境の変化に追従できず 　更新されないと起きる現象
57. 機械学習システムの問題 ・モデル性能がデータに密接に関わる ・データが変化した場合、モデルを再学習させる必要がある データ モデル
58. 継続的学習の自動化要素 ① ② ③ ④ ⑤ ⑥ 参考: Machine Learning Operations (MLOps): Overview, Definition, and Architecture
59. 継続的学習の構成 本書はStepFunctions + ECSで継続的学習を実装
60. 目次 1章 MLOps概要 2章 環境構築 3章 モデル作成 4章 機械学習パイプライン 5章 実験基盤 6章 バージョン管理 7章 CI・CD 8章 推論サービス 9章 継続的学習 10章 監視
61. 従来のソフトウェアシステムと機械学習システムの比較 MLシステムの監視 = 従来のシステム監視 + データの監視 + 予測値の監視 参考: The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction 従来ソフトウェアシステムの挙動は決定的 MLシステムはデータ・機械学習モデルに依存し確率的に変化
62. データ変化してないかな... 精度は悪化してないかな... リクエスト増えないかな... インフラ負荷はOKかな... アプリケーションエラーでてないかな... 異なる専門分野の人がMLシステムに関わるため、関心ある監視項目が異なる 引用: Machine Learning Operations (MLOps): Overview, Definition, and Architecture. Figure 3. Roles and their intersections contributing to the MLOps paradigm. MLOpsの関係者
63. 何を監視すればいいのか？ 機械学習システム特有の監視項目 ・従来のソフトウェアシステムの監視に加え、データ・予測の監視が必要 ・MLシステムに関わる人によって関心のある監視項目が異なる
64. 機械学習システムの監視要素(Neptune AIの記事より抜粋) 参考: A Comprehensive Guide on How to Monitor Your Models in Production
65. 本書で実装する監視機能