機械学習モデルの運用と実用的なアプローチ

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary
機械学習モデルの運⽤と実⽤的なアプローチ 1

質問は Slido まで https://app.sli.do/event/nmvxCgircnNSMN85DXJT7e/live/questions 2 #dmm_databricks

アジェンダ • はじめに • 機械学習モデルの運⽤ ◦ MLOps ◦ 必要な⼈員とプロセス • 実⽤的なアプローチ ◦ 環境 ◦ コードとモデル ◦ リファレンスアーキテクチャ • 参考資料 3 #dmm_databricks

はじめに • 今⽇話さないこと ◦ 特定の機械学習アルゴリズムについて ◦ 具体的なツールの使い⽅について ◦ 具体的な実装について • 今⽇ちょっとしか話さないこと ◦ Databricks について 4 #dmm_databricks

機械学習モデルの運用 5

ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015 Figure 1: 中央の⼩さなボックスで⽰されているように、実際の ML システムのうち ML コードで構成されているのはごく⼀部。必要な周辺インフラストラクチャは広⼤かつ複雑。 MLの最も難しい部分はMLではない

MLシステムのパフォーマンス、安定性、⻑期的な効率性を改善するためのデータ、コード、モデルの管理に対する一連のプロセスと自動化処理 MLOps 7 MLOps = DataOps + DevOps + ModelOps #dmm_databricks

なぜMLOpsが必要なのかリスクの軽減に有⽤ 8 • 技術的なリスク - 精度の低いモデル、壊れやすいインフラ • コンプライアンスのリスク - 規制や企業ポリシーの違反自動化を通じて長期的な効率を改善 • モデルのプロダクションへのデリバリーを効率化 • プロダクションでエラーが発生する前に捕捉 • 手動プロセスによる遅延を回避 #dmm_databricks

基本原則 9 モジュール化してMLOpsを実装プロセスを自動化機械学習に対するデータ中心アプローチを採用常にビジネスモデルを念頭に #dmm_databricks

10 必要な人員データパイプラインを構築モデルのトレーニングとチューニングプロダクションにMLモデルをデプロイデータガバナンスとコンプライアンスに責任を持つ MLソリューションのビジネス価値に責任を持つ #dmm_databricks

11 必要なプロセスデータ準備探索的データ分析特徴量エンジニアリングモデルトレーニングモデル評価デプロイメントモニタリング #dmm_databricks

実用的なアプローチ 12

環境 • Dev ◦ データサイエンティスト/機械学習エンジニアが⾃由に開発できる環境 ◦ 任意のコードを実⾏可能 • Staging ◦ Dev で開発された機能を本番環境にリリースされる前にテスト • Prod ◦ 本番環境 13 #dmm_databricks

環境 • 環境によって資産を分離 ◦ コード ◦ モデル ◦ データ 14 #dmm_databricks

環境 • 環境によって資産を分離 ◦ コード ◦ モデル ◦ データ 15 MLOps 特有 #dmm_databricks

モデルとコード多くの場合、モデルとコードのライフサイクルは⾮同期 • 週次の不正検知モデルの更新 • モデルの更新あり • コードの変更なし • 後処理のアルゴリズムの変更 • モデルの更新なし • コードの変更あり 16 #dmm_databricks

モデルとコードのライフサイクルモデル中⼼のデプロイパターンとコード中⼼のデプロイパターン 17 #dmm_databricks

モデルとコードのライフサイクル 18 #dmm_databricks モデルのデプロイコードのデプロイ Dev • 学習コードの開発 • 補助コードの開発 • プロダクションデータで学習 • 補助コードとモデルをプロモート • 学習コードの開発 • 補助コードの開発 • Dev データで学習 • コードをプロモート Staging • モデルをテスト • 補助コードをテスト • 補助コードとモデルをプロモート • プロダクションデータのサブセットで学習 • 補助コードをテスト • コードをプロモート Production • モデルと補助コードをデプロイ • プロダクションデータで学習 • モデルをテスト • モデルと補助コードをデプロイ

モデルとコードのライフサイクル 19 #dmm_databricks モデルのデプロイコードのデプロイ Dev • 学習コードの開発 • 補助コードの開発 • プロダクションデータで学習 • 補助コードとモデルをプロモート • 学習コードの開発 • 補助コードの開発 • Dev データで学習 • コードをプロモート Staging • モデルをテスト • 補助コードをテスト • 補助コードとモデルをプロモート • プロダクションデータのサブセットで学習 • 補助コードをテスト • コードをプロモート Production • モデルと補助コードをデプロイ • プロダクションデータで学習 • モデルをテスト • モデルと補助コードをデプロイ • 1回限りの学習 • 学習に⾮常に時間がかかる場合

モデルとコードのライフサイクル 20 #dmm_databricks モデルのデプロイコードのデプロイ Dev • 学習コードの開発 • 補助コードの開発 • プロダクションデータで学習 • 補助コードとモデルをプロモート • 学習コードの開発 • 補助コードの開発 • Dev データで学習 • コードをプロモート Staging • モデルをテスト • 補助コードをテスト • 補助コードとモデルをプロモート • プロダクションデータのサブセットで学習 • 補助コードをテスト • コードをプロモート Production • モデルと補助コードをデプロイ • プロダクションデータで学習 • モデルをテスト • モデルと補助コードをデプロイ RECOMMENDED

リファレンスーアキテクチャ 21 #dmm_databricks

Dev Staging Production リファレンスーアキテクチャ 22 #dmm_databricks

Dev 23 #dmm_databricks

Dev 24 本番データへのアクセス読み取り専⽤が望ましい #dmm_databricks

Dev 25 探索的データ分析 #dmm_databricks

Dev 26 特徴量‧モデルを保存出⼒先はDev⽤ストレージ実験の結果を記録 #dmm_databricks

Dev 27 コンプライアンスや精度チェック後 Devブランチにコミット #dmm_databricks

Staging 28 #dmm_databricks

Staging 29 • CIによる統合テストの⾃動実⾏ • Training • Validation • Deployment • Inference • Monitoring #dmm_databricks

Production 30 #dmm_databricks

Production 31 • 学習後にレジストリにモデルを登録 • 各種チェック後エイリアスを Challenger に設定 #dmm_databricks

Production 32 • Champion と⽐較 • 精度が勝れば Challenger を Champion に昇格 #dmm_databricks

Production 33 APIとしてサービングアプリケーションからリクエストを受け付ける #dmm_databricks

Production 34 推論を事前計算する場合はバッチ or ストリーミングのパイプラインを作成 #dmm_databricks

Production 35 推論精度や⼊⼒データのドリフトをモニタリング #dmm_databricks

参考資料 • The Big Book of MLOps https://www.databricks.com/resources/ebook/the-big-book-of-mlops ◦ 約80ページの超⼤作 ◦ LLM Ops についても記載 ◦ 以下のQRコードか「The Big Book of MLOps」で検索🔎 36 #dmm_databricks

各種媒体で情報発信中 37 Databricks Japanの情報発信チャンネル (旧 ) @DatabricksJP bit.ly/DatabricksJP ブログ databricks.com /jp/blog #dmm_databricks

機械学習モデルの運用と実用的なアプローチ

機械学習モデルの運用と実用的なアプローチ

More Decks by Databricks Japan

Other Decks in Technology

Featured

Transcript