Databricks における『MLOps』

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary
Databricks におけるMLOps 1

DatabricksにおけるMLOps • [Blog] Simplifying Production MLOps with Lakehouse AI • [eBook] Big Book of MLOps 2

3 アジェンダ • イントロダクション ◦ MLOpsとは何でなぜ注意が必要か？ ◦ 人とプロセス ◦ ガイドの原則 ◦ development、staging、productionのセマンティクス ◦ MLデプロイメントパターン • 新機能 ◦ Unity Catalog ◦ モデルサービング ◦ レイクハウスモニタリング • 設計上の意思決定 • リファレンスアーキテクチャ • リソース

4 DatabricksにおけるMLOps • イントロダクション ◦ MLOpsとは何でなぜ注意が必要か？ ◦ 人とプロセス ◦ ガイドの原則 ◦ development、staging、productionのセマンティクス ◦ MLデプロイメントパターン • 新機能 ◦ Unity Catalog ◦ モデルサービング ◦ レイクハウスモニタリング • 設計上の意思決定 • リファレンスアーキテクチャ • リソース

MLOpsとは、MLシステムのパフォーマンス、安定性、長期的な効率性を改善するための MLOpsとは？ 5 データ、コード、モデルの管理に対する一連のプロセスと自動化処理です MLOps = DataOps + DevOps + ModelOps

6 データインテリジェンスプラットフォーム ModelOps DataOps DevOps データ中心のMLプラットフォーム

7 データインテリジェンスプラットフォーム ModelOps DataOps DevOps データ中心のMLプラットフォーム Unity Catalog Workﬂows Model Serving Lakehouse Monitoring

なぜMLOpsに注意が必要なのか？ MLOpsはあなたのリスクの軽減に役立ちます 8 • 技術的なリスク - 精度の低いモデル、壊れやすいインフラ • コンプライアンスのリスク - 規制や企業ポリシーの違反 MLOpsは自動化を通じて長期的な効率性を改善します • モデルのプロダクションへのデリバリーを整流化 • プロダクションでエラーが発生する前に捕捉 • 遅くて手動のプロセスを回避

9 人とプロセス → データパイプラインを構築 → ビジネス問題を翻訳。モデルのトレーニングと　チューニング → プロダクションにMLモデルをデプロイ → データガバナンスとコンプライアンスに責任を持つ → MLソリューションのビジネス価値に責任を持つ

10 人とプロセスデータ準備探索的データ分析特徴量エンジニアリングモデルトレーニングモデル評価デプロイメントモニタリング

ガイドの原則常にビジネスゴールを念頭に 11 モジュール化してMLOpsを実装プロセスは自動化をガイドすべき機械学習に対するデータ中心アプローチを採用

MLワークフローのアセット: dev、staging、prodのセマンティクス 12 アセットはそれぞれのフェーズで:

Dev vs. staging vs. prod 14 信頼性、品質、テストのレベル: アクセスのオープン性: Low High Open Locked-down

多くの場合、モデルとコードのライフサイクルは非同期的になります • 週次の不正検知モデル • モデルの更新。コードの変更なし。 • コンピュータビジョンモデル、大規模言語モデルのファインチューン • モデルの更新なし。コードの変更。モデル vs. コードのライフサイクル 15

MLデプロイメントパターン 16

19 コードデプロイのプロセス dev staging prod トレーニングコードの開発補助的なコードの開発 → コードをプロモート ✔ データのサブセットでモデルトレーニングコードをテスト ✔ 補助的なコードのテスト → コードをプロモート ✔ プロダクションデータでモデルをトレーニング ✔ モデルをテスト → モデルをデプロイ → 補助的なコードをデプロイ

22 Unity Catalog データとAIアセットに対する単一のガバナンスソリューション: ◦ 中央管理のアクセス制御 ◦ 監査 ◦ リネージ ◦ 検索データとAIに対する統合ガバナンス MLOps - What’s new? ボリューム (生データ) Delta テーブル特徴量モデル推論テーブルメトリックテーブル

23 Unity Catalog Unity Catalogでの特徴量エンジニアリングによって: • 主キー(およびタイムスタンプキー)が割り当てられたUnity CatalogのすべてのDelta テーブルを、モデルのトレーニングとサービングのためのソースとして利用可能 • 特徴量テーブルはワークスペース横断で容易に共有でき、レイクハウスの他のアセットとのリネージが記録される Unity Catalogでの特徴量エンジニアリング MLOps - What’s new? ボリューム (生データ) Delta テーブル特徴量モデル推論テーブルメトリックテーブル

24 Unity Catalog Unity Catalogでのモデル管理によって • Unity Catalogですべてのモデルライフサイクルを管理可能 • Databricksワークスペース横断でモデルを共有可能 • データとモデルの両方に対するリネージを追跡可能 Unity Catalogでのモデル管理 MLOps - What’s new? ボリューム (生データ) Delta テーブル特徴量モデル推論テーブルメトリックテーブル

25 モデルサービングリアルタイムのMLモデルデプロイメント • モデルサービングは、リアルタイムのMLモデルデプロイメントをシンプルにするためのプロダクションレディ、サーバレスのソリューションを提供します。 • アプリケーションやウェブサイトとモデルの予測結果を連携するためのAPIとしてモデルをデプロイします。 • モデルサービングは: ◦ 運用コストを削減します。 ◦ MLライフサイクルを円滑にします。 ◦ データサイエンスチームは、プロダクションレベルのリアルタイムMLを自身のソリューションに組み込むためのコアタスクにフォーカスできます。 MLOps - What’s new?

26 モデルサービング MLOpsのメリット MLOps - What’s new? デプロイメントを自動化しエラーを削減する自動特徴量/ベクトル検索モニタリング統合ガバナンスレイクハウスネイティブ CPUやGPUに任意のモデルをデプロイ。自動化されたコンテナ構築とインフラ管理はメンテナンスコストを削減し、デプロイメントをスピードアップシンプルなデプロイメント非常に低いレーテンシーで高可用性かつスケーラブルなサービング (オーバーヘッドレーテンシーのp50は <10ms)かつ、大ボリュームのクエリーに対応 (QPS >25k) サーバレス

27 モデルサービングオンラインでの評価 MLOps - What’s new? サービングエンドポイントへの複数モデルのサービングを通じたA/B テストやカナリアデプロイメントのようなオンライン評価戦略をサポート

28 モデルサービング推論テーブルモデルのモニタリングとデバッグのための推論テーブル: • それぞれのリクエストとレスポンスはUnity Catalogの推論テーブルに記録されます ◦ お使いのモデルの次のイテレーションで再トレーニングのデータセットとして活用 ◦ プロダクションのデータとモデルに対する品質モニタリングの作成 ◦ 疑わしい推論の診断とデバッグの実行 ◦ 再度ラベリングすべきラベルミスのあるデータセットの作成 MLOps - What’s new? ボリューム (生データ) Delta テーブル特徴量モデル推論テーブルメトリックテーブル

データとAIアセットの両方が高品質、正確、信頼できることを保証するためのデータ中心のモニタリングソリューション。 • UCテーブルでデータをインクリメンタルに処理 • UCテーブルに格納されるプロファイルメトリクスを計算 • UCテーブルに格納されるドリフトメトリクスの計算 • SQLエクスプレッションとしてのカスタムメトリクスをサポート • メトリクスの時間変化を可視化する自動生成のDBSQLダッシュボードレイクハウスモニタリング MLOps - What’s new? レイクハウスネイティブ

32 Unity Catalog Concepts MLOps design decisions

33 Unity Catalog コンセプト MLOps design decisions カタログ: • データとAIアセットのコンテナとして機能

34 Unity Catalog コンセプト MLOps design decisions カタログ: • データとAIアセットのコンテナとして機能スキーマ: • 関連するテーブル、ビュー、モデルをグルーピングするカタログ内の論理的構成体

35 Unity Catalog コンセプト MLOps design decisions カタログ: • データとAIアセットのコンテナとして機能スキーマ: • 関連するテーブル、ビュー、モデルをグルーピングするカタログ内の論理的構成体データテーブル: • <catalog>.<schema>.<table>の形式で提供される3レベルの名前を用いて参照

36 Unity Catalog コンセプト MLOps design decisions カタログ: • データとAIアセットのコンテナとして機能スキーマ: • 関連するテーブル、ビュー、モデルをグルーピングするカタログ内の論理的構成体データテーブル: • <catalog>.<schema>.<table>の形式で提供される3レベルの名前を用いて参照ボリューム: • クラウドオブジェクトストレージロケーションの論理的ボリューム。テーブル以外のデータセットにガバナンスを追加。

37 Unity Catalog Concepts MLOps design decisions カタログ: • データとAIアセットのコンテナとして機能スキーマ: • 関連するテーブル、ビュー、モデルをグルーピングするカタログ内の論理的構成体データテーブル: • <catalog>.<schema>.<table>の形式で提供される3レベルの名前を用いて参照ボリューム: • クラウドオブジェクトストレージロケーションの論理的ボリューム。テーブル以外のデータセットにガバナンスを追加。関数: • SQLとPythonのUDF

38 Unity Catalog コンセプト MLOps design decisions 登録モデル: • Unity Catalogに登録されたMLﬂow モデル。

39 Unity Catalog コンセプト MLOps design decisions 登録モデル: • Unity Catalogに登録されたMLﬂow モデル。モデルバージョン: • 登録モデルのバージョン。同じモデル名でモデルが登録されるとバージョン番号が増加。

40 Unity Catalog Concepts MLOps design decisions 登録モデル: • Unity Catalogに登録されたMLﬂow モデル。モデルバージョン: • 登録モデルのバージョン。同じモデル名でモデルが登録されるとバージョン番号が増加。モデルのエイリアス: • 登録モデルの特定のバージョンに対する変更可能な名前付きリファレンス。

41 Unity Catalog 推奨の構成 - カタログレベル dev bronze silver gold fraud_detection > Tables: offline_location_features fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance staging bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance prod bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance MLOps design decisions

42 Unity Catalog 推奨の構成 - スキーマレベル dev bronze silver gold fraud_detection > Tables: offline_location_features fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance staging bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance prod bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance MLOps design decisions

43 Unity Catalog 推奨の構成 - スキーマレベル dev bronze silver gold fraud_detection > Tables: offline_location_features fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance staging bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance prod bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance MLOps design decisions

44 Unity Catalog 推奨構成 dev bronze silver gold fraud_detection > Tables: offline_location_features fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance staging bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance prod bronze silver gold fraud_detection > Tables: fraud_clf_inference fraud_clf_metrics > Volumes: > Models: fraud_clf > Functions: compute_distance MLOps design decisions サンプルの prodカタログ

46 マルチ環境のビュー

47 開発

48 ステージング

49 プロダクション

50 Implementing MLOps on Databricks • Databricks MLOps Stack ◦ Customizable stack for starting new ML projects on Databricks ◦ Follows deploy code paradigm ◦ Cloud: Azure, AWS ◦ CI/CD: GitHub, Azure DevOps ◦ Databricks Infrastructure: Databricks asset bundles

MLOps Resources • Read the updated Big Book of MLOps. Throughout the eBook, we provide links to resources for details and for learning more about speciﬁc topics. • Catch up on the Data+AI Summit 2023 talks on MLOps, including: ◦ Wednesday keynote on Lakehouse IQ, MosaicML, and Lakehouse AI, as well as JetBlue’s personal story ◦ Databricks vision and product updates ▪ LLMOps: Everything You Need to Know to Manage LLMs, which overviews the Databricks vision for developing LLM-powered applications ▪ Deep Dive into the Latest Lakehouse AI Capabilities ▪ Advancements in Open Source LLM Tooling, Including MLﬂow ◦ Key Insights From Running LLMs in Production From MLOps.Community • Read and watch about success stories: ◦ CareSource on their MLOps platform for improving healthcare ◦ Walgreens Boots Alliance on the details of their MLOps architecture ◦ Gucci on their end-to-end MLOps architecture ◦ Ahold Delhaize on their move to Serverless Model Serving ◦ The Trade Desk on scaling NLP for 100 million web pages per day 52

Resources: Big Book MLOps eBook Big Book of MLOps (Release: 10/19) Models in Unity Catalog Deep Dive deck Part 2: LLMOps deck (go/llmops/deck) 53

Databricks における 『MLOps』

Databricks における 『MLOps』

More Decks by Databricks Japan

Other Decks in Technology

Featured

Transcript

Databricks における『MLOps』

Databricks における『MLOps』