データプロダクトにおけるCI/CD: Databricks Asset Bundleとは？

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©2023 Databricks Inc. — All rights reserved Databricksにおけるプロジェクトの解剖学コード: ノートブック, Pythonの .whl, JAR, dbt, etc. 実行環境: Databricksワークスペース、計算資源の設定リソース: Databricksワークフロー、MLﬂowトラッキングサーバーやレジストリ、Delta Live Tables… 説明しましょうテーブルやパイプライン、機械学習モデル、ダッシュボードを作成、外部サービス呼び出し、etc. シンプルなレポートはシングルノードのコンピュート上で実行される一つのノートブックかもしれません完全なMLOpsパイプラインにおいては、MLﬂow、Feature Store、モデルサービングのコンポーネントが必要となることでしょうさまざまなコンポーネントから構成さまざまなデータ製品を製造タスクがコンポーネントを決定

Slide 4

Slide 4 text

言い換えると… あなたのプロジェクトはコード + リソース + 環境から構成されます

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2023 Databricks Inc. — All rights reserved プロダクションへのジャーニー commit pull request deploy as test merge release deploy to prod check out Devの設定 : シングルノードスケジュールなしユーザーとして実行 … Prodの設定 : Sparkクラスター週次のスケジュールサービスプリンシパルとして実行 … Stagingの設定 : Sparkクラスター週次のスケジュールユーザーとして実行 … 8

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©2023 Databricks Inc. — All rights reserved Databricksプロジェクトデプロイのステップ REST APIを用いてプログラムで 1. どこで実行したいのか？ 2. 何を実行したいのか？ a. コード成果物: ノートブック、PythonパッケージやJAR b. ワークフロータスク、依存関係や設定 c. リソース: DLT、MLﬂowエクスペリメント、etc. 3. 実行しましょう！ a. コードのアップロード、リソースの作成、設定 b. ワークフローのスケジュール、実行 Workspace, Jobs API Clusters, MLﬂow API Jobs, Clusters API DBFS, Jobs API Jobs API Workspace API 10

Slide 9

Slide 9 text

©2023 Databricks Inc. — All rights reserved CI/CD: 問題を解決、本当に？ 👍 使いやすい 👍 PythonとScalaのコードをサポート 😥 汎用的なソリューションではありません: ノートブックではなくPython/Scalaコードのみ 😥 Labsのプロジェクト 😥 ネイティブサポートではありません 11 dbx: Databricks labsのプロジェクト

Slide 10

Slide 10 text

©2023 Databricks Inc. — All rights reserved 💪 エンジニアのサポート (Deco team) 💪 とてもパワフル、表現豊か 💪 汎用的: ノートブック、ダッシュボードサービスプリンシパル… 💪 ワークスペース設定のために選択可能な管理ツール 😥 データサイエンティストの課題: HCL言語 😥 データサイエンティストの課題: Terraform stateファイル 😥 データサイエンティストの課題: 完全な開発ループではなく、デプロイのみに最適化 CI/CD: 問題を解決、本当に？ Terraform 12

Slide 11

Slide 11 text

©2023 Databricks Inc. — All rights reserved どうすればシンプルに？一度コードを書いたら、容易に複数ワークスペースにデプロイ ● シンプルで理解しやすいフォーマット(YAMLなど)で全ての設定とコードをバージョン管理 ● 既存のREST APIパラメーターを用いてDatabricksリソースを定義 ● 環境ベースの上書きや変数を指定 ● デプロイメントにおけるユーザー分離を保証設定と一緒にデプロイする標準的かつ全体的な手段の実装 … DAB 13

Slide 12

Slide 12 text

Databricks アセットバンドルのご紹介

Slide 13

Slide 13 text

©2023 Databricks Inc. — All rights reserved Databricksプロジェクトのアーティファクト、リソース、設定を指定する YAMLファイル bundle.ymlファイルを用いる Databricksアセットバンドルを検証、デプロイ、実行するための機能を提供する新たな Databricks CLI バンドルは開発やCI/CD プロセスで有用です Databricksアセットバンドルとは？バンドルは何の役に立つのか？どこでバンドルを使うのか？ 15 Databricksアセットバンドル一度コードを書けばどこでもデプロイ

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©2023 Databricks Inc. — All rights reserved どのようにバンドルを使うのか？ $ databricks bundle deploy -t “development” $ databricks bundle run pipeline –refresh-all -t “development” ★ あなたのプロジェクトのデプロイと実行、設定の調整、変更のテスト ★ 差異をテストするために複数ワークスペースにデプロイ ★ IDE、ターミナル、Databricksからデプロイ、実行 Alice アクティブな開発の一部として 17

Slide 16

Slide 16 text

©2023 Databricks Inc. — All rights reserved どこでバンドルを使うのか？ As part of CI/CD processes ★ CI/CDサーバー(GitHub Actionsなど) で実行 ★ CIやリリースパイプラインから起動 ★ サービスプリンシパルとしての実行が理想的 commit pull request deploy as test merge release deploy to prod check out ➜ databricks bundle deploy -t “staging” ➜ databricks bundle run pipeline –refresh-all -t “staging” ➜ databricks bundle deploy -t “production” ➜ databricks bundle run pipeline –refresh-all -t “production” 18 🔗 Github Actionsのサンプル: https://docs.databricks.com/ja/dev-tools/bundles/ci-cd.html

Slide 17

Slide 17 text

©2023 Databricks Inc. — All rights reserved DAB: 一度コードを書いたらどこでもデプロイ ● CI/CDとプロジェクト管理のベストプラクティスの民主化 • コードとリソース、設定のバージョン管理 • 自動化をフレンドリーに (CLI vs. 1000のRESTコール) • 自信を持ってコラボレーション、デプロイ (分離、テスト自動化、etc) ● あなたのプロジェクトを定義、デプロイするために統一された方法サマリー 19