Databricks勉強会：Databricksの高度な使い方(その1)

Slide 1

Slide 1 text

Slide 43

Slide 43 text

©2024 Databricks Inc. — All rights reserved DatabricksワークフローによるCI/CDとは？ Python SDK Jobs Python APIによってジョブの作成、編集、削除が可能 Terraform Provider Terraformでジョブを作成、管理するためにdatabricks_jobsリソースを活用 Databricks Jobs REST API 低レベル REST API によってプログラムからジョブを管理可能その他の選択肢コード : ノートブック、Python .whl、JAR、dbt等リソース : Databricksワークフロー、MLFlow、Delta Live Tableパイプライン等 Databricksプロジェクト Databricksアセットバンドル bundle.yml Databricksアセットバンドル (DAB) はDatabricksプロジェクトのアーティファクト、リソース、設定を指定するYAMLファイルです。 $ databricks bundle deploy -e “dev” $ databricks bundle run pipeline -refresh-all -e “dev” 実行環境 : Databricksワークスペース、コンピュート設定等ワークスペース : 名前とデフォルトワークスペースリソース設定 : ジョブ、DLTパイプライン、MLFlow等。その他のパラメーターは REST API のスキーマに準拠環境ベースの仕様 : 異なる環境におけるプロジェクトの挙動を制御 IDEやターミナル、Databrikcsから複数の環境へのあなたのプロジェクトのデプロイ、実行、設定の調整、変更のテストが可能です！ Databricks CLIをインストールしご自身のCI/CDサーバーへのバンドルのデプロイをスタートできます。また、Git Actionで自動起動できます。 Dev設定 - シングルノード - スケジュールなし - ユーザーとして実行 Staging設定 - 3ノード - 週次実行 - SPとして実行 Prod設定 - 10ノード - 日次実行 - SPとして実行ソース管理 dev main release dev staging prod Databricks ワークフロー Databricks ワークフロー Databricks ワークフロープルリクリリース 43

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text