[2024年12月版] Unity Catalogセットアップガイド / Unity Catalog Setup Guide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

©2023 Databricks Inc. — All rights reserved DatabricksはデータとAIのガバナンスを統合します外部の計算プラットフォーム BI & データウェアハウスデータエンジニアリングデータストリーミングデータサイエンス & ML オープンインタフェース Databricks Unity Catalog 構造化、非構造化のデータ + AIに対する単一のガバナンスモデルデータベースやデータウェアハウスクラウドデータレイクすべての構造化、半構造化、非構造化データ外部カタログ

Slide 5

Slide 5 text

Databricks Unity Catalog ディスカバリーデータ共有アクセス制御監査リネージモニタリングテーブルファイルモデルノートブックダッシュボードデータ & AIに対する統合ガバナンスユーザーアプリ Databricks Unity Catalog データとAIに対する統合ビューデータとAIに対するシンプルな権限モデル AIで強化された監視と観測可能性オープンなデータ共有

Slide 6

Slide 6 text

Slide 7

Slide 7 text

2023/11以降、すべての新規ワークスペースでUnity Catalog が自動で有効化されます！ 7

Slide 8

Slide 8 text

©2023 Databricks Inc. — All rights reserved メリット ▪ 新規ワークスペースはUnity Catalog(UC)へのアクセスが事前設定されて提供されるので、アセットのガバナンスがデフォルトで確保されます。 ▪ アカウント管理者に連絡する必要なしにワークスペースの利用を開始できます。 ▪ Unity Catalogをベースとする最新のDatabricks機能にアクセスできます。 ▪ Hiveサポートを含むUC以前のワークロードとの完全互換性があります。 8

Slide 9

Slide 9 text

Slide 10

Slide 10 text

©2023 Databricks Inc. — All rights reserved 動作原理ワークスペース 1 UC カタログ 1 ストレージ WS管理者 UCメタストアあるリージョンに最初のワークスペースが作成されると、それとともに自動でメタストアも作成されます自動作成されたメタストアには、ワークスペース分離を維持するために、ルートストレージやメタストア管理者は設定されません新規ワークスペース 10

Slide 11

Slide 11 text

Slide 12

Slide 12 text

©2023 Databricks Inc. — All rights reserved 動作原理ワークスペース1 UC カタログ1 ストレージ WS管理者ワークスペース2 UC カタログ2 ストレージ WS管理者 UCメタストアワークスペースとともに、ワークスペース名のついた事前設定済みのカタログが提供されますカタログはデフォルトでワークスペースにアタッチされており、アクセスを明示的に解放しない限り、当該ワークスペースからしかアクセスできないことを意味します 12

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©2023 Databricks Inc. — All rights reserved ワークスペース2 UC カタログ2 ストレージ WS管理者動作原理ワークスペース1 UC カタログ1 ストレージ WS管理者このカタログはワークスペース専用のストレージを使用します: ● Azure - DBFSに隣接する新規コンテナ ● AWS - ワークスペースストレージ配下で分離されたプレフィクス UCメタストア 14

Slide 15

Slide 15 text

©2023 Databricks Inc. — All rights reserved 動作原理ワークスペース1 UC カタログ1 ストレージ WS管理者ワークスペース2 UC ストレージ WS管理者ユーザーがカタログ/スキーマを指定せずにCREATE TABLE myTableを実行した場合、defaultとして設定されているカタログにテーブルが作成されます。これはworkspace default catalog という新たなワークスペース設定で制御されます。 Hiveを使い続けたい場合には、この設定を変更します。 UCメタストア Hive 15

Slide 16

Slide 16 text

©2023 Databricks Inc. — All rights reserved Before vs After コンポーネント以前のリリース UCの自動有効化 Unity Catalog ワークスペース作成後にアカウント管理者によって有効化ワークスペース作成時に自動で有効化 Hiveメタストアそれぞれのワークスペースで自身の Hive メタストアを保持それぞれのワークスペースで自身の Hive メタストアを保持アイデンティティシステムワークスペースごとのアイデンティティシステム、ローカルグループアイデンティティフェデレーション , アカウントグループ (アカウント管理者、ワークスペース管理者によって作成) デフォルトのカタログ Hive UI/APIで設定可能 (UCカタログかHiveを選択可能) UCメタストアのストレージルートとメタストア管理者必須オプション (分散ガバナンスをサポート ) UCストレージ資格情報の作成アカウント管理者のみアカウント管理者、メタストア管理者、ワークスペース管理者、CREATE STORAGE CREDENTIAL権限を持つユーザー UCカタログ作成 (コネクション、外部ロケーション、共有にも適用) メタストア管理者、CREATE CATALOG権限を持つユーザーメタストア管理者、ワークスペース管理者、 CREATE CATALOG権限を持つユーザー 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

©2023 Databricks Inc. — All rights reserved 注意点新規にカタログを作成する際にはストレージの指定が必要です • 前提として、Unity Catalogではカタログやスキーマ(データベース)が使用するストレージ(S3バケットやADLSコンテナ)が必要となります。 • 新規にワークスペースを作成し、Unity Catalogが自動で有効化されると、自動で当該ワークスペース専用の(マネージド)ストレージが作成され、そのストレージを使用する当該ワークスペース専用のカタログが自動で作成されます。 18

Slide 19

Slide 19 text

©2023 Databricks Inc. — All rights reserved 注意点新規にカタログを作成する際にはストレージの指定が必要です • しかし、別途カタログを作成する場合には、上のステップで作成済みのストレージあるいは新規のストレージを使用するように明示的に指示する必要があります。ストレージを指定せずにカタログを作成しようとすると以下のエラーメッセージに遭遇します。 • Metastore storage root URL does not exist. Please provide a storage location for the catalog (for example 'CREATE CATALOG myCatalog MANAGED LOCATION ''). Alternatively set up a metastore root storage location to provide a storage location for all catalogs in the metastore. 19

Slide 20

Slide 20 text

©2023 Databricks Inc. — All rights reserved 注意点ストレージを指定する際にはデータ分離ポリシーを検討する必要があります • ストレージは、メタストアレベル、カタログレベル、スキーマレベルで指定することができます。レベルに応じたデータ分離が行われます。 • テーブルのストレージロケーション(場所)は、どのレベルのストレージが設定されているのかによって、以下の順序で決定されます。 a. スキーマにストレージロケーションが設定されている場合、テーブルはスキーマのストレージロケーションに格納されます。 b. カタログにストレージロケーションが設定されている場合、テーブルはカタログのストレージロケーションに格納されます。 c. カタログにもストレージロケーションが設定されていない場合、テーブルはメタストアのストレージロケーションに格納されます。 20 Unity Catalogのベストプラクティス｜ Databricks on AWS

Slide 21

Slide 21 text

©2023 Databricks Inc. — All rights reserved 注意点ストレージを指定する際にはデータ分離ポリシーを検討する必要があります 21 クラウドストレージ (S3, ADLS, GCS) デフォルトのマネージドストレージメタストア Unity Catalog スキーマ1 マネージドストレージカタログ1 スキーマ3 カタログ2 マネージドストレージスキーマ2 1) メタストアにアタッチされるデフォルトストレージデータは分離されません 2) カタログレベルで定義カタログレベルでのデータ分離 3) スキーマレベルで定義スキーマレベルでのデータ分離強い推奨事項: メタストアのデフォルトロケーションにカタログ/スキーマを格納しない . . . カタログごとの個別のマネージドストレージロケーションを指定しましょう (これがカタログ内のスキーマ/テーブルのデフォルトロケーションになります) Unity Catalogのベストプラクティス｜ Databricks on AWS

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

©2023 Databricks Inc. — All rights reserved シナリオ1: カタログレベルのデータ分離 34 S3バケット自体も分離したい場合 • S3バケットを作成し、当該S3バケットにアクセス可能なストレージ資格情報を作成します。 • ストレージ資格情報とS3バケットのパスを参照する外部ロケーションを作成します。 • カタログ作成時に新規に作成した外部ロケーションを選択します。

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

©2023 Databricks Inc. — All rights reserved シナリオ2: メタストアレベルのストレージ 37 カタログレベルでのデータ分離が不要の場合 • メタストアレベルのデフォルトストレージとして使用するS3バケットを作成し、当該 S3バケットにアクセス可能なストレージ資格情報を作成します。 • ストレージ資格情報とS3バケットのパスを参照する外部ロケーションを作成します。こちらのS3バケットパスを、次のステップでアカウントコンソールで設定しますのでメモしておきます。 • Databricksアカウントコンソールにアクセスします。

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

©2023 Databricks Inc. — All rights reserved シナリオ1: カタログレベルのデータ分離 48 ADLSコンテナ自体も分離したい場合 • ストレージアカウントとストレージコンテナを作成し、パス(例: abfss://[email protected] et/)をメモしておきます。 • ストレージアカウントにアクセスできるマネージドIDを保持する Azure Databricksアクセスコネクタを作成します。(手順4までを実施) • ストレージ資格情報を作成します。(10番までを実施) • 外部ロケーションを作成します。 • カタログ作成時に、上で作成した外部ロケーションを選択します。

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

©2023 Databricks Inc. — All rights reserved シナリオ2: メタストアレベルのストレージ 51 カタログレベルでのデータ分離が不要の場合 • ストレージアカウントとストレージコンテナを作成し、パス(例: abfss://[email protected] et/)をメモしておきます。 • ストレージアカウントにアクセスできるマネージドIDを保持する Azure Databricksアクセスコネクタを作成します。(手順4までを実施) • ストレージ資格情報を作成します。(10番までを実施) • 外部ロケーションを作成します。 • Azure Databricksアカウントコンソールにアクセスします。

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

©2023 Databricks Inc. — All rights reserved 参考資料 55 • Unity Catalog の設定と管理 - Azure Databricks | Microsoft Learn • Unity Catalog のベストプラクティス - Azure Databricks | Microsoft Learn • Unity Catalog のマネージドストレージの場所を指定する - Azure Databricks | Microsoft Learn • Unity カタログを使用してクラウドストレージへのアクセスを管理する - Azure Databricks | Microsoft Learn