Unity Catalogの自動有効化

Unity Catalogの自動有効化について説明します。

Transcript

1. ©2023 Databricks Inc. — All rights reserved Unity Catalogの 自動有効化 ワークスペース組み込みの ガバナンス Date 8/31/2023 Name データブリックス ジャパン株式会社
2. ©2023 Databricks Inc. — All rights reserved DatabricksレイクハウスはデータとAIの ガバナンスを統合します 外部コンピュート プラットフォーム BI & データ ウェアハウス データエンジニ アリング ストリー ミング データ サイエンス & ML Open Interfaces Databricks Unity Catalog 構造化、非構造化データ + AIに対する単一のガバナンスモデル 外部データソース クラウドデータレイク すべての構造化、半構造化、非構造化データ 外部カタログ
3. ©2023 Databricks Inc. — All rights reserved Unity Catalog はレイクハウス の基盤です ワークスペース横断の ガバナンス リネージ 行 & 列のフィルタリング テーブルの 自動チューニング タグ ボリューム ML特徴量 & モデル システムテーブル Delta Sharing レイクハウスフェデレーション クリーンルーム レイクハウスモニタリング DatabricksIQ Databricksマーケットプレイス
4. 発表 Unity Catalogはすべてのワークスペース で自動で有効化されます！
5. ©2023 Databricks Inc. — All rights reserved メリット ▪ 新規ワークスペースはUnity Catalogへのアクセスが事前設定されて提供さ れ、デフォルトでアセットのガバナンスが確保されます ▪ アカウント管理者に「電話をかける」必要なしにワークスペースの 「利用を開始」できます ▪ Unity Catalogをベースとした最新のDatabricks機能にアクセスできます ▪ Hiveサポートを含むUC以前のワークロードとの完全互換性があります
6. ©2023 Databricks Inc. — All rights reserved 概要 ワーク スペースでUCが 自動有効化 1 ワークスペース 専用のカタログ 2 ワークスペース管理者が カタログの所有者 3 Hiveサポートに 変更なし 4
7. ©2023 Databricks Inc. — All rights reserved 動作原理
8. ©2023 Databricks Inc. — All rights reserved 動作原理 ワーク スペース 1 UC カタログ 1 ストレージ WS管理者 UCメタストア あるリージョンに最初のワークスペースが作成さ れると、それとともに自動でメタストアも作成されま す 自動作成されたメタストアには、ワーク スペース分離を維持するために、ルート ストレージやメタストア管理者は設定されません 新規 ワークスペース
9. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス 1 UC カタログ1 ストレージ WS管理者 ワークスペー ス 2 ストレージ WS管理者 UCメタストア 新規ワークスペースは同じ リージョンのUCメタストアに自 動でアタッチされます 新規ワーク スペース UC カタログ2
10. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1 UC カタログ1 ストレージ WS管理者 ワークスペー ス2 UC カタログ2 ストレージ WS管理者 UCメタストア ワークスペースとともに、ワークスペース名 のついた事前設定済みのカタログが提供さ れます カタログはデフォルトでワークスペースに 「紐づけ」られており、明示的に解放しない 限りそのワークスペースからしかアクセスで きないことを意味します
11. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1 UC カタログ1 ストレージ WS管理者 ワークスペー ス2 UC カタログ2 ストレージ WS管理者 ワークスペース管理者はカタログの所有権を 持ち、UCで新規カタログ、 ロケーション、コネクション、その他のルート レベルのオブジェクトを作成することができま す UCメタストア
12. ©2023 Databricks Inc. — All rights reserved ワークスペー ス2 UC カタログ2 ストレージ WS管理者 動作原理 ワークスペー ス1 UC カタログ1 ストレージ WS管理者 このカタログはワークスペース専用の ストレージを使用します: • Azure - DBFSに隣接する新規 コンテナ • AWS - ワークスペースストレージ配 下で分離されたプレフィクス UCメタストア
13. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1 UCカタログ1 ストレージ WS管理者 ワークスペー ス2 UC ストレージ WS管理者 ユーザーがカタログ/スキーマを指定せず に‘CREATE TABLE myTable’を実行した 場合、‘default’として設定されているカタ ログにテーブルが作成されます。 これは‘workspace default catalog’ という新たなワークスペース設定で制御さ れます。 Hiveを使い続けたい場合には、この 設定を変更します。 UCメタストア Hive
14. ©2023 Databricks Inc. — All rights reserved Before vs After コンポーネント 以前のリリース 新規リリース Unity Catalog ワークスペース作成後にアカウント管理者に よって有効化 ワークスペース作成時に自動で有効化 Hiveメタストア それぞれのワークスペースで自身の Hive メタストアを保持 それぞれのワークスペースで自身の Hive メタストアを保持 アイデンティティシステム ワークスペースごとのアイデンティティ システム、ローカルグループ アイデンティティフェデレーション , アカウントグルー プ (アカウント管理者、ワークスペース管理者に よって作成) デフォルトのカタログ Hive UI/APIで設定可能 (UCカタログかHiveを選択可 能) UCメタストアのストレージルート とメタストア管理者 必須 オプション (分散ガバナンスをサポート ) UCストレージ資格情報の作成 アカウント管理者のみ アカウント管理者、メタストア管理者、ワークスペー ス管理者、CREATE STORAGE CREDENTIAL権限 を持つユーザー UCカタログ作成 (コネクション、外部ロケーショ ン、共有にも適用) メタストア管理者、CREATE CATALOG CREDENTIAL 権限を持つユーザー メタストア管理者、ワークスペース管理者、 CREATE CATALOG CREDENTIAL権限を持つユー ザー
15. ©2023 Databricks Inc. — All rights reserved Demo