Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Unity Catalogの自動有効化

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on.

Unity Catalogの自動有効化

Unity Catalogの自動有効化について説明します。

Avatar for Databricks Japan

Databricks Japan

May 29, 2024
Tweet

More Decks by Databricks Japan

Other Decks in Technology

Transcript

  1. ©2023 Databricks Inc. — All rights reserved Unity Catalogの 自動有効化

    ワークスペース組み込みの ガバナンス Date 8/31/2023 Name データブリックス ジャパン株式会社
  2. ©2023 Databricks Inc. — All rights reserved DatabricksレイクハウスはデータとAIの ガバナンスを統合します 外部コンピュート

    プラットフォーム BI & データ ウェアハウス データエンジニ アリング ストリー ミング データ サイエンス & ML Open Interfaces Databricks Unity Catalog 構造化、非構造化データ + AIに対する単一のガバナンスモデル 外部データソース クラウドデータレイク すべての構造化、半構造化、非構造化データ 外部カタログ
  3. ©2023 Databricks Inc. — All rights reserved Unity Catalog はレイクハウス

    の基盤です ワークスペース横断の ガバナンス リネージ 行 & 列のフィルタリング テーブルの 自動チューニング タグ ボリューム ML特徴量 & モデル システムテーブル Delta Sharing レイクハウスフェデレーション クリーンルーム レイクハウスモニタリング DatabricksIQ Databricksマーケットプレイス
  4. ©2023 Databricks Inc. — All rights reserved メリット ▪ 新規ワークスペースはUnity

    Catalogへのアクセスが事前設定されて提供さ れ、デフォルトでアセットのガバナンスが確保されます ▪ アカウント管理者に「電話をかける」必要なしにワークスペースの 「利用を開始」できます ▪ Unity Catalogをベースとした最新のDatabricks機能にアクセスできます ▪ Hiveサポートを含むUC以前のワークロードとの完全互換性があります
  5. ©2023 Databricks Inc. — All rights reserved 概要 ワーク スペースでUCが

    自動有効化 1 ワークスペース 専用のカタログ 2 ワークスペース管理者が カタログの所有者 3 Hiveサポートに 変更なし 4
  6. ©2023 Databricks Inc. — All rights reserved 動作原理 ワーク スペース

    1 UC カタログ 1 ストレージ WS管理者 UCメタストア あるリージョンに最初のワークスペースが作成さ れると、それとともに自動でメタストアも作成されま す 自動作成されたメタストアには、ワーク スペース分離を維持するために、ルート ストレージやメタストア管理者は設定されません 新規 ワークスペース
  7. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス

    1 UC カタログ1 ストレージ WS管理者 ワークスペー ス 2 ストレージ WS管理者 UCメタストア 新規ワークスペースは同じ リージョンのUCメタストアに自 動でアタッチされます 新規ワーク スペース UC カタログ2
  8. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1

    UC カタログ1 ストレージ WS管理者 ワークスペー ス2 UC カタログ2 ストレージ WS管理者 UCメタストア ワークスペースとともに、ワークスペース名 のついた事前設定済みのカタログが提供さ れます カタログはデフォルトでワークスペースに 「紐づけ」られており、明示的に解放しない 限りそのワークスペースからしかアクセスで きないことを意味します
  9. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1

    UC カタログ1 ストレージ WS管理者 ワークスペー ス2 UC カタログ2 ストレージ WS管理者 ワークスペース管理者はカタログの所有権を 持ち、UCで新規カタログ、 ロケーション、コネクション、その他のルート レベルのオブジェクトを作成することができま す UCメタストア
  10. ©2023 Databricks Inc. — All rights reserved ワークスペー ス2 UC

    カタログ2 ストレージ WS管理者 動作原理 ワークスペー ス1 UC カタログ1 ストレージ WS管理者 このカタログはワークスペース専用の ストレージを使用します: • Azure - DBFSに隣接する新規 コンテナ • AWS - ワークスペースストレージ配 下で分離されたプレフィクス UCメタストア
  11. ©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1

    UCカタログ1 ストレージ WS管理者 ワークスペー ス2 UC ストレージ WS管理者 ユーザーがカタログ/スキーマを指定せず に‘CREATE TABLE myTable’を実行した 場合、‘default’として設定されているカタ ログにテーブルが作成されます。 これは‘workspace default catalog’ という新たなワークスペース設定で制御さ れます。 Hiveを使い続けたい場合には、この 設定を変更します。 UCメタストア Hive
  12. ©2023 Databricks Inc. — All rights reserved Before vs After

    コンポーネント 以前のリリース 新規リリース Unity Catalog ワークスペース作成後にアカウント管理者に よって有効化 ワークスペース作成時に自動で有効化 Hiveメタストア それぞれのワークスペースで自身の Hive メタストアを保持 それぞれのワークスペースで自身の Hive メタストアを保持 アイデンティティシステム ワークスペースごとのアイデンティティ システム、ローカルグループ アイデンティティフェデレーション , アカウントグルー プ (アカウント管理者、ワークスペース管理者に よって作成) デフォルトのカタログ Hive UI/APIで設定可能 (UCカタログかHiveを選択可 能) UCメタストアのストレージルート とメタストア管理者 必須 オプション (分散ガバナンスをサポート ) UCストレージ資格情報の作成 アカウント管理者のみ アカウント管理者、メタストア管理者、ワークスペー ス管理者、CREATE STORAGE CREDENTIAL権限 を持つユーザー UCカタログ作成 (コネクション、外部ロケーショ ン、共有にも適用) メタストア管理者、CREATE CATALOG CREDENTIAL 権限を持つユーザー メタストア管理者、ワークスペース管理者、 CREATE CATALOG CREDENTIAL権限を持つユー ザー