Azure Databricksの最新機能アップデート

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved Unity Catalog: データとAIの統合ガバナンス Unity Catalogは2021年のData + AI Summitでの発表以来、進化を重ね、 Databricksの中心的なコンポーネントになったメタデータ管理 (ファイル | テーブル | MLモデル | ノートブック | ダッシュボード) アクセス制御リネージ検索監視共有 Databricks Unity Catalog 監査あらゆる形式のデータとAIモデルの一元管理データとAI両方を単一の権限モデルで管理 AI活用の監視と可観測性オープンなデータ共有 5

Slide 5

Slide 5 text

©2024 Databricks Inc. — All rights reserved Azure Databricksのユーザーに Unity Catalogを推奨する理由データとAI資産の一元管理・統合ガバナンス定型・非定型のデータとAI資産を一元管理、統一的なアクセス制御を実現一度の設定で全言語・全処理エンジンに一貫したアクセス制御を適用 1 全ワークスペースのメタデータとユーザーの一元管理運用効率の向上、管理の複雑さの低減 2 Databricksの新機能の多くは Unity Catalogが前提ハイペースで登場する新機能により、開発生産性とガバナンスを向上 3

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved Databricks ワークスペース2 全WSのメタデータとユーザーの一元管理 Unity Catalog なしの場合 Unity Catalog ありの場合 Databricks ワークスペース1 Databricks ワークスペース Databricks ワークスペース Unity Catalog ユーザー管理 UCメタストアクラスター SQLウェアハウスクラスター SQLウェアハウスユーザー管理 Hiveメタストアクラスター SQLウェアハウスユーザー管理 Hiveメタストアクラスター SQLウェアハウスアクセス制御アクセス制御外部データベースアクセス制御以前はワークスペースごとにメタデータとユーザーの管理が必要だったが、 Unity Catalogによりアカウント単位で一元的に管理できるようになった 7 Hiveメタストア

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved UCが有効化されていない場合、ユーザーは左記の機能を使えない Governance Across Workspaces Lineage Row Filters and Column Masking Volumes Lakehouse Federation Lakehouse Monitoring Delta Sharing DatabricksIQ Databricks Marketplace Clean Room Genie AI Governance System Tables Lakehouse Apps Databricks Connect v2 Materialized Views AI-Powered Predictive Optimization Streaming Tables RAG Studio Vector Search for Indexing Serverless Workflows Databricksの新機能の多くは UCが前提言い換えると、UCが有効化されていないと使用できない機能が多数ある 8

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved このパートでカバーする機能 1. 使用状況ダッシュボード ADBアカウント/ワークスペースのコストのモニタリング 2024年8月にパブリックプレビュー開始 (Link) 2. 予算 ADBアカウント全体の予算設定、監視 2024年9月にパブリックプレビュー開始 (Link) 3. 予算ポリシーサーバーレスコンピューティングのコストをタグで識別するための機能 2024年10月にパブリックプレビュー開始 (Link) 1 2 3

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved 使用状況ダッシュボード • アカウント管理者が、アカウントコンソールの [使用量] からワークスペースを指定してダッシュボードをインポート • ダッシュボードで以下の分析が可能 • 機能別の使用状況の内訳 • SKU別の使用状況の内訳 • タグに基づく使用状況の分析 • 最も高コストな使用状況の分析アカウント内の全ワークスペースの使用状況を確認できるダッシュボード Public Preview

Slide 12

Slide 12 text

©2024 Databricks Inc. — All rights reserved 予算 • アカウント管理者がアカウントコンソールの [使用量] > [予算] から設定 • 予算により以下が実現可能 • アカウント全体のコスト追跡 • 特定のワークスペース、タグ別のコスト追跡 • 予算超過時のメールアラート • 日次での累積コストの可視化 • 留意事項 • 予算は監視のみを行う = 予算超過時の使用制限は行わない • コストは米ドルの定価で記録 • メールアラートに最大24hの遅延の可能性簡単な操作で予算設定とコスト超過アラートを実現 Public Preview

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved 予算ポリシー • ワークスペース管理者が設定の [クラスター] > [予算ポリシー] で以下を管理 • 予算ポリシーの作成・編集・削除 • ポリシーにコスト識別用のタグと値を設定 • ポリシーをユーザー/グループ/SPに割り当て • 「請求管理者」ロールを持つアカウントユーザーはアカウント内の全ポリシーを管理可能 • ポリシーの適用対象：サーバーレスのノートブック、ジョブ、DLTパイプライン • ポリシーの適用ルール • ユーザーの割り当てポリシーが1つ：自動適用 • ユーザーの割り当てポリシーが複数：リソース作成時にユーザーが適用するポリシーを選択 • 未選択の場合、アルファベット順で最初のポリシーが自動適用サーバーレスコンピューティングのコストをタグで識別するための機能 Public Preview

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved 予算ポリシー：具体的な適用例 Eng cost-center-eng Tag: cost-center, Value: eng cost-center-sales Tag: cost-center, Value: sales 予算ポリシーグループ Sales アダムクリスボブユーザー割り当て割り当て所属兼務所属 1 2 1 (自動適用) 2 (自動適用) 1 2 から選択適用される予算ポリシー

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©2024 Databricks Inc. — All rights reserved このパートでお伝えしたいこと 1. Azure Databricks (ADB) の DBとSaaSからのIngestion機能として Lakeﬂow ConnectがGated public preview 認証、ファイルのステージングが Unity Catalogと密に統合されており Azure Databricks ユーザーとの親和性が高い 1 2

Slide 18

Slide 18 text

LakeFlow Connect データベースとエンタープライズアプリのシンプルな取り込みコネクタ効率的な増分取り込み Arcion テクノロジーを搭載 Transform Orchestrate Ingest Preview

Slide 19

Slide 19 text

©2024 Databricks Inc. — All rights reserved LakeFlow Connect • ソースとの接続 : UCのコネクションを活用 • Gateway : Volumeへのファイルダンプ • Ingestion : UC Tableへレコードを反映 20 構成する要素と取り込みのプロセス Source Connection Gateway (DLT Pipeline) Staging Storage (Volume) Ingestion (DLT Pipeline) 1 2 3 4 5 データ操作 Insert, Update, Delete メタデータ、データ変更データ Jobs Staging & Final Tables

Slide 20

Slide 20 text

©2021 Databricks Inc. — All rights reserved 21 Overview • Azure SQL DB • Methods • CT - Change Tracking • CDC - Change Data Capture • MSSQL Security Source Setup • 以下のシステムテーブルとビューに対するRead権限: • sys.databases • sys.schemas • sys.tables • sys.columns • sys.key_constraints • sys.foreign_keys • sys.check_constraints • sys.default_constraints • sys.change_tracking_tables • sys.change_tracking_databases • sys.objects • sys.triggers • 以下のシステムストアドプロシージャに対するExecute権限: • sp_tables • sp_columns • sp_columns_100 • sp_pkeys • sp_statistics • 全ての複製されるテーブル/スキーマに対するSELECT権限ソース側の設定 Source 1 2 3 4 5 6

Slide 21

Slide 21 text

©2021 Databricks Inc. — All rights reserved 22 カタログとスキーマ以下の考慮点 • カタログとスキーマを作成 • 権限 • ステージング領域 • ステージングと目的地のカタログを作成する • CREATE CATALOG (on metastore) • ステージングのスキーマを作成する • CREATE SCHEMA • 既存のスキーマ/カタログを使う • USE CATALOG • USE SCHEMA • CREATE VOLUME (for staging schema) • CRATE TABLE 権限 Staging Storage 1 2 3 4 5 6

Slide 22

Slide 22 text

©2024 Databricks Inc. — All rights reserved Key Takeaway Lakeﬂow ConnectがGated Public Preview Previewの対象はSalesforce, SQL Server, Workday Preview参加希望の場合はアカウントチームにお知らせください 1 ADBとのNative統合 DB/SaaSへの認証はUCのConnection、ファイルはVolumeへステージ UCのテーブルへDelta Live Tablesでデータ取り込み 2 SQL Serverはchange tracking/CDCに対応ソースDBからの差分更新をUCのテーブルへ反映 3

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

©2024 Databricks Inc. — All rights reserved アプリは専門的なリソースがボトルネックとなり、開発ペースが遅くなり、長期にわたって維持するのが難しくなる。 26 データ・アプリの構築と本番化は困難だったアプリのデプロイには、レビューや反復作業が増えるため時間がかかり、アプリの市場投入時期が遅れることが多い。インフラは、迅速にデプロイするためには非常に複雑です。複雑時間を浪費するアプリをデータ基盤と切り離して管理するのは面倒でミスが起こりやすく、その結果、管理が不十分で安全でないアプリが生まれる。脅威

Slide 26

Slide 26 text

©2024 Databricks Inc. — All rights reserved 開発者がすでに知っているテクノロジーでシンプルにアプリを開発できるため、他のテクノロジーの習得に煩わされることなく、簡単に構築できる。 27 Databricks Appsのご紹介 IT部門は、開発者が構築しているアプリの本番環境への対応に高い信頼を寄せており、これらのアプリはより迅速にデプロイされ、迅速に市場に投入される。シンプル本番レディーデータ・アプリケーションは本質的にセキュアで適切に管理されているため、データ・セキュリティが向上する。ビルトインのガバナンスセキュアなデータアプリケーションの迅速な構築

Slide 27

Slide 27 text

Slide 28

Slide 28 text

©2024 Databricks Inc. — All rights reserved アーキテクチャ 29 Serverless Compute Control Plane Classic Compute Customer VPC Workspace clusters (ETL and AI) SQL Warehouses (DWH and BI) SQL Warehouses (DWH and BI) Web App Unity Catalog Workﬂow Manager Compute Manager Users Compute Storage Cloud Storage Model Serving (real-time) Databricks Apps

Slide 29

Slide 29 text

©2024 Databricks Inc. — All rights reserved アプリは自動的にプロビジョニングされたサーバーレス・コンピュート上で実行され、簡単にデプロイできる。 Gitバージョン管理とCI/CDパイプラインの組み込みサポートデプロイから生成されるユニークな URLは、開発者が意図したユーザーと簡単に共有できる本番レディー 30 dev environment CI environment prod workspace staging workspace dev workspace

Slide 30

Slide 30 text

©2024 Databricks Inc. — All rights reserved 認証 31 󰠁󰞵 Databricks App Data in UC Single Sign On End User needs CAN_USE or CAN_MANAGE App Service Principal needs access to the resource SQL Warehouse (needs Can Use permissions or greater) Serving endpoint (needs Can Query permissions or greater) Job (needs Can Manage Run or greater) Databricks Secret (needs Can Read permissions or greater) Vector Search (needs Can Query permissions or greater) Compute (Spark) (needs Can Attach To or greater) App Service Principal needs access to the data, eg Can Select (tables), Use Schema, Use Catalog

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

©2024 Databricks Inc. — All rights reserved Key Takeaway Databricks AppsがPublic Preview eastusリージョンで先行的にPreview開始 1 開発負荷の軽減サーバレスコンピュートの活用で運用負荷軽減 SSOにより認証周りをシンプル化 2 汎用的なフレームワークに対応 Streamlit、Flask、Dash、Gradio 3