Databricks SQL Serverlessを使用することで何が変わるのか？

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved Databricks SQLサーバーレスがベストな選択肢即時、弾力的なコンピューティング即時のコンピューティングによる最速のクエリ実行素早くインテリジェントにスケールユーザー管理不要マネージド環境：Databricksが管理する容量とプールシンプルで予測しやすい価格モデル管理者 IT予算「私たちは、アナリストが使用するBIツールを動かすためにDatabricks SQLを使用しています。Databricks SQLサーバーレスを利用することで、インフラをずっと効率的に使いながら、Databricks SQLの力を活用できます。サーバーレスを選択した結果、インフラコストを3分の1に削減できました。これが理由で、私たちはDatabricks SQLサーバーレスをより多くのデータパイプラインに統合しています」 - R Tyler Croy, Scribd プラットフォーム・エンジニアリング・ディレクター俊敏性の向上と低コストを実現 TCOの削減オーバープロビジョニングを回避アイドル時間の短縮

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved Databricks SQLサーバーレス即時、弾力的、管理不要のコンピューティング • 即時かつ弾力的なSQLウェアハウスをすぐに利用可能 - ストレージと完全に分離 - Photonを活用 • 最高の価格/パフォーマンスを実現するインスタンスタイプと設定を自動適用（従来のクラウドDWHの最大12倍の価格/パフォーマンス） • 高い同時実行性、自動ロードバランシング • インテリジェントなワークロード管理、クラウドストレージからの読み取りの高速化 • 即時起動、可用性の向上、サーバーレスで総コストを平均40％削減 GA GA 近日公開

Slide 5

Slide 5 text

©2024 Databricks Inc. — All rights reserved Databricks SQL サーバーレスは即時、セキュア、管理不要のコンピューティング DBSQLサーバーレス ~3s 2021年11月現在 Coming Soon ~40–50s ~5s 初回クエリのパフォーマンス永続キャッシュ with DBSQLサーバーレス初回クエリのウォームアップを改善アイドル時間のコストを積極的に最適化

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved インテリジェントなワークロード管理 AIを活用してワークロード管理をシンプルに • サーバーレスの弾力性とAIシステム構築の長年の経験を組み合わせ、インテリジェントなワークロード管理を実現 • Databricks SQLはユーザーのワークロードの履歴から学習 • 新しいクエリに対して履歴を使用し、優先順位をつけてすぐに実行するか、実行中のクエリを中断せずに実行するためにスケールアップするかを決定混合ワークロードのクエリレイテンシー（秒）低い方が良い

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved 5:05 PM ラージクエリが実行中新しいスモールクエリが即座に実行中 Com ing Soon ファストレーンデュアルキュー：ラージクエリがスモールクエリをブロックするのを回避するエクスプレスキュースモールスタンダードキュー 5:00 PM ラージクエリが実行中ラージ実行中エクスプレスキューエクスプレスキュースタンダードキュー 5:05:10 PM ラージクエリが実行中ラージスモールクエリ完了！実行中スタンダードキューラージ実行中実行中スモール実行中短時間のクエリに最適なパフォーマンス

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved 予測I/Oによる読み取りの高速化インデックス不要の選択的クエリ SELECT * from events where user_id = 123 経済的高速簡単もし、データのコピーや高コストなインデックスを作る必要がなかったら？もし、システムがクエリに必要なデータを学習し、次に何が必要かを予測できるようになったら？もし、クエリが設定なしにただ単純に速かったら？

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved 予測I/Oによる読み取りの高速化パフォーマンスの手動チューニングをなくすためにMLを使用高コストなインデックス選択的クエリのパフォーマンス（秒）低い方が良い • 手動のチューニング（PARTITION BY、 CLUSTER BY）を行わずにデータの位置を特定 • 予測I/Oは、大規模なAI/MLシステム構築におけるDatabricksの長年の経験を活用し、レイクハウスをよりスマートなデータウェアハウスにする

Slide 10

Slide 10 text

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved New: マテリアライズドビュー事前に計算された結果でクエリをスピードアップ効率的な増分計算でエンドユーザーのクエリを高速化し、インフラコストを削減 • BIダッシュボードとETLクエリの高速化 • ストリーミング：ライブテーブル上にマテリアライズドビューを構築する • ELTのシンプル化：ベーステーブルのクリーニング、リッチ化、非正規化によりレポート作成をシンプル化 • データ共有とアクセス・コントロール：社内外のユーザーや組織が閲覧できる情報をコントロールする prod loc txn price sales i1 l1 tx1 11 i2 l2 tx2 24 i3 l3 tx3 7 store_info loc mgr city l1 Alice WA l2 Bob SF l3 Annie NY sales_report city total_rev SF 24 NY 7 Gated Preview

Slide 12

Slide 12 text

©2024 Databricks Inc. — All rights reserved New: Pythonユーザー定義関数 (UDF) 隔離された実行環境からPython UDFを実行する機械学習モデル、カスタムロジックを統合し、Databricks SQLにPythonの柔軟性をもたらす！ Private Preview CREATE FUNCTION redact(a STRING) RETURNS STRING LANGUAGE PYTHON AS $$ import json keys = ["email", "phone"] obj = json.loads(a) for k in obj: if k in keys: obj[k] = "REDACTED" return json.dumps(obj) $$;

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved New: 地理空間サポート地理空間処理を大幅に強化ニューヨーク市のライドシェアのピックアップ場所 Kepler.glを使用してDatabricksノートブックで可視化大小両方のサイズの空間データのための効率的なストレージ高速なSPATIAL JOINとビニングのサポート容易な視覚化、MLとの統合の容易さツールを切り替えることなく地理空間データの価値を最大化

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

©2024 Databricks Inc. — All rights reserved 非サーバーレスアーキテクチャーコントロールプレーンユーザー Databricksが管理ユーザーが利用するクラウドプロバイダー非サーバーレスコンピューティング (classic/pro) 専用のコンピュートユーザーのクラウドストレージデータ 16 ユーザー BIアプリ Delta Sharing 専用のコンピュート Databricks UI その他のサービス Databricks SQLはユーザーのクラウド環境でマネージドなデータウェアハウス環境を提供

Slide 17

Slide 17 text

Slide 18

Slide 18 text

©2024 Databricks Inc. — All rights reserved サーバーレスアーキテクチャーコントロールプレーンユーザー Databricksが管理ユーザーが利用するクラウドプロバイダー非サーバーレスコンピューティング (classic/pro) サーバーレスコンピューティング専用のコンピュート専用のコンピュート未割当のプールユーザーのクラウドストレージデータ 18 ユーザー Delta Sharing 専用のコンピュート Databricks UI その他のサービス顧客固有のリソースリソースへの即時のアクセス、 Databricksによるフルマネージド専用のコンピュート BIアプリ

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©2024 Databricks Inc. — All rights reserved 非サーバーレスコスト (Databricks DBU + クラウドVMコスト) ~10s サーバーレスコスト (Databricks DBUのみ) より高い性能アイドルコストの削減管理オーバーヘッドの削減サーバーレスは最もコスト効率が高い • より高い性能 • アイドルコストの削減 • 管理オーバーヘッドの削減 • 生産性これらがサーバーレスのコスト効率を向上コスト効率生産性

Slide 21

Slide 21 text

Slide 22

Slide 22 text

©2022 Databricks Inc. — All rights reserved FEATURE MATRIX CLASSIC セルフマネージド, 入門用のSKU PRO セルフマネージド, ユーザー環境のコンピューティング SERVERLESS フルマネージド, 弾力的, 最高の価値 GOOD BETTER BEST 探索的なSQL SQLエディタ（インテリジェントな自動コンプリート）、 ANSI SQL ✓ ✓ ✓ 管理とガバナンスクエリ履歴 & プロファイル, データエクスプローラー (Unity Catalog), マネージドDelta Sharing ✓ ✓ ✓ 接続性 SQL Rest API*, Python, Node.js, Go, Partner Connect ✓ ✓ ✓ 性能 Photonエンジン (MPP; 超並列処理) ✓ ✓ ✓ 予測I/O X ✓ ✓ SQL ETL/ELT クエリフェデレーション*, マテリアライズドビュー*, ワークフローへの統合* X ✓ ✓ データサイエンスとML Python UDFs*, ノートブック統合*, 地理空間 X ✓ ✓ サーバーレス即時, 弾力的, フルマネージドのコンピュート X X ✓ ハイコンカレンシー BI インテリジェントワークロード管理 X X ✓ サーバーレスクエリ結果キャッシュ X X ✓ * プレビュー機能

Slide 23

Slide 23 text

©2024 Databricks Inc. — All rights reserved Databricks SQLの価格 “BEST” $1.0/DBU （VM料金は不要）すべてのワークロードに最適, 最高の性能, フルマネージド, 弾力的, 最適な価格 SQL Serverless “GOOD” $0.22/DBU （+ 別途VM料金）セルフマネージド, 基本的なSQL ワークロード向け SQL Classic “BETTER” $0.78/DBU （+ 別途VM料金）セルフマネージド, より高い性能, 新しいワークロードをアンロック SQL Pro * AWS東京リージョン & Azure東日本リージョン 2024年4月10日時点