クラスターのアクセスモードについて

クラスターのアクセスモードについて Databricks Japan Mar 2024 1

Unity Catalog(UC)クラスター 2 これは何？なぜ気にする必要が？ UCクラスター = UCでデータにアクセス可能要件: 1. UCがワークスペースで有効化
2. ‘Shared’ あるいは ‘Single User’ アクセスモードのクラスター 3. レガシーの機能を選択していない (クレデンシャルパススルーなど) この他のクラスターはUCのデータにアクセスできません

UCクラスター 3 アクセスモードが重要です: SharedとSingle-userの違いクライアント分離 Spark Driver Spark Executors
Spark Connect Spark Driver Spark Executors Client App - マルチユーザーを保護: ユーザーコードを完全に分離 - 完全なUCのガバナンス - 宣言型のデータアクセス(Spark ConnectをベースとしたDataFrame API) - 使用しているマシンへの権限アクセスを持つシングルユーザー - きめ細かいアクセスコントロールなし (現時点) - 完全かつ制限なしのSpark API Shared アクセスモード Single-user アクセスモード

“ユーザー分離”とは？すべてのユーザーコード(Python, Scala)はクライアント、ドライバ、エグゼキュータで常に完全に分離されて実行します -> 他のユーザーのデータ、背後のハードウェアなどへのアクセス不可 -> 計算資源をセキュアにユーザー間で共有 Client REPL
Local, Scala/Python Code (non-Spark) Spark Driver Spark Executors UDFs Spark Connect DataFrame API クライアント分離 Driver分離 Executor分離

UCコンピュート 5 完全なユーザー分離の Shared アクセスモードユーザー分離のない Single-user アクセスモード Sparkアーキテクチャが違います！クライアント
分離 Spark Driver Spark Executors Spark Connect Spark Driver Spark Executors Client App

共有クラスターの新機能 6

クラスターセットアップ (DBR 13.3 LTS+) • Pythonクラスターライブラリ、jar、 initスクリプトのインストール • UCボリューム、クラウドストレージやワークスペースファイル(Pythonクラスターライブラリ
のみ)からインストール • API、UI、クラスターポリシー経由 • jar & initスクリプトに対する許可リスト • 許可するパスの管理 • メタストア管理者による管理(デフォルト) • MANAGE_ALLOWLISTを用いてカスタマイズ

UDF: PySpark UDF (DBR 13.2+) PySpark UDFとは？ • ノートブック/PySparkコードに埋め込み
• セッションスコープ • PythonやPandasで記述共有クラスターでのPySpark UDF: • Scalar Python と Pandas • UC ボリューム & FUSE • UDAF & applyInPandas は間も無く提供 (Q1 ‘24, DBR 14.3+) Spark Executor 分離を活用

UDF: Python UDF in Unity Catalog UC Python UDFとは何か？ •
完全に新しいコンセプト / API • UCでカタログ、管理 • ベストなPF UDF体験使用方法: • UCシングル、共有クラスター、DLT、 DBSQLから作成/呼び出し (DBR 13.2+): CREATE FUNCTION my_fun(...) LANGUAGE PYTHON AS $$ # Python code goes here $$ df.withColumn(expr("jakob.main.my_udf")) Spark Executor 分離を活用

Scala & Scala UDF (DBR 14.3 LTS+) これは何？ • 共有クラスターでPython
& SQLと Scalaワークロードを実行 • Scalar Scala UDF (DBR 14.3+) (ユーザー分離を持つ)完全なUCガバナンス • Spark Connectを用いたScala REPL/JVM分離 • 共有Sparkエンジン今後: • foreach/foreachBatch (Q2 FY24+) クライアントREPL 分離を活用 Spark Executor 分離を活用

シングルユーザークラスターの新機能 1

お客様からはどのような声が？ GPUを使ったMLワークロードを実行して分散トレーニングしたい！ RDDベースのライブラリを使っています (例 Sedona) シングルユーザーを使用
あるいは Dataframe APIや UDFをベースにしたワークアラウンドを検討ユーザーのそれぞれにシングルユーザークラスターは提供できません！高すぎるし管理できません。これらのワークロードでシングルユーザークラスターを使用話しましょう

SUクラスターがグループで共有できるとしたら？クラスター作成UI Current Target

グループ割り当てシングルユーザークラスター - 1つのグループにクラスターを割り当て - クラスターを利用している全員が同じデータ権限を持ち、割り当てられているグループに「ダウンスコープ」 - シングルユーザーアクセスモードを
使用 - ML、GPU、RDDなどを実行可能 - 馴染みのあるクラスター作成 & 共有クラスターと同じUX - パブリックプレビューでは名称変更開発中

クラスター作成のUXをシンプルにクラスター作成でガイドされるデフォルト値: MLRを実行？ ⇉ Assigned to Group クラスター MLRは不要？
⇉ Shared クラスター

推奨事項 1

推奨事項 (1) 共有クラスターがデフォルトのコンピュートです (2) 共有クラスターが現在使えないのであれば、一時的な対策としてシングルユーザークラスターを使います (3) 同じアクセスモードを用いて開発 & デプロイ
管理されたレイクハウスでセキュアに作業

クラスターのアクセスモードについて

クラスターのアクセスモードについて

Databricks Japan

More Decks by Databricks Japan

Other Decks in Technology

Featured

Transcript