©2024 Databricks Inc. — All rights reserved
Databricks
コントロールプレーン
Databricksのファイルシステム
50
リファレンス
ターゲット
ファイルシステム
凡例
%run /Users//step_1
オペレーショナル DB
個々の
ノートブック
Databricksノートブック(%run)
/Shared
/Users
/Users//orders
DevOps, GitHub, ...
Driver & worker (POSIXファイルシステム)
/
ワークスペースファイルシステム
フォルダ
/Workspace/Repos/
/Workspace/Repos//
%sh ls /Workspace/Repos/$username/
%sh cat /Workspace/Repos/$username/n.py
from loc_lib import method # loc_lib in repo
config = open(“c.yml”).read()
config = open(
“/Workspace/Repos/$username/$path/c.yml”
).read()
dbutils.fs.ls("file:/Workspace/Repos//")
spark.read.csv(f"file:{os.getcwd()}/data/d.csv")
%sh cat /dbfs/FileStore/data.csv
dbutils.fs.ls("dbfs:/FileStore/…”)
dbutils.fs.ls("/databricks-data/…”)
spark.read.csv("dbfs:/FileStore/d.csv”)
dbfs
ルートコンテナ / バ
ケット
/
/FileStore
/databricks-data
/dbfs
/dbfs/FileStore
/
%sh cat /dbfs/mnt/data/bucket/data.csv
dbutils.fs.ls(“dbfs:/mnt/data/sales-data/…”)
dbutils.fs.ls(“/mnt/data/sales-data/…”)
dbutils.fs.ls("abfss://… /mktg-data/…”)
dbutils.fs.ls("s3a://… /mktg-data/…”)
dbutils.fs.ls("gs://… /mktg-data/…”)
spark.read.csv("/mnt/data/mktg-data/… /d.csv”)
spark.read.csv("abfss://… /mktg-data/… /d.csv”)
コンテナ / バケット
/sales-data
/mktg-data
/mnt
/mnt/data
dbutils.fs.ls("dbfs:/Volumes////
”)
dbutils.fs.ls("/Volumes////
”)
%sh ls /Volumes////
%sql LIST ‘/Volumes////
’
spark.read.csv(‘/Volumes////’)
/Volumes////
Unity Catalog Volumes
Metastore
catalog
schema
volume
コンテナ / バケット
/images
= catalog
= schema
= volume
= path
/Volumes////