はじめてのDatabricks：技術者向けワークショップ / beginner-workshop

Databricksを初めて利用するデータエンジニア／データサイエンティスト向けのハンズオンワークショップです。基本的な画面構成や操作方法を学びながら、ノートブックの作成、コンピュートの起動、サンプルデータの読み書き、SQLやPythonを用いたデータ探索までを実践します。ワークショップ終了時には、参加者がDatabricks上で一連の基本操作を自分ひとりで行える状態を目指します。

Transcript

1. はじめての Databricks 技術者向けワークショップ 基本操作と、知っておくと使いやすくなる基礎概念 データブリックス・ジャパン株式会社
2. このワークショップについて 初めてのユーザーが、Databricks上での基本操作ができる状態を目指す 主な対象者 • これから初めて Databrickを使い始めるデータエンジニアや データサイエンティスト • Databricks のワークスペースを作成したばかりで、どこに何が あるのか基本的な機能、 UI操作を把握したい方 • PythonやSQLの基本的なコーディング、 Jupyter Notebookの 使用経験はあるが Databricks上での操作は初めて行う方 事前準備 • ワークスペース： お客様のDatabricksワークスペースを利用。 本ワークショップの参加者はワークスペースにログインでき、ク ラスターを作成可能な権限を持っていること。 • サンプルデータ： samples カタログ内にある Databricks提供 のサンプルデータを読み取って使用 • カタログ ：参加者全員がスキーマを作成でき、テーブルを読み 書きできるカタログを 1つ作成しておくこと ゴール 自分ひとりで「ノートブック作成 → コンピュート起動 → テーブル読み書き → データ探索」ができる状態
3. 全体アジェンダ（ 2時間 / 120分） 前半ではワークスペースUIやNotebook等の作業環境について、 後半ではカタログやOTFといったデータの扱い方についての説明が中心 • イントロダクション - Databricks 全体像 • ワークスペース UI ツアー • コンピュート & DBU の基礎 • ノートブック & ワークスペースファイル • Genie Code（AI アシスタント） • Unity Catalog & カタログエクスプローラー • テーブル（OTF）& Delta の実践 • まとめ & Q&A • Appendix : カスタムライブラリのインストール
4. イントロダクション - Databricks の全体像
5. 20,000+ グローバルのお客様 DATA+AI カンパニー $134B+ の企業価値 $5.4B+ YoY 65%+ 年間収益 レイクハウス の 発明者 生成AIの パイオニア クリエーター Data Management for Analytics GenAI Evaluation, 2025 Data Platforms, 2025 Unified AI Governance, 2025 Unified AI Platforms, 2025 5 5
6. Databricksの得意分野 データ エンジニアリング 機械学習 ペタバイト級 モデル開発〜提供 データ分析 SQL, BI 7
7. Databricksの得意分野 データ エンジニアリング 機械学習 ペタバイト級 モデル開発〜提供 データ分析 生成AI SQL, BI 活用／ シンプル化 活用〜カスタマイズ 8
8. Agent Bricks 本番品質AIエージェント AI/BI ビジネス インテリジェンス データウェアハウス 統合ガバナンス 安全なデータAIアプリ And more… Genie 企業コンテキストを持つ AI Lakehouse Custom Apps Lakebase マネージドデータベース Lakeflow 取り込み、ETL、ストリーミング Unity Catalog オープンフォーマット 9
9. Databricksの提供価値 オープン フォーマット 統合 ガバナンス 企業コンテキストを 持つAI データをオープンな標準形 式でクラウドストレージに 保存、相互運用と高信頼 性の分析 を実現 組織の全データと AIのア クセス権限 を一元管理し セキュアなデータ活用を実 現 組織のデータやメタデータ の意味を理解 するAIが、 検索・分析・開発を支援し て生産性と意思決定を向 上 10
10. Agent Bricks Production AI agents AI/BI Agentic business intelligence Data warehousing Secure data and AI apps And more… Genie 企業コンテキストを持つ AI Lakehouse Custom Apps Lakebase Serverless Postgres Lakeflow Ingest, ETL, streaming データをオープンな標準形式 でクラウドストレージに保存、相互 運用と高信頼性の分析 を実現 統合ガバナンス Unity Catalog オープンフォーマット 11
11. ストレージ クラウドストレージ、オープンテーブルフォーマット、Unity Catalogで構成 クラウドストレージ 実データ メタデータ ユーザーが管理するクラウド ストレージ を主なデータ格納先と して利用 大規模データ処理に最適化された オープンテーブルフォーマット (OTF) が標準データ形式 Unity Catalogがメタデータを統 合管理 Amazon S3 ADLS Gen2 Google Cloud Storage Delta Lake Apache Iceberg Delta Lake UniForm* * Iceberg & Hudiとの互換性を 持たせるDelta Lakeの機能 12
12. Agent Bricks Production AI agents AI/BI Agentic business intelligence Custom Apps Secure data and AI apps And more… Genie 企業コンテキストを持つ AI 組織の全データとAIのアクセス権限を一元管理 し Lakehouse Lakebase Lakeflow セキュアなデータ活用 を実現 Data warehousing 統合ガバナンス Serverless Postgres Ingest, ETL, streaming Unity Catalog オープンフォーマット 13
13. データ+AIの統合ガバナンス 従来のカタログ すべてのユースケース に対する統合機能 すべての資産 に対する 統合ガバナンス セキュリティ コラボ 品質 洞察 アクセス制御 発見 リネージ コスト制御 監査 セキュアな オープンデータ 共有 品質 モニタリング ビジネス セマンティクス テーブル AIモデル ファイル Delta Lake ノートブック ダッシュボード Parquet Iceberg 14
14. Agent Bricks Production AI agents AI/BI Agentic business intelligence Custom Apps Secure data and AI apps And more… Genie 企業コンテキストを持つ AI 組織のデータやメタデータの意味を理解する AIが、検索・分析・ Lakehouse Lakebase Lakeflow 開発を支援して生産性と意思決定を向上 Data warehousing 統合ガバナンス Serverless Postgres Ingest, ETL, streaming Unity Catalog オープンフォーマット 15
15. Genie Agent ビジネスの意思決定スピードと質を一気に引き上げる対話型AIアナリスト • 自然言語での セルフサービス 分析 • 組織のデータと セマンティクスを継続学 習 • 統合ガバナンスによる 安全な利用 16
16. Genie Code （メタ）データを熟知したコーディングエージェントによる開発生産性向上 • 言葉によるコード生成・編 集、テーブル探索、パイプラ インやダッシュボード作成 • Unity Catalogメタデータ、 コードのセル、ライブラリ、ラ ンタイムなど様々なコンテキ ストによる精度向上 17
17. Agent Bricks Production AI agents AI/BI Agentic business intelligence Custom Apps Secure data and AI apps データ分析・AI開発・リアルタイム処理まで、 データとAIに必要な機能を全部入りで搭載 企業コンテキストを持つ AI Lakehouse Data warehousing 統合ガバナンス Lakebase Serverless Postgres And more… Genie Lakeflow Ingest, ETL, streaming Unity Catalog オープンフォーマット 18
18. このワークショップで扱う要素 様々な機能がありますが、このワークショップではデータエンジニアや データサイエンティストといったテクニカルユーザーに向けて Databricks上の基本要素をご紹介 • ワークスペース UI： • あらゆる作業の入り口。ノートブックやダッシュボード等、様々な機能を操作。 • コンピュート ： • 書いたコードを実際に動かすエンジン • カタログ： • テーブルや扱う対象と、その管理（ガバナンス）の仕組み • AI アシスタント（ Genie Code）： • コード生成やデバッグで作業を加速
19. ワークスペース UI Databricks のほとんどの機能を操作できる、統合された作業環境
20. ワークスペース UI ― 4つの起点 入り口としてこの4つの起点を押さえておくと、迷子になりにくい ① 左サイドバー： ◦ ワークスペース / カタログ / コンピュー ト / SQL / ジョブなど、主要機能への入 り口 ②「+ 新規」メニュー： ◦ ノートブックなど新しいオブジェクトを作 る場所 ③ 上部の検索： ◦ 目的のオブジェクトへ素早くジャンプ ④ 右上のユーザー設定： ◦ ◦ 言語やアカウントなど個人設定 管理者の場合、ワークスペース全体に 関する管理者設定もここから。 ④ ① ② ③
21. ワークスペース UI ― フォルダ階層とアセット フォルダの役割と、フォルダに置かれる典型的なアセットの種類 • • ルート直下のデフォルトフォルダ： ◦ Users（各自の個人フォルダ・自分の作業はここ） ◦ Shared（全員アクセス可能・機密は置かない） ◦ Trash（削除物の一時保管・復元可能） 格納される主なアセット： ◦ • ノートブック / SQL クエリ / ダッシュボード / アラート / ジョブ・パイプライン定義 / ライブラリ / 任意のファイル （ワークスペースファイル） Git フォルダ： ◦ Git リポジトリを統合するビジュアル Git クライアント。 クローン・ブランチ・コミット・プル/プッシュを UI から実行 Notebookだけでなく、 様々な種類のアセットを ワークスペースのフォルダで管理
22. ワークスペース UI ― 検索 フィルタ構文で目的のオブジェクトに素早くたどり着けます。 • 上部バーから、フィルタ構文 type: / owner: / tag: で絞り込める • 完全一致で探したいときは引用符で囲む
23. ハンズオン：ワークスペース UI 最初のノートブックを作成し、保存場所を確認してみる 1. 左サイドバーの各項目（カタログ / コンピュート / ワークスペース）を一巡する 2. 「+ 新規」→「ノートブック」 で Users 配下の自分のホームに新規ノートブックを作成し命名（この後のセクショ ンでも使用します） 3. 作成したノートブックをお気に入り登録し、Recents に出ることを確認 4. 検索で type:notebook owner:me を実行し、自分のノートブックを探す
24. ワークスペース UI ― 追加のTips • 個人作業は必ず Users 配下の自分のホームで。 Shared 配下は全員アクセス可能な ので、機密や個人の作業途中のファイル等は置かない • 削除してもすぐには消えず Trash に入る。 誤って消しても復元できる（管理者は trashed:true で復元） • 同じフォルダ内では名前の一意性が必要。 拡張子を除いたベース名の衝突は不可（例 ：test.py と test）
25. コンピュートと DBU コードやSQLクエリを実行するためのマシンリソース
26. コンピュートの全体像 ― 2つの軸 用途別のコンピュートの種類 x Serverless / Classic コンピュートは「ノートブックやジョブ、 SQL を実際に動かすエンジン 」。 ノートブックは、コンピュートをアタッチして初めて実行できる。 • 軸① 機能に応じた種類 ： ◦ Interactive（Notebook）/ Jobs Compute / SQL Warehouse / Lakeflow Pipelines / Model Serving / Apps / Vector Search など • 軸② Serverless か Classic か： ◦ Serverless（Databricks 管理・自動・速い） ◦ Classic（自分で構成・管理）。 ▪ 機能によっては Serverless のみ（Model Serving / Apps / Vector Search / Lakebase など）で提供されている機能もある まず用途で種類を選び、その中で Serverless か Classic かを選ぶ
27. 本日扱う主要コンピュート 3種類それぞれに Serverless と Classic がある 用途 Serverless (Databricks 管理・自動・速い ) Classic (自分で構成・管理 ) Notebook 上での対話実行 Notebook Serverless （自動選択・全員利用可） 汎用（All-Purpose）Classic スケジュールジョブの実行 Jobs Serverless Jobs Classic SQLクエリのみの実行 SQL Warehouse Serverless SQL Warehouse Pro / Classic
28. 設定・選択できる範囲が異なる Notebook用のClassicとServerlessを比較した例 設定項目 Classic Serverless Runtime バージョン 自分で選択 自動管理（バージョンレス） ノード / スペック 選択可 （インスタンス・Photon 等） Databricks が自動割当 スケーリング 手動 （min/max ワーカー数） 自動スケール 起動時間 数分 高速 管理の手間 自分で構成・管理 ほぼ不要 • SQL Warehouse は Serverless でも「サイズ」と「クラスター数」は自分で指定する点が異なる • 共通して言えるのは、Classic は細かく制御できる／Serverless は Databricks に任せて速く始められる
29. コンピュート選択の指針 基本的にはまずサーバーレスから始めることを推奨 • サーバーレスは起動が速く、自動でスケールし、コストを抑えやすく、管理も不要 • サーバーレスで満たせない要件のときだけ Classic を検討 ◦ RDD API・R、カスタムネットワーク、JAR / Spark Submit、非対応の機能・リージョン など • ワークロード別の選択 ◦ 対話ノートブック → Serverless ◦ スケジュールジョブの実行 → Jobs Serverless（次に Jobs Classic。汎用クラシックは避 ける） ◦ SQL・BI → SQL Warehouse Serverless
30. DBU の基本概念 料金は「単価 × 消費量」で決まる • DBU（Databricks Unit）は Databricks の課金単位で、処理能力の消費量を表す。従量課金 （秒単位・初期費用なし） • 消費量 =「コンピュートのサイズ（ノード数 × 種別）× 稼働時間」 。大きく長く動かすほど多く消 費 • 単価は SKU（製品 × コンピュート種類）ごとに異なり 、プラン・クラウド・リージョンで変わる • Classicの費用は二層構造： ◦ Classic = DBU 料金 + クラウド VM/ディスク/ネットワーク費用 ◦ Serverless = DBU に VM 費用が内包 • アイドル中も停止するまで課金が発生 ◦ 自動終了 / Auto Stop の設定を推奨
31. 機能別 DBU 単価の見方（公式料金ページ） プラン、クラウド、リージョンを選択して機能別のCBU単価を確認 例1 : Notebook用 Classic / ServerlessのDBU単価 例2 : SQL Warehouse Classic Pro / ServerlessのDBU単価 https://www.databricks.com/jp/product/pricing
32. ハンズオン：コンピュート & DBU (1/2) Notebook用のServerless と Classic のコンピュート作成、違いを体験する 1. ノートブックに Notebook Serverless をアタッチし、spark.range(10).display() を実行 使用するコンピュートとして、「 Serverless」を 選択するだけ。それ以外の設定は不要。
33. ハンズオン：コンピュート & DBU (2/2) Notebook用のServerless と Classic のコンピュート作成、違いを体験する 1. ここでは例として、汎用 Classic Computeを以下の設定で作成 してみる。 a. コンピュート名に自身で分かりやすい名前を設定 b. 「機械学習」をチェック c. Databricks Runtime で 18 LTS を選択 d. 「Photon」のチェックは外す e. インスタンスタイプ はデフォルトのまま f. シングルノードをチェック g. 自動停止 60分 2. 作成画面の右側で、消費する DBU数を確認。 3. 起動完了後、最初のハンズオンで作成した自身のノートブックに このクラスターをアタッチして実行してみる コンピュート名の設定 機械学習用のランタイムと そのバージョンを選択 インスタンスタイプと ノード数に関する設定 自動停止設定 消費する DBU数を確認
34. コンピュート & DBU ― 追加のTips 管理者はポリシーとタグを最初に整えておくのがおすすめ • 停止忘れは無駄なコストのもと。自動終了 / Auto Stop を推奨。 • 本番の自動ジョブに汎用クラシックを使うと割高。Notebook上での対話実行は汎用 （Interactive）、ジョブは Jobs Compute で使い分ける。 • 基盤管理者向け補足 ◦ Classicでは、コンピュートポリシーでクラスターのスペック、設定を制限可能 ◦ タグ付けはコスト管理の要 ◦ 予算アラートで月次予算の超過を検知
35. Databricks Notebook Databricks Notebookは、リアルタイム共同編集・自動バージョン管理・ 組み込みのデータ可視化を備えた統合開発環境
36. Databricks Notebook ならではの便利な機能 データがあるのと同じ場所で使え、チームやAIとのコラボレーションを加速 • • • • • • 多言語対応 & セル単位で切り替え ◦ %python / %sql / %scala / %r 等をセル先頭に置いて言語を切り替え リッチな結果テーブル ◦ ソート・フィルタ・検索・列コピー ◦ 「+」からコードなしでグラフ可視化、CSV ダウンロードも可 マジックコマンド ◦ %md / %run（別ノートブック実行）/ %pip / %sh（ドライバのみ）/ %fs 変数エクスプローラ ◦ DataFrame や変数の中身・型をコードなしで確認 共同編集 & @ メンションコメント バージョン履歴 ◦ 差分表示・復元が可能（Git 連携も可） • そのままジョブ化 • Genie Code 連携 (Genie Codeについては後述 )
37. Notebook保存場所とワークスペースファイル 作成したNotebookはどこにあるのか？ • 作成したノートブックはワークスペース内のフォルダ （Users 配下の自分のホームなど）に保存さ れ、サイドバーからたどれる • ノートブック以外のファイル（ .py / .txt / .yaml / .csv / .whl など）も ワークスペースファイルと して置ける（上限 500MB） • 同じフォルダのファイルは相対パス（例 ./data/sample.csv）で読め、隣接する .py を import して再利用できる • 大きなデータはワークスペースファイルではなくボリューム /クラウドストレージに置く
38. ハンズオン：ノートブック コードを書かずにグラフが作れる点を、その手で体感してください。 • • Python セルでサンプルデータを DataFrame として読み込み display() で表示 ◦ df = spark.read.table("samples.bakehouse.sales_transactions") ◦ display(df) 結果テーブルでソート・フィルタし、「+」から棒グラフの可視化を作成 ◦ 次ページの設定例を参照 • %sql セルに切り替えて同じデータに SQL クエリ • 変数エクスプローラ で中身を確認し、目次が見出しから生成されることを確認 • バージョンに説明を付けて保存し、バージョン履歴 の差分表示を見る
39. Genie Code Databricks ワークスペースに組み込まれた AI コーディング / データアシスタント
40. Genie Code とは Your autonomous AI partner for data work データを深く理解 データワークのために設計 データサイエンス、エンジニアリング、機 械学習、BIに精通 Unity Catalogのメタデータ、セマンティ クス、ガバナンスに基づく ワークフローを健全に保つ 本番環境におけるデータやAIを積極的 に監視・保守 41
41. Genie Code とは 開いている画面、使用している機能に適応し、多段階タスクを自律的に処理 データの 探索と分析 データパイプラ インの作成 Databricks上での あらゆる作業を AIが支援 MLモデルの 開発と評価 ダッシュボード の作成
42. Genie Code エージェントモード Databricks の機能やベストプラクティス + 自社のデータを理解した AIエージェントがあらゆる実装作業を自動化 • 単発の質問応答だけでなく、複数ステップの作業を自動でこなすエージェントモード • 1つのプロンプトから、計画 → アセット取得 → コード実行 → 結果を見て改善 → エラー自動修正 ま でを自動オーケストレーション • 自動実行は承認ゲートで安全にコントロール： ◦ 毎回確認（既定）／現在のスレッドで許可／常に許可／自動承認（AI がリスク操作をブロック・ 推奨） • Databricks 上の幅広い業務を自動化できる ◦ 機械学習モデルの開発、ETLやパイプライン開発、ダッシュボードの作成、AIエージェントアプリ の開発、ノートブックやSQLエディタでのデータ探索、その他
43. Genie Code のより強力な機能 いつも適用した自社のルールやベストプラクティス、データやツールにつなぐ • カスタム指示 ◦ • エージェントスキル ◦ • ドメイン知識や手順をパッケージ化し自動ロード（Workspace/.assistant/skills/<名前>/SKILL.md）。 一貫した出力を再現 MCP サーバー接続 ◦ • 規約・役割・前提を常に効かせる。個人用は .assistant_instructions.md、全体用は管理者が設定、 AGENTS.md / CLAUDE.md は自動検出。毎回の前置きが不要に Google Drive / SharePoint / GitHub / Glean / Atlassian / Slack、Unity Catalog Functions、AI Search、Genie Agent、外部/カスタム MCP を接続 全画面表示 ◦ 複数スレッドを並行実行できるコマンドセンター
44. ハンズオン： Genie Code カスタム指示を設定 Genie Codeの挙動はカスタム指示で事前に調整しておく Genie Codeの「カスタマイズ」メニューを開き、指示ファイルに下記の指示を貼り付ける あなたは日本人のDatabricksの専門家です。 質問に対して簡潔かつ正確な日本語で回答します。 可視化には必ずplotlyを使用してください。matplotlibおよびseabornは使用しないでください。 この内容をカスタム指示として貼り付け
45. ハンズオン：承認ゲートの設定 「自動承認」に設定して、承認操作の手間をを最小限にする このデモでは、 Genie Codeへの作業の承認操作を最小限にするため「自動承認」に設定
46. ハンズオン：全画面モード 一般的なAIコーディングツールのUIに近い体験になる このデモでは、 Genie Codeの思考プロセスや動作を見やすくするため全画面モードに切り替え 右サイドペインでの利用 vs 全画面モードでの利用 では、概ね以下のように使い分けると作業がしやすいことが多い。 • 既存のアセット (ノートブック等) をGenie Codeで編集させたい場合： ◦ • そのアセットを開いた状態で右サイドペインでGenie Codeを使用 アセットを新規作成するような新しいタスクを依頼する場合、過去のチャット履歴を探したい場合： ◦ 全画面モードでGenie Codeを使用
47. ハンズオン： Genie Code 基本 データサイエンスのEDA、モデルの学習〜評価 以下の2つのプロンプトを Genie Codeに与えて、動作を観察してみよう プロンプト例： samples.bakehouse スキーマの3つのテーブル sales_transactions、sales_customers、sales_franchises を使って、以下の データパイプラインのノートブックを作ってください。 - transactions に customers と franchises を JOIN してフランチャイズ別・月別の売上サマリーテーブルを作成 - 書き込み先: {{TARGET_SCHEMA}} - PySpark で記述 計画から評価まで、複数ステップが自動で実行される様子を体験
48. Genie Code ― 追加のTips 実行前の内容確認が大事 • 生成されたコードは必ず内容を確認してから実行する • 自動実行は承認レベルの設定や「コードは実行しないで」の明示でコントロール • 高度な機能（エージェントモード・MCP コネクタ・フルページ）は管理者側での有効化が前提 • カスタム指示やスキルを編集したら、新しいスレッドで反映される
49. Unity Catalog Databricks ワークスペースに組み込まれた AI コーディング / データアシスタント
50. Unity Catalog とは？ Databricks は Unity Catalog で全てのユースケース、アセットを統合 他のデータ基盤 と の連携 データ & AI の 全てのガバナンス業務 に対応 全てのアセット の統合ガバナンス ディスカバリー ビジネスセマンティクス リネージ コスト管理 安全&オープンな データ共有 AIガバナンス 品質モニタリング 従来のデータカタログ アクセス制御 テーブル ファイル ドキュメント MCP MLモデル エージェント And more… 50… Unity Catalog 統合ガバナンス オープンフォーマット Postgres
51. カタログエクスプローラ：データ探索の窓口 次のハンズオンで、1つのテーブルをタブ切替で眺めてみます。 • サイドバーの「カタログ」から、カタログ → スキーマ → テーブル のようにしてオブジェクトを操作 • 1つのオブジェクトについて、複数のタブで多面的な情報を一元的に確認できる
52. カタログ、スキーマ - Catalog, Schema カタログ、スキーマ • カタログは複数のスキーマを まとめる • 配下のオブジェクトを3階層の 名前空間で管理 CREATE CATALOG IF NOT EXISTS my_catalog MANAGED LOCATION 's3://us-east-1/location/sub/path' 53
53. データソース横断の管理された名前空間 Unity Catalog 共有カタログ 共有スキーマ 共有テーブル hive_metastore (レガシー) 外部 カタログ カタログ 1 (データベース) default 外部 スキーマ スキーマ 1 customers (テーブル) 外部 テーブル SELECT * FROM main.paul.red_wine; External マネージド /外部 Table ボリューム モデル/ 関数 ビュー マネージド /外部 テーブル -- <catalog>.<database>.<table> SELECT * FROM snowflake_warehouse.some_schema.some_table;
54. テーブル - Table テーブル • 表形式データ • マネージドテーブル 、外部 テーブル が存在 CREATE TABLE IF NOT EXISTS my_table (id INT, name STRING, age INT) COMMENT 'this is a comment' TBLPROPERTIES ('foo'='bar'); 55
55. Unity Catalogボリュームの活用 Unity Catalogガバナンスによるファイルへのアクセス、保存、整理、処理 クラウドストレージ (S3, ADLS, GCS) • マネージドまたは外部ロケーションに作成され、リネージに表示される • 表形式でないデータセットに対するガバナンスを適用する ◦ 機械学習に使用される非構造化データ（画像、音声、動画、PDFファイル） ◦ 機械学習モデルのトレーニングに使用される、半構造化されたトレーニング、検証、 テストデータセット ◦ アドホックまたは初期段階のデータ探索、または保存された出力に使用される生 データファイル ◦ ワークスペース間で使用されるライブラリまたは設定ファイル ◦ ロギングやチェックポイント出力ファイルなどの運用データ マネージド / 外部 ロケーション ボリューム ボリューム Data データ テーブル 56
56. ハンズオン： Unity Catalog (1/2) あるテーブルについて、カタログエクスプローラーを見ると何が分かる？ カタログエクスプローラーからテーブル「samples.bakehouse.sales_transactions」を探して、テーブル に関する以下のような情報を確認してみよう • • • • • • • 概要 / サンプルデータ： • データの中身をプレビュー 列（スキーマ）： • 列名・型・コメント、タグ等。 詳細： • プロパティ・格納場所などメタデータを確認 権限： • 誰にどの種類の権限を付与するか 依存関係 / リネージ： • 上流・下流のつながりを見る 品質： • データ品質をダッシュボードでモニタリング 洞察： • よく使われているクエリ・ユーザーを見る
57. ハンズオン： Unity Catalog (2/2) スキーマを作成してみよう 1. カタログエクスプローラから、本ワークショップ用に準備されてい るカタログ (※)の画面を開き、右上の「スキーマを作成」を押す 2. 自身のものと分かるような任意のスキーマ名を入力し、「作成」を 押す（それ以外の項目はここでは入力不要） ※ 管理者が本ワークショップ用に予め作成しているカタログの名前を確認 してください。 (スクリーンショットのカタログ名とは異なります )
58. Open Table Format (OTF) Databricks ワークスペースに組み込まれた AI コーディング / データアシスタント
59. OTFの特徴 データレイク上のデータにDWH級の信頼性を加えるオープンな技術 OTFの概観 OTFの4つの特徴 Delta Lake Apache Iceberg メタデータ 同時実行制御などのトラン ザクション可能な真実のソー スとして使用 データ 主にParquetを使用 (Icebergは他形式にも対応) 特徴 内容 ACIDトランザ クション 複数の書き込みを 安全に同時実行 メタデータ メタデータ タイム トラベル 任意時点のデータに遡れる Parquet Parquet スキーマ管理 データを書き換えずに列の追 加・変更が可能 オープン Parquetなどオープンなファ イ ル形式ベース ベンダー非依存 ※ ORC, Avro等も対応 ストレージ メタデータとデータは ユーザーのクラウド ストレージに保存 👉 DeltaはParquetベース、IcebergもParquetが主流。違いはメタデータの管理方式
60. DatabricksとOTFの歴史 2024年 (参考) BigQuery tables for Apache Icebergのプレ ビュー発表 (Source) 2013年 Apache Parquet公開 (Twitter, Cloudera) 2024年 Tabular買収 (Icebergの創始者が Databricksに合流) Databricksは長年にわたりオープンフォーマットを活用 2018年 Apache Iceberg公開 (Netflix) 2014年 Apache Spark 1.0公開 (Databricks創業者ら) 👉 OTFの基盤技術が Parquet。Databricksの コアエンジンである Sparkは1.0公開当初から Parquetを第一級機能としてサポート 2019年 Apache HudiがApache Incubatorに加入 (Uber) 2019年 Delta Lake公開 (Databricks) 👉 Delta LakeがDatabricksの標準 フォーマットの一つに 2022年 (参考) Snowflake Summit 2022で Icebergテーブルの プレビュー発表 (Source) 👉 Delta LakeとIcebergのフォー マット統合が加速
61. 広がるOTFエコシステム クラウド、エンジン、ISVが続々とOTFに対応 AWS Glue Amazon EMR Amazon Redshift Microsoft Fabric Apache Flink Google BigQuery Databend Apache Impala Tinybird
62. Unity Catalog - OTFに最適なカタログ FOREIGN CATALOGS ENGINES Databricks EMR Fabric Flink Big Query Snowflake Glue HMS Snowflake BigQuery Salesforce Collaboration Quality Management Access Control Discovery Lineage Cost Controls Auditing Secure Data Sharing Quality Monitoring Business Semantics AI Models Iceberg REST Federation Security Tables Delta, Icebergともに自動で 高度な最適化を適用 Trino Unity REST & Iceberg REST 外部からのメタデータ アクセスに追加コストなし 2024年に OSS実装を公開 Spark 多数の外部カタログとの 相互運用性 Files Notebooks Dashboards CSV, JSON, AVRO
63. OTFネイティブだから出来ること OTFを前提にした最適化と、オープンなエコシステムの両立 Delta Lake & Iceberg上の最適化の例 オープンなエコシステム リキッドクラスタリング 削除ベクトル Liquid Clustering Deletion Vectors 最大 7倍 読取速度 2-12倍 書込速度 データの物理配置を自動で最適化、常に高速なクエ リを実現。書込時に増分でデータを整理、処理時間と コストを大幅削減。キーの自動選定、後からの変更に も対応。 削除性能 🌟 2倍以上 OSS Databricksの創業者が開発したOSSの並列分散処理エンジン。 ビッグデータ処理のデファクトスタンダード。 Delta Lake Linux Foundation テーブルフォーマット自体がOSS。特定ベンダーに依存しない。 行レベルの削除をメタデータで管理。 データファイルの書換なしで I/Oを最小化。 少量行の削除ほど効果が大きい。 Apache Iceberg Tabular買収 2024年 Icebergの創始者がDatabricksに合流。Delta + Icebergの 両方をネイティブサポート。 Unity Catalog OSS 2024年6月 OSSのデータカタログ。Unity Rest API (Delta用)、 Iceberg REST Catalog APIの両方に対応。 予測I/O 予測最適化 Predictive I/O Predictive Optimization MERGE性能 最大 10倍 データの分布を学習し、必要なブロックのみを 賢く読み書きし、無駄な I/Oを大幅に削減。 UPDATE/DELETE/MEGERに高い効果。 性能向上 ⇄ DeltaテーブルをIcebergクライアント (Snowflake, Trino等) から そのまま読取可能。 オープンなデータ共有 Delta Sharing 平均22% OPTIMIZE/VACUUM/ANALYZEを自動実行。 テーブルの健全性を維持し、クエリ性能を継続的に最 適化。運用負荷を劇的に削減。 Icebergクライアント互換 Iceberg Reads Linux Foundation管理のオープンプロトコル。受信側に Databricks不要。4,000社以上が採用。 🔍 外部データ統合クエリ Lakehouse Federation Snowflake / BigQuery等の外部データにUnity Catalog経由で 直接クエリ。
64. ハンズオン：テーブル & Delta テーブルを作成してトランザクションを実行し、タイムトラベルで遡る 最初に作成したノートブックを再度開いて、セルで以下のコードを実行してみよう ① テーブル作成（マネージドテーブル・ 3階層フル修飾名） CREATE TABLE <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo (id INT, item STRING, qty INT, price DECIMAL(10,2)); ② ACIDトランザクションを複数回（都度 SELECT で確認）※ 以下は単一のセルで実施 INSERT INTO <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo VALUES (1,'apple',10,120),(2,'banana',5,80),(3,'cherry',20,300); UPDATE <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo SET qty=15 WHERE id=1; DELETE FROM <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo WHERE id=2; SELECT * FROM <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo; ③ タイムトラベル（履歴 → 過去バージョン参照 → 誤削除の復元） ※ 以下はそれぞれ別のセル で実施 DESCRIBE HISTORY <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo; SELECT * FROM <ワークショップ用カタログ名 >.<自身で作成したスキーマ名 >.sales_demo VERSION AS OF 1;
65. テーブル & Delta ― 追加のTips • Unity Catalogでは、3階層フル修飾名 を忘れない • DROP TABLE 時の動作： ◦ マネージドはファイルも消える ◦ 外部はメタデータのみ削除でファイルは残る • タイムトラベルの保持期間には上限がある ◦ デフォルト目安7日 • Iceberg で作りたいときは USING iceberg を明示 ◦ 指定しない場合は Delta Lake が自動的に使用される • Predictive Optimization は AI が必要と判断したときに自動実行される
66. まとめ • 本日やったこと ◦ ワークスペース / コンピュート / データ / AI アシスタント の基本を一通り体験 • 今日から実践できること： ◦ ノートブック作成 → サーバーレスをアタッチ → テーブル読み書き → Genie Code で実装 → カタログエクスプローラーで確認 • 次のステップ： ◦ ジョブ（スケジュール実行）/ ダッシュボード / Lakeflow / MLflow など、役割 とやりたいことに合わせて学習範囲を広げる