ハンズオンで学ぶ Databricks - Databricksにおけるデータエンジニアリング

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) シニアスペシャリストソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサル、総合電機メーカーにてデータ分析・Webサービス構築などに従事。インド赴任経験あり。 ▪ Databricks Certiﬁed (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved Apache Spark徹底入門発売中！ Learning Spark 2nd Editionの翻訳 + αの内容となっています！本書は、ビッグデータを主な対象としたデータ分析フレームワークであるApache Spark、MLﬂow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データAIの実装者が Apache Spark、MLﬂow、および Delta Lakeを使いこなすための解説を行います。

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved 1. 座学(1時間) a. Databricks概要 b. データエンジニアリングとは c. ETL処理 d. メダリオンアーキテクチャ e. Delta Live Tables f. オーケストレーション 2. ハンズオン(1.5時間) a. Databricksにおけるデータエンジニアリング b. Delta Live Tables

Slide 5

Slide 5 text

データ+AIカンパニークリエーター 10,000+ グローバルのお客様 $2.4B+ 年間収益 4B+ の投資レイクハウスの発明者生成AIのパイオニア LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning Analytic Stream Processing

Slide 6

Slide 6 text

ディザスターリカバリコストコントロールエンタープライズセキュリティ 100% サーバレスレイクハウス AI/BI ビジネスインテリジェンス Databricks SQL データウェアハウス Workﬂows/DLT 取り込み、ETL ストリーミング Mosaic AI 人工知能 Databricksデータインテリジェンスプラットフォーム

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2025 Databricks Inc. — All rights reserved データエンジニアリングとは分析などでデータを活用できるようにするための営みですデータエンジニアリングとは、様々なソースやフォーマットで提供される生のデータを収集、分析できるようにするシステムの設計、構築に関するプロセスを意味します。このようなシステムによって、ユーザーはビジネスの成長につながる実践的なデータアプリケーションを作り出すことが可能となります。 9 What Is Data Engineering?

Slide 10

Slide 10 text

©2025 Databricks Inc. — All rights reserved データエンジニアリングとはなぜ、データエンジニアリングが重要なのでしょうか？企業の規模に関係なく、すべての企業が重要なビジネス上の質問に回答するために調査する必要がある膨大な量の様々なデータを所有しています。データエンジニアリングは、アナリスト、データサイエンティスト、エグゼクティブのようなデータ利用者がすべてのデータを信頼しながら、クイックかつセキュアに調査できるようにするためのプロセスをサポートすることを目的としています。データが様々テクノロジーによって管理され、多様な構造で格納されているため、データアナリストは課題に直面にしています。さらに、分析で使用するツールはデータが同じテクノロジーで管理され、同じ構造で格納されていることを前提としています。 10 What Is Data Engineering?

Slide 11

Slide 11 text

©2025 Databricks Inc. — All rights reserved データエンジニアリングとはデータエンジニアは何をするのでしょうか？データエンジニアリングは、需要の高まっているスキルです。データエンジニアは、データを統合し、あなたたちがナビゲートする助けとなるシステムを設計する人たちです。データエンジニアは以下を含む様々なタスクを実行します: • 取得：ビジネスに関連するすべての様々なデータセットを特定します • クレンジング：データにおけるすべてのエラーを特定し、綺麗にします • 変換：すべてのデータに共通的なフォーマットを与えます • 曖昧性の除去：複数の方法で解釈し得るデータを解釈します • 重複排除：データの重複したコピーを排除しますこれらが完了すると、データレイクやデータレイクハウスのような中央リポジトリにデータを格納することができます。また、データエンジニアはデータのサブセットをデータウェアハウスにコピー、移動することができます。 11 What Is Data Engineering?

Slide 12

Slide 12 text

©2025 Databricks Inc. — All rights reserved データエンジニアリングとはデータエンジニアリングのツールとスキルデータエンジニアは以下を含む様々なツールとテクノロジーを扱います: • ETLツール: ETL(抽出、変換、ロード)ツールはシステム間でデータを移動します。データにアクセスし、分析により適した形にするためにデータを変換します。 • SQL: 構造化クエリー言語(SQL)はリレーショナルデータベースへのクエリーにおける標準言語です。 • Python: Pythonは汎用プログラミング言語です。データエンジニアはETLタスクでPythonを使うことがあります。 • クラウドデータストレージ : Amazon S3、Azure Data Lake Storage(ADLS)、Google Cloud Storageなど • クエリーエンジン : 回答を得るためにデータに対してクエリーを実行するエンジン。データエンジニアは、Dremio Sonar、Spark、Flinkなどのエンジンを取り扱います。 12 What Is Data Engineering?

Slide 13

Slide 13 text

AIプロジェクトに従事する人々 13 ビジネスアナリストデータエンジニアデータサイエンティスト ● 分析データや機械学習モデルのアウトプットからビジネス示唆を抽出する ● データ分析に至るデータパイプラインを構築し質の高いデータを提供する ● データサイエンティストの構築するモデルをデプロイし定常的なビジネス価値創出を実現する ● 分析データを理解し、適切な機械学習モデルを選択 ● パラメータチューニングを通じてベストモデルを構築する

Slide 14

Slide 14 text

14 ビジネスアナリストデータエンジニア ● どのような示唆が求められているのか ● どのようなデータを分析すべきか ● どのような観点で分析すべきか ● どのようなデータが求められているのか ● どのデータソースとの連携が必要か ● どのような変換処理が必要か ● 取得、更新頻度、性能の要件はデータパイプラインを通じたデータの提供データ種別、品質などに対する要望やフィードバックデータエンジニアとビジネスアナリスト

Slide 15

Slide 15 text

15 ビジネスアナリストデータエンジニア ● データモデリング ● SQL ● ETLプロセスの経験 ● 分析のマインドセット ● データモデリング ● 高度なSQL ● 複雑なETLプロセスの実装 ● データエンジニアリングのマインドセット ● プログラミング言語の知識 ● データパイプラインツール ● SDLCの知識 ● ガバナンスの実践転用拡張拡張転換 (ほぼ)新規データエンジニアとビジネスアナリスト

Slide 16

Slide 16 text

BIツール Op. DB バッチ & ストリームデータコラボレーションビジネスアナリストから見たDatabricks ストレージデータサイエンス & 生成AI 処理、ETL、リアルタイム分析オーケストレーションデータとAIのガバナンスバッチ & ストリームデータウェアハウスデータインテリジェンスエンジンデータインテリジェンスプラットフォームフェデレーション ETL AIアプリ 3rd party ビジネスアプリ連携取り込み変換分析ソースサービングクエリーと処理ダッシュボード Spark / Photon Delta Live Tables Databricks SQL ワークフロー Auto loader マーケットプレースアシスタントデータルーム AI/BI レイクハウスモニタリング Hugging Face OpenAI IDプロバイダガバナンス AIサービスモデルサービング Vector Search ML モデリング Mosaic AI カタログ & リネージアクセス制御 Unity Catalog MLOps 生成AI 特徴量サービング … ドメイン鍵管理鍵モデル / 特徴量 DatabricksIQ センサーとIoT (非構造化) RDBMS (構造化) ビジネスアプリ (非構造化) メディア (非構造化) 他のクラウドビジネスアプリファイル / ログ (半構造化) IDプロバイダエンタープライズカタログクラウドストレージ AIアプリ RDBMS (構造化) 取り込みツールイベントストリーミング RDBM, KVストアデータ利用 BIツール Delta Lake Delta Sharing bronze silver gold

Slide 17

Slide 17 text

BIツール Op. DB バッチ & ストリームデータコラボレーションデータエンジニアから見たDatabricks ストレージデータサイエンス & 生成AI 処理、ETL、リアルタイム分析オーケストレーションデータとAIのガバナンスバッチ & ストリームデータウェアハウスデータインテリジェンスエンジンデータインテリジェンスプラットフォームフェデレーション ETL AIアプリ 3rd party ビジネスアプリ連携取り込み変換分析ソースサービングクエリーと処理ダッシュボード Spark / Photon Delta Live Tables Databricks SQL ワークフロー Auto loader マーケットプレースアシスタントデータルーム AI/BI レイクハウスモニタリング Hugging Face OpenAI IDプロバイダガバナンス AIサービスモデルサービング Vector Search ML モデリング Mosaic AI カタログ & リネージアクセス制御 Unity Catalog MLOps 生成AI 特徴量サービング … ドメイン鍵管理鍵モデル / 特徴量 DatabricksIQ センサーとIoT (非構造化) RDBMS (構造化) ビジネスアプリ (非構造化) メディア (非構造化) 他のクラウドビジネスアプリファイル / ログ (半構造化) IDプロバイダエンタープライズカタログクラウドストレージ AIアプリ RDBMS (構造化) 取り込みツールイベントストリーミング RDBM, KVストアデータ利用 BIツール Delta Lake Delta Sharing bronze silver gold

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©2025 Databricks Inc. — All rights reserved Extract(抽出) ソースシステムからデータをExtract(抽出)します 20 • 最初のステップは、業務システム、API、センサーデータ、マーケティングツール、トランザクションデータベースなど、さまざまなソースからのデータの抽出を行います。これらのデータタイプには、広く使用されている構造化データであることもあれば、半構造化のJSON 形式の可能性もあります。抽出には、次のような3つの手法があります。 • 更新通知：最も簡単なデータの取得方法はレコード変更時にソースシステムによって通知される場合です。 • 増分抽出：全てのシステムが更新を通知できるわけではありませんが、特定の期間に変更されたレコードを指定し、それらのレコードを抽出できます。 • 完全抽出：変更されたデータをまったく特定できないシステムがあります。この場合、完全抽出によってのみシステムからデータを抽出できる可能性があります。

Slide 21

Slide 21 text

©2025 Databricks Inc. — All rights reserved Transform(変換) ロードする形式にデータをTransform(変換)します 21 • 次のステップは、ソースから抽出された未加工のデータを、別のアプリケーションで使用できる形式への変換です。運用上のニーズを満たすために、データのクレンジング、マッピング、変換（多く場合、特定のデータスキーマに変換）が行われます。 • 変換プロセスでは、データの品質と整合性を確保するために、いくつかのタイプの変換が行われます。データは通常、ターゲットデータウェアハウスに直接ロードされず、ステージングデータベースにアップロードされるのが一般的です。 • このステップにより、計画どおりに処理が行われない場合の迅速なロールバックを保証します。この段階において、規制遵守に関する監査レポートを作成したり、データの問題を診断して修復したりすることができます。

Slide 22

Slide 22 text

©2025 Databricks Inc. — All rights reserved Load(ロード) ターゲットシステムにデータをLoad(ロード)します 22 • 最後に、ロード機能は変換されたデータをステージング領域からターゲットデータベースに書き込むプロセスです。 • ターゲットデータベースには、データが以前に存在していた場合とそうでない場合があります。アプリケーションの要件に応じて、このプロセスは非常に単純にも、複雑にもなり得ます。これらの各ステップは、ETL ツールやカスタムコードで実行可能です。

Slide 23

Slide 23 text

©2023 Databricks Inc. — All rights reserved データ取り込み最適化Spark COPY INTO Auto Loader 生の取り込みデータ履歴 Bronze 整理されたデータフィルタリングクレンジング、拡張 Silver ビジネスレベルの集計データ Gold Photon ETL ストリーミング最適化Spark Python, SQL, Scala, R ジョブスケジューラ揮発性クラスターバッチ取り込みとオーケストレーションストリーミングイベントクラウドの取り込みオプションのサービングレイヤー DatabricksにおけるETL処理

Slide 24

Slide 24 text

Slide 25

Slide 25 text

©2025 Databricks Inc. — All rights reserved メダリオンアーキテクチャとは ETLパイプラインを設計・構築する際の整理学です 25 • メダリオンアーキテクチャは、レイクハウスに格納されているデータの品質を示す一連のデータレイヤーを表現します。 • 企業のデータプロダクトに対して信頼できる唯一の情報源(single source of truth)を構築するために、Databricksではマルチレイヤーのアプローチを取ることをお勧めしています。 • このアーキテクチャは、公立的な分析に最適化されたレイアウトでデータ格納される前の検証、変換を行う複数のレイヤーをデータが追加する際の、原子性、一貫性、分離性、耐久性を保証します。ブロンズ(生)、シルバー(検証済み)、ゴールド(拡張済み)という用語はそれぞれのレイヤーにおけるデータの品質を表現しています。

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

レイクハウスの基盤は良いデータですすべてのデータ専門家はクリーンで新鮮、信頼できるデータを必要とします生データの取り込みと履歴ブロンズフィルタークレンジング、拡張シルバービジネルレベルの集計データゴールド Data Lake CSV, JSON, TXT… Kinesis 品質 BI & レポートストリーミング分析データサイエンス & ML

Slide 32

Slide 32 text

しかし、現実はそんなに単純ではありません大規模データの品質と信頼性の維持は複雑で不安定です Data Lake CSV, JSON, TXT… Kinesis BI & レポートストリーミング分析データサイエンス & ML

Slide 33

Slide 33 text

©2025 Databricks Inc. — All rights reserved データ専門家としての人生… From: The CEO Subject: ASAPで分析をお願い ! To: Michael Armbrust やあ、マイケル。正味の顧客数に対するクイックな分析が必要で、過去の数クォーターでどのように変化したのかを知りたいんだ。生データは s3://our-data-bucket/raw_data/… にあるから頼んだよ。 ???

Slide 34

Slide 34 text

©2025 Databricks Inc. — All rights reserved クエリーからプロダクションへ SQLクエリーを信頼できるETLパイプラインにするにはうんざりするような作業が必要です CREATE TABLE raw_data as SELECT * FROM json.`…` CREATE TABLE clean_data as SELECT … FROM raw_data From: The CEO Subject: ASAP で分析をお願い ! To: Michael Armbrust 素晴らしいレポートだ！毎日アップデートしてもらえる? 毎分

Slide 35

Slide 35 text

©2025 Databricks Inc. — All rights reserved クエリーからプロダクションに至る重い作業 SQLクエリーを信頼できるETLパイプラインにするにはうんざりするような作業が必要です CREATE TABLE raw_data as SELECT * FROM json.`…` CREATE TABLE clean_data as SELECT … FROM raw_data 依存関係の管理日次のパーティション計算チェックポイント & リトライ品質チェックガバナンスデータの検知バックフィル対応バージョン管理インフラのデプロイ

Slide 36

Slide 36 text

©2025 Databricks Inc. — All rights reserved オペレーションの複雑性がほとんどです変換処理ではなくツールの準備に時間が費やされます CREATE TABLE raw_data as SELECT * FROM json.`…` CREATE TABLE clean_data as SELECT … FROM raw_data 依存関係の管理日次のパーティション計算チェックポイント & リトライ品質チェックガバナンスデータの検知バックフィル対応バージョン管理インフラのデプロイ

Slide 37

Slide 37 text

©2025 Databricks Inc. — All rights reserved あなたがフォーカスすべき領域データから価値を抽出 Dependency Management Daily Partition Computation Checkpointin g & Retries Quality Checks Governance Data Discovery Backﬁll Handling Version Control Deployment Infrastructure CREATE TABLE raw_data as SELECT * FROM json.`…` CREATE TABLE clean_data as SELECT … FROM raw_data

Slide 38

Slide 38 text

©2025 Databricks Inc. — All rights reserved Unity Catalog Repos Databricksワークフロー Delta Live Tablesのご紹介 LIVEを追加するだけでクエリーからプロダクションパイプラインへ CREATE STREAMING TABLE raw_data as SELECT * FROM read_files(…) CREATE MATERIALIZED VIEW clean_data as SELECT … FROM LIVE.raw_data 依存関係の管理インクリメンタル処理チェックポイント & リトライエクスペクテーションフルリフレッシュ Delta Live Tables

Slide 39

Slide 39 text

Slide 40

Slide 40 text

©2025 Databricks Inc. — All rights reserved 宣言型プログラミングのご紹介宣言型プログラムはどのようにするのかではなく何をすべきかを記述します numbers = […] sum = 0 for n in numbers: sum += n print(n) SELECT sum(n) FROM numbers 命令型プログラム宣言型プログラムクエリーオプティマイザがsumを計算するベストな方法を特定しますデータの依存関係 (パーティショニング、ストレージロケーション、インデックスなど) 物理構造が変化した際にクエリーを記述する必要はありません

Slide 41

Slide 41 text

©2025 Databricks Inc. — All rights reserved DLTによる宣言型プログラミング宣言型プログラムはどのようにするのかではなく何をすべきかを記述します date = current_date() spark.read.table(“orders”) .where(s"date = $date") .select("sum(sales)") .write .mode(“overwrite”) .replaceWhere(s"date = $date") .table("sales") CREATE MATERIALZED VIEW sales AS SELECT date, sum(sales) FROM orders GROUP BY date Sparkの命令型プログラム DLTの宣言型プログラム DLTランタイムがこのテーブルを作成、更新するベストな方法を特定します

Slide 42

Slide 42 text

©2025 Databricks Inc. — All rights reserved ワークフローかDLTか？大抵両方です : DLTを含むすべてをワークフローはオーケストレートできますすべてのタスクの実行にワークフローを使用 • スケジュールで実行 • 他のタスクが完了したら実行 • ファイルが到着したら実行 • 他のテーブルが更新された実行 42 データフローの管理にDLTを使用 • Deltaテーブルの作成/更新 • 構造化ストリーミングの実行

Slide 43

Slide 43 text

©2025 Databricks Inc. — All rights reserved DLTのコアの抽象化データセットを定義すると、DLTは自動でそれらを最新の状態に維持します 43 ストリーミングテーブル (複数の)ストリームが書き込まれる Deltaテーブル用途: • データの取り込み • 低レーテンシーの変換処理 • 大規模データマテリアライズドビュー Deltaテーブルに格納されるクエリーの結果用途: • データの変換 • 集計テーブルの構築 • BIのクエリーとレポートの高速化

Slide 44

Slide 44 text

©2025 Databricks Inc. — All rights reserved ストリーミングテーブルとは？ • ストリーミングテーブルはKafka、Kinesis Auto Loader(クラウドストレージ上のファイル)のような追加オンリーのデータソースから読み込みを行います • ストリーミングテーブルは、それぞれの入力レコードを一度だけ読み込むことで、コストとレーテンシーを削減します • ストリーミングテーブルはアドホックなデータ操作(GDPR等)のためのDML(UPDATE, DELETE, MERGE)をサポートします構造化ストリーミングが書き込みを行うDeltaテーブルです 44 CREATE STREAMING TABLE report AS SELECT * FROM read_files("/mydata/", "json")

Slide 45

Slide 45 text

©2025 Databricks Inc. — All rights reserved マテリアライズドビューとは？事前に計算され、Deltaに格納されるクエリーの結果です 45 CREATE MATERIALIZED VIEW report AS SELECT sum(profit) FROM prod.sales GROUP BY date • マテリアライズドビューは、最後にアップデートされた際の定義済みクエリーの結果を常に返却します(スナップショット) • マテリアライズドビューのデータを変更することはできません。クエリーを変更することはできます。

Slide 46

Slide 46 text

©2025 Databricks Inc. — All rights reserved Pythonの活用 import dlt @dlt.table def report(): df = spark.table("LIVE.events") return df.select(…) spark.udf.register( "complex_function", lambda x: …) • データフレームを返却する任意の関数に@dlt.tableを追加します。 • 単一のパイプラインでSQL/Pythonのノートブックを混成、マッチさせます。 • しかし、単一のノートブックではすべてPythonかすべてSQLである必要があります(ノートブックレベルで混成、マッチはできません) • PySpark、Koalas、SQL文字列を用いてデータフレームを構成できます。高度なデータフレームのコードとUDFの記述 46

Slide 47

Slide 47 text

©2025 Databricks Inc. — All rights reserved エクスペクテーションによる適正性の保証 CONSTRAINT valid_timestamp EXPECT (timestamp > '2012-01-01’) ON VIOLATION DROP @dlt.expect_or_drop( "valid_timestamp", col("timestamp") > '2012-01-01') エクスペクテーションは処理の過程でそれぞれの行の検証に用いられるtrue/falseのエクスプレッションです。 DLTはエクスペクテーションの違反レコードに対する柔軟なポリシーを提供します: • 不正レコード数の追跡 • 不正レコードの削除 • 一つの不正レコードで処理を中止 • 検疫 (提供予定、あるいはクックブックのレシピをお使いください) エクスペクテーションはプロダクションのデータ品質を保証するテストです 47

Slide 48

Slide 48 text

©2025 Databricks Inc. — All rights reserved 48 パイプラインの作成 DatabricksのUIによるパイプラインの作成方法 CREATE ST/MVの記述ノートブックやファイルでパイプラインの作成スタートをクリック • ノートブックでテーブル定義を記述します。 • Databricks Reposによってテーブル定義のバージョン管理が可能になります。 • 一つのパイプラインでは、一つ以上のノートブックと必要な設定を組み合わせます。 • DLTはパイプラインのすべてのテーブルを作成、更新します。

Slide 49

Slide 49 text

Slide 50

Slide 50 text

©2023 Databricks Inc. — All rights reserved Databricksワークフローとは？すべてのクラウドで誰もが高信頼のデータ、分析、AIワークフローを構築できる完全マネージドのレイクハウスオーケストレーションサービス完全マネージド完全マネージドのオーケストレーションサービスによって運用オーバーヘッドを取り除くことで、インフラストラクチャの管理ではなくワークロード自身にフォーカス。プラットフォームと密接にインテグレーションお使いのレイクハウスプラットフォーム向けに設計され組み込まれているので、すべてのワークフローに対する深いモニタリング機能と集中管理された観測能力を提供。何でもどこでもオーケストレーションすべてのクラウドで完全なデータとAIのライフサイクルにおける様々なワークロードを実行。 Delta Live Tables、SQL、 Spark、ノートブック、dbt、MLモデルなどのジョブをオーケストレーション。シンプルなワークフロー作成特殊スキルを持つ人に限らずデータチームの誰でも活用できる簡単なポイント&クリックの作成体験。データ、分析、 AIのための高信頼オーケストレーション立証された信頼性 AWS、Azure、GCPで日々実行されている数千万のプロダクションワークロードで立証された信頼性に基づいて安心してワークロードを実行。 https://www.databricks.com/jp/product/workflows

Slide 51

Slide 51 text

©2023 Databricks Inc. — All rights reserved Databricksワークフロー - ワークフロージョブ 51 ▪ これは何？ DAGによる容易なコードの作成、スケジュール、オーケストレーション (有効非巡回グラフ) ▪ キーとなる機能 ▪ シンプルさ : UIでの容易な作成とモニタリング ▪ ワークロードに合わせた多数のタスクタイプ ▪ プラットフォームに完全にインテグレーションされており、結果の調査とデバッグを迅速に ▪ 立証されたDatabricksスケジューラの信頼性 ▪ 容易にステータスをモニタリングする観測可能性ワークフロージョブタスクの DAG

Slide 52

Slide 52 text

©2023 Databricks Inc. — All rights reserved Databricksジョブのサンプル Notebook、DLT、Python wheelタスクによるジョブ (DAG) 52 Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブックカスタムライブラリを用いた Databricksクラスター

Slide 53

Slide 53 text

©2023 Databricks Inc. — All rights reserved Databricksジョブのサンプル 53 Databricksノートブック (Python、SQL、Scala) Notebook、DLT、Python wheelタスクによるジョブ (DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 54

Slide 54 text

©2023 Databricks Inc. — All rights reserved Databricksジョブのサンプル 54 Delta Live Tablesパイプライン (Triggeredモード) Notebook、DLT、Python wheelタスクによるジョブ (DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 55

Slide 55 text

©2023 Databricks Inc. — All rights reserved Databricksジョブのサンプル 55 Power BIデータセットに対する APIコールを行うPython wheel import requests r = requests.get('https://docs.microsoft.com/en-us/ resGET https://api.powerbi.com/v1.0/myorg/groups/{grou pId}/datasets/{datasetId}/refreshes?$top={$top} ', auth=('user', 'pass')) r.status_code Notebook、DLT、Python wheelタスクによるジョブ (DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

ハンズオン

Slide 61

Slide 61 text

ハンズオンの流れ 61 1. ETL処理 • 簡単なデータを対象に、データの抽出(Extract)、データの変換(Transform)、ロード(Load)を体験いただきます。ここでは、SparkのPython APIであるPySparkを使用します。 • 使用するノートブック： 1. データ取り込み、 2. データ変換とロード 2. はじめてのジョブ実行 • 上で作成したノートブックが自動で実行されるようにジョブを組んで実行します。 • 使用するノートブック： 1. データ取り込み、 2. データ変換とロード、 3. はじめてのジョブ実行 3. Delta Live Tables(DLT) • 上と同じデータを用いて、Delta Live TablesによるETL処理を行います。 • 使用するノートブック： 4. Delta Live Tables