コアコンセプトとノートブックサンプルを通じたDatabricksのご紹介

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricksソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

Learning Spark 2nd Editionの翻訳 + αの内容となっています！ Apache Spark徹底入門発売中！本書は、ビッグデータを主な対象としたデータ分析フレームワークである Apache Spark、MLﬂow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データ AIの実装者がApache Spark、MLﬂow およびDelta Lakeを使いこなすための解説を行います。 ● Python、SQL、Scala、またはJavaの高レベルの構造化 APIの学習 ● Spark の操作とSQLエンジンの理解 ● Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ● JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ● 構造化ストリーミングを使用してバッチデータとストリーミングデータの分析を実施 ● オープンソースの Delta LakeとSparkを使用して信頼性の高いデータパイプラインを構築 ● MLlibを使用する機械学習パイプラインの開発、 MLflowを使用するモデルの管理、本番化 ● [日本語版オリジナルコンテンツ ]pandas dataframe、spark dataframeに関する各種データフレームの使い分け ● [日本語版オリジナルコンテンツ ]LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、 LLMの利用方法の実践

Slide 4

Slide 4 text

アジェンダ ● Databricksとは ● Databricksの使い方 ● Databricksのコアコンセプト ○ ETL開発サイクル ○ アカウントとワークスペース ○ Databricksユニット ○ メダリオンアーキテクチャ ○ Unity Catalog ○ Delta Live Tables ○ Databricksワークフロー ● Databricksを用いたデータ分析

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved データレイクハウスすべてのデータに対するオープンで統合された基盤オープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Databricksがレイクハウスアーキテクチャを発明 2020 統合セキュリティ、ガバナンス、カタログ信頼性と共有のための統合データストレージ ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL Unity Catalog Delta Lake グローバル企業の 74% がレイクハウスを導入現在 MIT Technology Review Insights, 2023

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved すべての生データ (ログ、テキスト、音声、動画、画像 ) ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog 信頼性と共有のための統合データストレージ Delta Lake Databricksデータインテリジェンスプラットフォームオープンデータレイク

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 )

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 ) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Mosaic AI カスタムLLMの作成チューニング、提供

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォーム Databricks AI 生成AI • カスタムモデル • モデルサービング • RAG エンドツーエンドAI • MLOps (MLﬂow) • AutoML • モニタリング • ガバナンスあなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 ) Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Mosaic AI カスタムLLMの作成チューニング、提供 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化

Slide 12

Slide 12 text

©2024 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォームあなたのデータのセマンティクスを理解するためにデータインテリジェンスエンジオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 Workﬂo 過去の処理にジョブコストの Delta Live Tables データ品質の自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Mosaic AI カスタムLLMの作成チューニング、提供オペレーション財務マーケティングカスタマーサービスどうすれば組織の皆にデータとAIを展開できるのか？ “Project Genie” 自然言語で誰でもデータや AIを活用

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved レイクハウスで実現するML/BI/ETL 同じデータですべてのワークロードを実現 • 機械学習モデルの開発、運用 • 大量データに対するBI • データパイプラインの開発、運用 Delta LakeとUnity Catalogで実現するデータレイクハウス • 容量無制限かつ安価なストレージ • DWH以上のパフォーマンス • バッチ処理、ストリーム処理への対応 • トランザクション保証 • すべてのデータに対するガバナンス(権限管理/ 監査/リネージ) Unity Catalog データサイエンス / 機械学習(ML) BI/DWH データエンジニアリング / ETL ビジネスアナリストデータエンジニアデータサイエンティスト

Slide 15

Slide 15 text

©2024 Databricks Inc. — All rights reserved レイクハウスガバナンスのための Unity Catalog すべてのデータ資産のガバナンス、管理 • ウェアハウス、テーブル、カラム • データレイク、ファイル • 機械学習モデル • ダッシュボード、ノートブック機能 • データリネージ • 属性ベースのアクセス制御 • セキュリティポリシー • テーブル、カラムレベルのタグ • 監査 • データ共有

Slide 16

Slide 16 text

©2024 Databricks Inc. — All rights reserved DatabricksにおけるML & データサイエンス機械学習 • モデルレジストリ、再現性、本格運用への投入 • 再現性確保にDelta Lakeを活用 • シチズンデータサイエンティストのための AutoML データサイエンス • インタラクティブ分析向けコラボレーティブノートブック、ダッシュボード • Python、R、SQL、Scalaのネイティブサポート • Delta Lakeデータのネイティブサポート

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

©2024 Databricks Inc. — All rights reserved ETL開発サイクルデータ取り込み最適化Spark COPY INTO Auto Loader 生の取り込みデータ履歴 Bronze フィルタリングクレンジング、拡張 Silver ビジネスレベルの集計データ Gold Databricksワークフロー ETL ストリーミング最適化Spark Photon Python, SQL, Scala, R ジョブスケジューラ揮発性クラスターバッチ取り込みとオーケストレーションストリーミングイベントクラウドの取り込みサービングレイヤー(オプション) ガバナンス計算リソースメダリオンアーキテクチャ Unity Catalog

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

©2024 Databricks Inc. — All rights reserved Databricks - プラットフォーム製品とコンピュート Databricks製品クラウドコンピュート ● Databricksプラットフォーム製品を起動する際、お客様のクラウドアカウント内にコンピュートのインフラを配備します。 ● クラウドコンピュートのコストはDatabricksのコストとは別であり Databricksの価格*の要素ではありません (サーバレス製品は除く) * サーバレスのDBUにおいては、クラウドコンピュートは Databricksのアカウントに存在し、このコストをお客様に請求します。 Databricks サーバレス製品 Databricksアカウントクラウドコンピュート非サーバレスサーバレス

Slide 34

Slide 34 text

©2024 Databricks Inc. — All rights reserved DBUとは？ ▪ Databrick Unit (DBU)は処理能力に対して正規化された単位です ▪ Databricks製品のほとんどがDBUで課金されます ▪ Databricksの消費量/使用量を計測するために DBUを使用しています ▪ 消費されるDBUの数は、使用された計算リソースによって決定されます ▪ $DBU/hourは特定の製品の時間あたりの価格です注意事項: よりパワフルなクラウドコンピュートほど、時間あたりのDBUが増加します

Slide 35

Slide 35 text

©2024 Databricks Inc. — All rights reserved Databricks Unit (DBU)は時間あたりの処理能力の単位であり、秒単位で課金されます ▪ Databricksクラスターの起動で課金 ▪ アイドル状態のプールインスタンスではDBU課金されません (AzureのVMコストは発生します) ドライバー DS3_v2 ワーカー DS3_v2 ワーカー DS3_v2 ワーカー DS3_v2 2時間 4ノード (1ドライバー + 3ワーカー) x 2時間 = 8 DBU 合計コスト = 8 DBUのコスト + DS3_v2の8 インスタンス時間のAzureコスト Azure Databricksのコスト - DBU

Slide 36

Slide 36 text

©2024 Databricks Inc. — All rights reserved 課金モデル ● 使用量に応じてスケールする課金モデルに基づく柔軟な消費が可能に。 ● Databricks Unit (DBU)を消費するクラスターやSQLウェアハウスを用いる際にコストが発生します。 ● DBUあたりの金額はワークスペースの課金プラン(スタンダートやプレミアム)とコンピュートの選択肢(インタラクティブ、ジョブ、SQLウェアハウスなど)に依存します。 ● 他のAzureサービスと一緒に請求されます。 ● コンピュートのインスタンスが実行されていない際にはDBUは課金されません。

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

©2024 Databricks Inc. — All rights reserved ファイルに対する権限テーブル、ビューに対する権限テーブル、カラム、行に対する権限行列レベルの権限の不在ポリシー変更時の柔軟性の欠如データとの同期のずれ異なるガバナンスモデルさらに異なるガバナンスモデルデータレイクメタデータデータウェアハウス MLモデルダッシュボードデータとAIのガバナンスは複雑です MLモデル、ダッシュボード、特徴量などに対する権限データアナリストデータエンジニアデータサイエンティスト 44

Slide 45

Slide 45 text

Slide 46

Slide 46 text

©2024 Databricks Inc. — All rights reserved 46 Lakehouse Platform Data Warehousing Data Engineering Data Science and ML Data Streaming All structured and unstructured data Cloud Data Lake Unity Catalog Fine-grained governance for data and AI Delta Lake Data reliability and performance Databricks Unity Catalog データ、分析、AIに対する統合ガバナンス ● クラウド横断のデータマッピング、保護、監査 ● オープンなデータ共有とコラボレーション ● シームレスなデータ観測性と品質 ● 生産性や発見可能性の改善 ● 最適化パフォーマンスとコスト削減

Slide 47

Slide 47 text

©2024 Databricks Inc. — All rights reserved 47 Unity Catalog - キーとなる機能 ● 集中管理のメタデータとユーザー ● 集中管理のデータアクセスコントロール ● データリネージ ● データアクセス監査 ● データ検索と発見 ● Delta Sharingによるセキュアなデータ共有 Databricks Workspace Databricks Workspace Unity Catalog GRANT … ON … TO … REVOKE … ON … FROM … Catalogs, Databases (schemas), Tables, Views, Storage credentials, External locations

Slide 48

Slide 48 text

©2024 Databricks Inc. — All rights reserved Databricks ワークスペース2 集中管理のメタデータとユーザー 48 Unity Catalogなし Unity Catalogありご自身のデータ領域における統合ビューの構築 Databricks ワークスペース 1 Databricks ワークスペース Databricks ワークスペース Unity Catalog ユーザー管理メタストアユーザー管理メタストアクラスター SQLウェアハウスアクセスコントロールアクセスコントロールユーザー管理メタストアクラスター SQLウェアハウスアクセスコントロールクラスター SQLウェアハウスクラスター SQLウェアハウス

Slide 49

Slide 49 text

©2024 Databricks Inc. — All rights reserved 49 3レベルの名前空間 SELECT * FROM main.paul.red_wine; -- .. SELECT * FROM hive_metastore.default.customers; Unity Catalog Catalog 2 Catalog 1 Database 2 Database 1 External Table ビュー外部テーブルマネージドテーブル hive_metastore (レガシー) default (データベース) customers (テーブル) 既存メタストアへのシームレスなアクセス

Slide 50

Slide 50 text

©2024 Databricks Inc. — All rights reserved 50 集中管理のアクセスコントロール GRANT ON TO `` GRANT SELECT ON iot.events TO engineers 権限レベルの選択お使いのIDプロバイダーとグループを同期 ‘テーブル’= S3/ADLSのファイルのコレクション ANSI SQL DCLの使用 UIの使用ワークロード横断のアクセス権を集中的に許可、管理

Slide 51

Slide 51 text

©2024 Databricks Inc. — All rights reserved 51 すべてのワークロードに対する自動リネージ ● Databricksクラスター、SQLウェアハウスにおける実行時データリネージ自動キャプチャ ● テーブル、カラムレベルのリネージ ● Unity Catalogの共通権限モデルの活用 ● テーブル、ダッシュボード、ワークフロー、ノートブック、特徴量テーブル、ファイル、 DLTのリネージ組織におけるデータフロー、データ活用に対するエンドツーエンドの可視性

Slide 52

Slide 52 text

Slide 53

Slide 53 text

連続あるいはスケジュールによるデータ取り込み宣言型ETL パイプラインデータ品質検証およびモニタリングデータパイプラインの観測可能性オートスケーリングおよび耐障害性自動デプロイオペレーションパイプライン& ワークフローのオーケストレーションチェンジデータキャプチャー Databricksでデータエンジニアリングを成功させる鍵となる差別化要因 Apache Spark、Delta Lakeを組み合わせることでもこれらを実現できますが、開発工数が膨大なものとなります ...

Slide 54

Slide 54 text

● 「どのように」を抽象化し「何を」解くのかを定義する、意図に基づく宣言型開発を使用 ● 自動で高品質なリネージュを作成し、データパイプラインのテーブルの依存関係を管理 ● エラー、依存関係の欠如、文法エラーを自動でチェックし、パイプラインのリカバリーを管理 /* アカウントテーブルの一時ビューを作成 */ CREATE INCREMENTAL LIVE VIEW account_raw AS SELECT * FROM cloud_files(“/data”, “csv”); /* ステージ 1: ブロンズテーブルで不適切な行を削除 */ CREATE INCREMENTAL LIVE TABLE account_bronze AS COMMENT "適切なIDのアカウントを含むブロンズテーブル " SELECT * FROM fire_account_raw ... /* ステージ 2:シルバーに行を送信し、妥当性チェックを適用 */ CREATE INCREMENTAL LIVE TABLE account_silver AS COMMENT "妥当性チェックを行なったシルバーアカウント " SELECT * FROM fire_account_bronze ... ブロンズシルバーゴールドソース Delta Live Tablesによる宣言型ETLパイプライン

Slide 55

Slide 55 text

Auto Loaderによる連続、スケジュールのデータ取り込み ● クラウドストレージに新規データが到着するたびに、インクリメンタルかつ効率的に処理を実施 ● 自動で到着データのスキーマを推定、あるいはスキーマヒントによるスキーマ強制 ● 自動のスキーマ進化 ● レスキューデータカラム - 決してデータを失いません JSON CSV ✅ ✅ AVRO PARQUET スキーマ進化 ✅ ✅

Slide 56

Slide 56 text

ブロンズシルバー CDC経由 UPSERT CDC経由 UPSERT CDC経由 UPSERT ストリーミングソースクラウドオブジェクトストレージ構造化データ非構造化データ準構造化データデータ移行サービスデータソース ● DBR、クラウドストレージ、 DBFSでサポートされている任意のデータの行レベルの変更をキャプチャー ● よりシンプルなアーキテクチャ : シンプルかつインクリメンタルなパイプラインの構築 ● 順序が守られていないイベントのハンドリング ● スキーマ進化 ● シンプルかつ宣言型の「 APPLY CHANGES INTO」 APIを用いた変更レコード (insert、update、 delete)のインクリメンタルな処理 Delta Live Tablesによるチェンジデータキャプチャー(CDC)

Slide 57

Slide 57 text

Delta Live Tablesによるデータ品質検証およびモニタリング ▪ データエクスペクテーションでパイプラインにおけるデータ品質、完全性を定義 ▪ 柔軟なポリシーによるデータ品質エラーへの対応 (失敗、削除、警告、検疫 ) ▪ 全てのデータパイプライン実行と品質メトリクスを記録、追跡、レポート /* ステージ 1: ブロンズテーブルで不正な行を削除 */ CREATE INCREMENTAL LIVE TABLE fire_account_bronze AS ( CONSTRAINT valid_account_open_dt EXPECT (acconut_dt is not null and (account_close_dt > account_open_dt)) ON VIOLATION DROP ROW COMMENT "適切なアカウント IDを含むブロンズテーブル " SELECT * FROM fire_account_raw ...

Slide 58

Slide 58 text

Delta Lives Tableにおけるデータパイプラインの観測可能性 ● インパクト分析のためのデータフローに対する可視性を提供する高品質かつ高精度なリネージュダイアグラム ● データパイプラインのオペレーション、ガバナンス、品質、ステータスに対する行レベルでのきめ細かいロギング ● 継続オペレーションを確実にするためのデータパイプラインジョブの連続的モニタリング ● Databricks SQLを用いたメールによるアラート

Slide 59

Slide 59 text

● バックログ認知のスケーリング意思決定によるストリーミングSLOの達成 - スケールアップ、スケールダウンするために、バックログメトリクスとクラスター利用率の両方をモニタリング ● 自動エラーハンドリングと容易な際実行によるダウンタイムの削減 ● すべてのDelta Liveテーブルの自動最適化によるメンテナンスの排除 ● ジョブを並列化しデータ移動を最小化する弾力性のある Apache Spark™ベースの計算クラスターを自動で配備し、データパイプラインワークロードを処理 Streaming source Spark executors No/Small backlog & low utilization Backlog monitoring Utilization monitoring Scale down Delta Live Tablesによるオートスケーリング、耐障害性

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

©2024 Databricks Inc. — All rights reserved Databricksワークフローとは？すべてのクラウドで誰もが高信頼のデータ、分析、 AIワークフローを構築できる完全マネージドのレイクハウスオーケストレーションサービス完全マネージド完全マネージドのオーケストレーションサービスによって運用オーバーヘッドを取り除くことで、インフラストラクチャの管理ではなくワークロード自身にフォーカス。プラットフォームと密接にインテグレーションお使いのレイクハウスプラットフォーム向けに設計され組み込まれているので、すべてのワークフローに対する深いモニタリング機能と集中管理された観測能力を提供。何でもどこでもオーケストレーションすべてのクラウドで完全なデータとAIのライフサイクルにおける様々なワークロードを実行。 Delta Live Tables、SQL、 Spark、ノートブック、dbt、MLモデルなどのジョブをオーケストレーション。シンプルなワークフロー作成特殊スキルを持つ人に限らずデータチームの誰でも活用できる簡単なポイント&クリックの作成体験。データ、分析、AIのための高信頼オーケストレーション立証された信頼性 AWS、Azure、GCPで日々実行されている数千万のプロダクションワークロードで立証された信頼性に基づいて安心してワークロードを実行。 https://www.databricks.com/jp/product/workflows

Slide 63

Slide 63 text

©2024 Databricks Inc. — All rights reserved 63 ジョブすべてのタスクに対するワークフロー (DAG)。ノートブック、Python、Databricks SQL、DLT、dbt、MLなど Delta Live Tables 自動化データパイプライン、 Delta Lakeの品質、リネージ。 Databricksレイクハウスのオーケストレーション Lakehouse Platform Data Warehousing Data Engineering Data Science and ML Data Streaming すべての構造化データ、非構造化データクラウドデータレイク Unity Catalog データ、AIに対するきめ細かいガバナンス Delta Lake データの信頼性とパフォーマンス Databricksワークフロー

Slide 64

Slide 64 text

©2024 Databricks Inc. — All rights reserved Databricksワークフロー - ワークフロージョブ 64 ▪ これは何？ DAGによる容易なコードの作成、スケジュール、オーケストレーション (有効非巡回グラフ) ▪ キーとなる機能 ▪ シンプルさ: UIでの容易な作成とモニタリング ▪ ワークロードに合わせた多数のタスクタイプ ▪ プラットフォームに完全にインテグレーションされており、結果の調査とデバッグを迅速に ▪ 立証されたDatabricksスケジューラの信頼性 ▪ 容易にステータスをモニタリングする観測可能性ワークフロージョブタスクの DAG

Slide 65

Slide 65 text

©2024 Databricks Inc. — All rights reserved Databricksジョブのサンプル Notebook、DLT、Python wheelタスクによるジョブ(DAG) 65 Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブックカスタムライブラリを用いた Databricksクラスター

Slide 66

Slide 66 text

©2024 Databricks Inc. — All rights reserved Databricksジョブのサンプル 66 Databricksノートブック(Python、SQL、Scala) Notebook、DLT、Python wheelタスクによるジョブ(DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 67

Slide 67 text

©2024 Databricks Inc. — All rights reserved Databricksジョブのサンプル 67 Delta Live Tablesパイプライン(Triggeredモード) Notebook、DLT、Python wheelタスクによるジョブ(DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 68

Slide 68 text

©2024 Databricks Inc. — All rights reserved Databricksジョブのサンプル 68 dbtパイプライン Notebook、DLT、Python wheelタスクによるジョブ(DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 69

Slide 69 text

©2024 Databricks Inc. — All rights reserved Databricksジョブのサンプル 69 Power BIデータセットに対するAPIコールを行うPython wheel import requests r = requests.get('https://docs.microsoft.com/en-us/ resGET https://api.powerbi.com/v1.0/myorg/groups/{grou pId}/datasets/{datasetId}/refreshes?$top={$top} ', auth=('user', 'pass')) r.status_code Notebook、DLT、Python wheelタスクによるジョブ(DAG) Power BIのデータセットのアップデート Python Wheel SQLServerから顧客データをコピーノートブックスタースキーマモデルの作成 Delta Live Tables SQLServerから注文データをコピーノートブック SQLServerから地域データをコピーノートブック

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Slide 78

Slide 78 text

サイドメニューのワークスペースにアクセスし、画面右上の3点リーダーをクリックし、インポートを選択します。 78 ノートブックのインポート

Slide 79

Slide 79 text

URLを選択し、URLのボックスに以下のURLを貼り付けます。 79 ノートブックのインポート https://sajpstorage.blob.core.windows.net/yayoi/20240617_study_meeting/COVID-19感染者数分析.html