dbt in Microsoft Fabric

登壇資料：
https://cdpm.connpass.com/event/402171/

Transcript

1. dbt in Microsoft Fabric Microsoft MVP for Data Platform 永田 亮磨 (ZEAL CORPORATION) X: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata
2. 自己紹介 永田 亮磨(Ryoma Nagata) • Microsoft MVP for Data Platform • Databricks Solutions Architect Champion • 株式会社ジール • Microsoft Data Analytics Solution の導入など • 主な活動場所 • Qiita : @ryoma-nagata • X（Twitter） : @ryomaru0825 • connpass : • JSSUG (Japan SQL Server User Group) • JEDAI - The Data & AI Meetup よく触るデータサービス Microsoft Fabric / Databricks / Purview Data Governance
3. LinkedIn Learning で Fabric の学習コースを公開しています！ 「Microsoft Fabric 入門」へようこそ | LinkedInラーニング
4. おしながき  Microsoft Fabric とは  Microsoft Fabric の “クロスプラットフォーム”  dbt in Microsoft Fabric
5. Microsoft Fabric とは AI 時代の統合データ分析プラットフォーム Fabric Workloads Data Factory Analytics Databases Real-Time Intelligence Fabric IQ Fabric Platform AI OneLake Governance Power BI
6. Microsoft Fabric とは AI 時代の統合データ分析プラットフォーム Fabric Workloads Data Factory Real-Time Intelligence Fabric IQ Analytics Databases データ統合 データ整備と分析 業務データベース リアルタイム分析 業務インテリジェンス ビジネスインテリジェンス 多様なデータを取り込み、 連携する レイクハウスやウェアハウス を構築し、分析する アプリや業務のデータを 管理する 変化を即座に捉え、 アクションにつなげる 業務文脈とデータ分析 を結びつける 可視化と共有で 意思決定を支援する Power BI Fabric Platform AI 組み込み AI 統合データレイク 統合ガバナンス データ分析を効率化 ・多様化する 組織全体で利用できる データとして一元化する データセキュリティと統制を 一元化する OneLake Governance
7. レイクハウス・BI でのワークロード組み合わせイメージ データソース 取込 蓄積・処理 構造化 / 非構造化 Data Factory Analytics • ローコード取り込み • オーケストレーション • テーブル/ファイル保存 Spark / T-SQL / ローコード変換 OneLake • 直接参照して仮想化（ショートカット） • ニアリアルタイム同期（ミラーリング） 活用 IQ Power BI Copilot • セマンティックレイヤー構築 • 可視化/会話分析 OneLake • 複製なしで再利用 （ショートカット）
8. Fabric ・ Databricks ・ Snowflake の相互運用  Fabric 各ワークロード: Delta Lakeを標準フォーマットに採用、同一のデータを使用可能  Databricks : Delta Lake / Unity Catalog を軸に相互運用  Snowflake : ネイティブテーブルの連携 + Iceberg で相互運用 Azure Databricks Microsoft Fabric Power BI Direct Query ソースとして利用 用途別 マルチエンジンアクセス ウェアハウス経由で書き込み Catalog Federation でクエリ カタログミラーリングで Zero Copy連携 Unity Catalog 用 ストレージとして活用 Power BI Direct Query ソースとして利用 ネイティブテーブルへの書き込み REST カタログ統合でクエリ OneLake ミラーリングでニアリアルタイム同期 （Iceberg は Zero Copy連携） 相互にメタデータ生成 Delta Parquet (Fabric での標準フォーマット) Snowflake Iceberg Iceberg 用ボリュームとして活用
9. 参考） OneLake を中心とした “クロスプラットフォーム” 構成 専門家による 大規模データエンジニアリングや データサイエンス、AIアプリ構築 様々なソースから データを取り込み、 オーケストレーション 業務システム 業務ユーザーによる ラストワンマイル GUIデータ準備 BI ツールと M365 Copilot の ネイティブ統合 ミラーリングやOTFによりOneLakeに統合 （Databricks / Snowflake 側での消費も可） IoT デバイス、センサー 全社 BI クラウドストレージ OneLake データベースサービス セルフサービス BI
10. Microsoft Fabric におけるデータエンジニアリング機能  取り込み・変換・オーケストレーションから成るデータエンジニアリング機能を SaaS として提供 Microsoft Fabric 取り込み 変換 オーケストレーション ローコード 抽出・取り込み データフローGen2 ローコード コピージョブ 直接参照 ノートブック コード記述環境 パイプライン ショートカット コード1st dbt レプリケーション ミラーリング 宣言型 フレームワーク マテリアライズドレイクビュー Airflow
11. Microsoft Fabric におけるデータエンジニアリング機能  取り込み・変換・オーケストレーションから成るデータエンジニアリング機能を SaaS として提供 Microsoft Fabric 取り込み 変換 オーケストレーション ローコード 抽出・取り込み データフローGen2 ローコード コピージョブ 直接参照 ノートブック コード記述環境 パイプライン ショートカット コード1st レプリケーション ミラーリング dbt 宣言型 フレームワーク マテリアライズドレイクビュー Airflow
12. dbt ジョブ in Fabric  dbt core のフルマネージド実行環境  dbt Fusion 対応は2026/2Q後半に予定  パイプライン/Airflowによりワークフロー を全体単一基盤内で実現  Fabric 外部ターゲットへのdbt実行が 可能   現時点では宛先はレイクハウス / ウェアハウス / Snowflake / PostgreSQL / Azure SQL 実行時のプロファイルは Fabric 内で独自に管理  Fabric UI で作成 or GitHubリポジト リの参照  実行ログは OneLake 内に出力 Microsoft Fabric の dbt ジョブ (プレビュー) - Microsoft Fabric | Microsoft Learn
13. 補足）マテリアライズドレイクビュー  Fabric 独自の宣言型変換フレームワーク  Spark エンジンで動作し、Delta Lake CDF を基にしてフル更新・増分更新は自動選択される  レイクハウス上でデータ品質ルール・変換内容を定義。テーブル間のリネージ画面とジョブ結果やデータ 品質のダッシュボードを提供  Databricks Spark宣言型パイプラインのFabric版ともいえる マテリアライズされたレイクビューの概要 - Microsoft Fabric | Microsoft Learn
14. ショートカット ～ dbt のパイプライン実行デモ  https://github.com/ryoma-nagata/fabric-dbt-demo
15. デモ：ショートカット
16. デモ：dbt アイテムの作成
17. 参考）dbt をFabric 内で作成したイメージ（サンプルの jaffle shop）
18. デモ：dbt アイテムのGitHub参照
19. デモ：パイプラインの作成・実行
20. デモ：パイプラインの作成・実行
21. デモ：パイプラインの作成・実行
22. デモ：パイプラインの作成・実行
24. Fabric × dbt の CICD での留意事項  「dbt jobの設定定義」と、「dbtプロジェクトそのもの」の二つのコードベースを認識する Fabric ワークスペース （開発のための環境） GitHub リポジトリ • アイテム情報 • ワークフローの定義 パイプライン ウェアハウス Git統合 Fabric アイテム定義 を同期 • アイテム情報 • sqlプロジェクトファイル • アイテム情報 • dbtプロジェクトの ”参照先ブランチ名” や、 デプロイ先情報（認証情報はもたない） dbt ジョブ 参照(profiles.yamlは無視) • model定義など dbtプロジェクト
25. Fabric × dbt の CICD での留意事項  dbtジョブはブランチを参照してモデルをデプロイするため、本番環境用のブランチが必須 トランクベース 環境ブランチ マージした時点で本番環境で 稼働するモデル定義となってしまう prodブランチへの昇格を、 本番リリースのゲートにする 開発 ワークスペース 参照 本番 ワークスペース デプロイ 参照 feature dbtプロジェクト デプロイ 参照 main merge モデル開発 開発 ワークスペース デプロイ feature dbtプロジェクト デプロイ 参照 main merge モデル開発 dbtプロジェクト 本番 ワークスペース prod merge dbtプロジェクト dbtプロジェクト
26. その他留意事項  Fabric上でのプロジェクト作成 or Git 参照を選べるが、 Git 参照を推奨。  Fabric上で作成した結果は OneLake 上での保存となり、Git管理の対象にできない （UIで作成したとしてもエクスポートして GitHubに移行する）  GitHub参照時はFabric UIからモデルを編集できないため、開発はローカル/GitHubで行う  ※ 現時点では project.yaml がリポジトリルートにないといけない点は注意  Azure DevOps は現在未対応  dbt docsの生成物は保存されるが、Fabric内では表示できない  OneLake に保存されるので、別途ホストが必要  アイデア投票：Native dbt docs Integration within Fabric dbt Jobs | Microsoft Fabric Community  パイプラインから実行する際のコマンドパラメータは限定的  target 指定や、source freshness などUI に表示されないコマンドが必要な場合は別基盤/方式で実行が必 要  アイデア投票：Allow --target as parameter for DBT jobs in Data Pipelines | Microsoft Fabric Community
27. 参考リソース  dbt in Fabric  dbt を Fabric Data Warehouse 用に設定する - Microsoft Fabric | Microsoft Learn  Quickstart for dbt and Microsoft Fabric | dbt Developer Hub  コミュニティブログでの発表     Fabricパイプでdbtジョブの活動をオーケストレーションする... - Microsoft Fabricコミュニティ dbt+ Microsoft Fabric:t... への戦略的投資- Microsoft Fabricコミュニティ Microsoft Fabricでのdbt求人:信頼できるSQLを送る... - Microsoft Fabricコミュニティ Microsoft FabricにおけるWarehousesを持つCI/CD - Microsoft Fabricコミュニティ  ロードマップやfabric dbtへのフィードバック  検索 - Microsoft Fabric コミュニティ  Microsoft Fabric Roadmap  全体ドキュメント  Microsoft Fabricドキュメント - Microsoft Fabric | Microsoft Learn  Fabric アイテムのcicdについて  Fabric の CI/CD ワークフロー オプション - Microsoft Fabric | Microsoft Learn  Fabric-cicd によるAzure DevOps デプロイ - Speaker Deck
28. Fabric における dbt まとめ  dbtプロジェクトの開発基盤ではなく、データとジョブの運用環境として使う  Fabric dbtジョブは、dbtプロジェクトを読み込んでモデルをデプロイすることに特化  統合サービスとしてのメリットを活用する  ショートカットを含めたデータの取り込み、dbt run のワークフロー化、プロファイルの抽象化やFabric外への宛先 対応などを単一基盤で遂行する  Fabric Ideas でぜひ新機能フィードバックを！
29. Thank you !