Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Microsoft Fabric におけるデータ統合を考える
Search
Ryoma Nagata
July 22, 2023
Technology
1.3k
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Microsoft Fabric におけるデータ統合を考える
https://sqlserver.connpass.com/event/285453/ 資料
Ryoma Nagata
July 22, 2023
More Decks by Ryoma Nagata
See All by Ryoma Nagata
AI Search (Foundry IQ) におけるRAGデータの準備と配置
ryomaru0825
2
150
VS Code × GitHub Copilot での Fabric 開発
ryomaru0825
1
360
dbt in Microsoft Fabric
ryomaru0825
1
490
Fabric-cicd によるAzure DevOps デプロイ
ryomaru0825
2
500
Fabric MCPの紹介と使い分け
ryomaru0825
3
620
Microsoft Fabricで考える非構造データのAI活用
ryomaru0825
1
1.7k
Microsoft Fabric のワークスペースと容量の設計原則
ryomaru0825
2
1.1k
Microsoft Fabric AI Demo @Tech Boost Summit 2025
ryomaru0825
1
590
忙しい人むけの FabCon Vienna 2025 KeyNote
ryomaru0825
1
310
Other Decks in Technology
See All in Technology
視野はAIに、視座は人に / ai-for-breadth-humans-for-perspective
nkzn
6
3.2k
GCASアップデート(202607-202610)
techniczna
1
230
2026 Apache Flink Community Checkpoint
rmetzger
0
200
AIがGISを代替する日:〜すべてをAIが創る時代に、私たちがFOSS4Gに関わる意味〜
lehupa
1
210
お客様の「やりたい」の先を見通す合意形成プロセス ~裏にある課題と不安を解きほぐすコツ~
yukakoseki
0
120
新米を「売り越さない」、Aurora DSQLで作る在庫ゼロ死守の限定ドロップEC
yama3133
0
190
Metadata - Section 3 : Dublin Core Standard · DC
mohab1
0
110
公共システムAdventCalendar2026
toru_kubota
0
280
Technical Project Manager の役割とやりがい、少しだけ AI
yoshiiryo1
0
600
会社説明資料_最新版
demaecan
0
32k
evcc & Home Assistant
naltatis
0
250
デザインレビューは自動化できるのか?─ Flutter × Figma で UI 品質保証を考える
techiro
2
820
Featured
See All Featured
The #1 spot is gone: here's how to win anyway
tamaranovitovic
4
1.2k
Everyday Curiosity
cassininazir
0
390
Designing Powerful Visuals for Engaging Learning
tmiket
1
650
Typedesign – Prime Four
hannesfritz
42
3.2k
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
2
3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.9k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
1
3.8k
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
74
43k
Building a Scalable Design System with Sketch
lauravandoore
464
34k
B2B Lead Gen: Tactics, Traps & Triumph
marketingsoph
1
300
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
livdayseo
0
240
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
600
Transcript
Microsoft Fabric のデータ統合機能について Microsoft MVP for Data Platform 永田 亮磨
Twitter: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata
自己紹介 永田 亮磨(Ryoma Nagata) • Microsoft MVP for Data Platform
• Databricks Solutions Architect Champion • 株式会社ジール • Microsoft Data Analytics Solution の導入など • 主な活動場所 • Qiita : @ryoma-nagata • Twitter : @ryomaru0825 • connpass : • JSSUG (Japan SQL Server User Group) • JEDAI - The Data & AI Meetup MVP Profile 推しサービス Synapse / Power BI / Databricks / Purview Fabric (New!)
• データ統合について • Microsoft Fabric のデータ統合 • デモ • オンプレミスデータゲートウェイとデータフローによる
SQL Server データの物理統合 • OneLake による仮想統合 with Azure Databricks Agenda
データ統合と相互運用性 データ統合と相互運用性の目標 1. 人とシステムそれぞれが必要とするフォーマットと時間枠でデータを提供できるようにする 2. データを物理的および仮想的にデータハブに集約する 3. モデルとインターフェースを開発し共有することでソリューションを管理するコストと複雑さを 削減する 4.
重要なイベント(機械と脅威)を特定し、アラートとアクションを起動する 5. ビジネスインテリジェンス、アナリティクス、マスターデータ管理、業務効率化の取り組みを サポートする DAMA International.『データマネジメント知識体系ガイド 第二版』.日経BP社.2018年,96p
• 中心となる技術は ETL(抽出、変換、取り込み): • データは物理的であれ仮想的であれETLプロセスにより、利用可能となる • 抽出: • 必要なデータをソースデータストアから抽出し、ディスクやメモリにステージングされる •
変換: • フォーマット変換/構造化変換/データモデルの変換/重複排除などのプロセスにより、ターゲットデータストアに 互換性のある形に変換する • 取り込み: • 変換結果がターゲットシステムで物理的に保存するか、提供される どのように実現されるか
• Data Factory の豊富なコネクタとパイプライン(EL) および、 データフローGen2(ETL) が OneLake にデータを取り込みます。 Synapse
Data Engineering の提供する Spark は複雑なETLを実行します。 Microsoft Fabric のデータ統合キーワード DMBOK キーワード Fabric 機能 • クラウドベース統合: 豊富なコネクタとサーバレス環境でのETLプロセス実行 • オーケストレーションとプロセスコントロール ETLプロセスの順序ならびにその整合性を保証する • Data Factory のパイプライン には フォールトトレランス、ログ、監視機能を備えた オーケストレーション機能があり、 ノーコードで複雑な依存関係を簡単にキャンバス上に作成で きます。 • データフェデレーションと仮想化 異なるデータストアにデータ存在する場合でも物理的 な統合以外の手段でデータを統合する • OneLake のショートカット は、 Azure / AWS / GCP といった主要なクラウドサービスにおけるオブジェクトストレージから データを移動をすることなく、データアクセスを提供します。 • データ交換標準 データの形式を標準化し、データ相互運用性を高め てデータの交換運用を統制する • OneLake 上にあるデータは一貫したURLでアクセスが可能です。 変換したデータは Delta Parquet に標準化されますが、 オープンスタンダードなフォーマット特性から Fabric に限らずさまざまな分析環境で再利用が 可能です。
• Docs の記載にあるように、完全な機能マッピングはできないものになっている。 • Fabric と Azure の Data Factory
の違い - Microsoft Fabric | Microsoft Learn • 主要な差異 • マッピングデータフローは Fabric では提供されず、データフローGen2が移行先となる • 統合ランタイム、データセットに類似する概念はない • セルフホステッド統合ランタイムについては現在ではオンプレミスデータゲートウェイがマッピングされるが、デザイン 中である • アクティビティの種類は追加中の状況だが、Teams , OutlookアクティビティなどAzureではlogic apps などを組み合わせて行うような処理がビルトインされた Azure Data Factory ≠ Fabric Data Factory ?
Fabric データ統合手法選定 2023/07版 オンプレミスデータストア オンプレミスデータゲートウェイとデータフロー Gen2 *パイプラインによるオンプレミスデータ統合を含めて設計中 One Lake ショートカットによる仮想統合
クラウドデータストア Synapse Link による、No-ETLによる物理統合 *一部計画中 オブジェクトストレージ Synapse SQL Pool / Dataverse / Cosmos DB データフロー Gen2 or パイプライン による物理統合 RDBMS/クラウドサービス その他 要件により選択可能 要件により選択可能 ソース ソリューション
オンプレミスデータゲートウェイとデータフローによる SQL Server データの物理統合 SQL Server ローカルラップトップ オンプレミスデータゲートウェイ Microsoft Fabric
Data Factory データフロー Gen2 レイクハウス Synapse Data Engineering OneLake Delta Parquet (データの実体) テーブル (メタデータ) 参照
OneLake による仮想統合 with Azure Databricks Microsoft Fabric Data Factory データフロー
Gen2 レイクハウス Synapse Data Engineering OneLake Delta Parquet (データの実体) テーブル (メタデータ) Azure Databricks Spark Cluster SQL Warehouse Databricks Computing ML SQL・BI 参照