Microsoft Fabric のユースケース整理

https://sqlserver.connpass.com/event/277151/
利用資料

Transcript

1. Microsoft Fabrick のユースケースとアイテム整理 Microsoft MVP for Data Platform 永田 亮磨 Twitter: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata
2. deck 自己紹介 永田 亮磨(Ryoma Nagata) 肩書 • 株式会社ジール 上席チーフスペシャリスト • Microsoft Data Analytics Solution の導入など • Microsoft MVP for Data Platform • Databricks Solutions Architect Champion 主な活動場所 • Qiita : @ryoma-nagata • Twitter : @ryomaru0825 • Speaker deck : @ryomaru0825 • connpass : • JSSUG (Japan SQL Server User Group) • JEDAI - The Data & AI Meetup MVP Profile 推しサービス Synapse / Power BI / Databricks / Purview Fabric (New!)
3. deck z Microsoft Fabric - Next Generation Cloud Data Analytics Solution - Qiita
4. deck データウェアハウス（SQL 開発者向け） • データ ウェアハウスのチュートリアル - 概要 - Microsoft Fabric | Microsoft Learn Warehouse EXPOSE PBI DATA SOURCE INGESTION TRANSFORM STORE Procedures Mount Enabled Structured/ Unstructured Pipelines & Dataflows Data Warehouse Mounts
5. deck データウェアハウスアイテム全体像 Data Factory Pipelines Copy Power Query Dataflow Gen2 Warehouse(s) Dataset Tables クロスデータベースクエリ EL 変換 データソース 取り込み 変換・モデル化 出力 生成 Lakehouse 構造化/非構造化 ETL バッチ Fabric link One Lake Data Warehouse KQL Database Lakehouse Shortcut Shortcuts対応 クロスデータベースクエリ Azure Synapse Gen2 外部クラウドDWH One Lake Data Warehouse Lakehouse (SQL Endpoint) Data Warehouse T-SQLクエリ T-SQL One Lake abfsアクセス SQL Tool Power BI Reports DQ / Import
6. deck レイクハウス（Spark 開発者向け） • Lakehouse のエンド ツー エンドのシナリオ: 概要とアーキテクチャ - Microsoft Fabric | Microsoft Learn Lake Warehouse DATA SOURCE INGESTION TRANSFORM STORE EXPOSE Shortcuts Lakehouse(s) Shortcut Enabled Structured/ Unstructured Pipelines & Dataflows PBI Notebooks & Dataflows
7. deck レイクハウスアイテム全体像 Azure Blob Amazon S3 Shortcuts対応 Streaming data Data Factory Pipelines Copy Power Query Dataflow Gen2 外部クラウドストレージ Event Hubs Data Engineering Real-time Analytics Lakehouse(s) Tables *Read-only SQL Endpoint(s) Event Streaming Event Processer Notebook Tables Files 仮想統合 EL 変換 データソース 取り込み 変換・モデル化 出力 生成 One Lake KQL Database Data Warehouse Lakehouse 構造化/非構造化 ETL バッチ ストリーミング Shortcut ストリーム変換 One Lake Data Warehouse KQL Database Lakehouse Shortcut Shortcuts対応 クロスデータベースクエリ Custom Apps One Lake abfsアクセス SQL Tool Dataset Power BI Reports Direct Lake
8. deck Reporting Semantic modeling Dataset Default/Selected Dataset Default Published by pbix Dataset Analyst (using SQL&DAX) Mixed data engineering teams Lakehouses Raw LH Shortcut Spark Enrich LH Curate LH Spark Spark Warehouses Raw WH T-SQL Enrich WH Curate WH T-SQL T-SQL SQL-endpoint(Read only) Spark Developer T-SQL Developer DI DE BI Lake(file) Shortcut Lake(file) Source from another type WH (with cross db query / shortcut) Selection by preference and code experience Architect ファブリックの決定ガイド - レイクハウスまたはデータ ウェアハウス - Microsoft Fabric | Microsoft Learn
9. deck データサイエンス • データ サイエンスのチュートリアル - 作業の開始 - Microsoft Fabric | Microsoft Learn STORE Lakehouse(s) Lake Warehouse DATA SOURCE CLEAN & PREPARE Notebooks Experiments Models DATA SOURCE TRAIN, TEST & APPLY EXPOSE ANALYSIS & INSIGHTS PBI Lakehouse & Data Warehouse
10. deck データサイエンスアイテム全体像 Data Science Lakehouse (Features) Notebook Tables ・・・ データソース 探索・前処理 トレーニング・スコアリング 出力 One Lake KQL Database Data Warehouse Lakehouse モデルのロード、 適用 Data Engineering Experiment Model runs Model Notebook Power BI Reports Lakehouse (Scoring) Tables ・・・ One Lake Data Warehouse Shortcuts対応 モデル管理 実験管理 SQL Endpoint 生成 バージョニング スコアリング 予測結果の保管 特徴量の生産と消費 取得 Shortcut One Lake abfsアクセス クロス データベースクエリ
11. deck リアルタイム分析 • Microsoft Fabric のReal-Time Analytics の概要 - Microsoft Fabric | Microsoft Learn Lakehouse & Data Warehouse Lakehouse & Data Warehouse DATA SOURCE INGESTION STORE EXPOSE Structured/ Unstructured Pipelines & Dataflows Kusto DB Event Streaming PBI ML Model Notebook DATA SOURCE Kusto Query CI & Shortcuts MIRROR
12. deck リアルタイム分析アイテム全体像 Azure Blob Amazon S3 Shortcuts対応 Streaming data Data Factory Pipelines Copy Power Query Dataflow Gen2 外部クラウドストレージ Event Hubs 仮想統合 EL ストリーム処理 データソース 取り込み 変換・モデル化 出力 One Lake KQL Database Data Warehouse Lakehouse 構造化/非構造化 ETL バッチ ストリーミング Shortcut Custom Apps Power BI Reports Real-time Analytics Event Streaming Event Processer KQL Database クエリ KQL Queryset One Lake Shortcuts対応 Tables
13. deck • Fabric (プレビュー) 試用版 - Microsoft Fabric | Microsoft Learn • 試用版については既定でテナント設定が許 可（2023/7/1にむけて容量割当てなど の許可は無効になっています。 はじめかた 既定のテナント設定 Fabric 許可（2023/7/1に向けての設定？） 試用版
14. deck リソース • MSLearn • Microsoft Fabric のドキュメント - Microsoft Fabric | Microsoft Learn • Microsoft Fabric の概要 - Training | Microsoft Learn • それぞれの内容がお手軽に実施できます • Microsoft Fabric のエンド ツー エンドのチュートリアル - Microsoft Fabric | Microsoft Learn • サポート、コミュニティ • Ideas • Microsoft Fabric のサポートと状態 | Microsoft Fabric • Microsoft Fabric Community • Microsoft Fabric Blog • Learn about Microsoft Fabric from MVPs | Microsoft Fabric Blog | Microsoft Fabric • その他 • やんさんの記事：Microsoft Fabric - Next Generation Cloud Data Analytics Solution – Qiita • 消費量レポート：https://appsource.microsoft.com/en-us/product/power-bi/pbi_pcmm.microsoftpremiumfabricpreviewreport?exp=ubp8 • Git : Introducing git integration in Microsoft Fabric for seamless sosurce control management | Microsoft Fabric Blog | Microsoft Fabric • Data Activator サインアップ：https://aka.ms/dataActivatorPreview • Direct Lake：Comprehensive Guide to Direct Lake Datasets in Microsoft Fabric
15. deck • Copilot in Power BI Overview – YouTube • Copilot in Power BI Demo – YouTube • Microsoft Fabric Launch Digital Event (Day 1) – YouTube • Microsoft Fabric Launch Digital Event (Day 2) - YouTube • Build関連 • Microsoft Build • Next generation AI for developers with the Microsoft Cloud • Data analytics for the era of AI (microsoft.com) • Empower every BI professional to do more with Microsoft Fabric • Modernize your Enterprise Data Warehouse & generate value from data with Microsoft Fabric • Modernize your data integration to enable petabyte scale analytics with Microsoft Fabric • Models to outcomes with end-to-end data science workflows in Microsoft Fabric • Secure, govern and manage your data at scale in Microsoft Fabric • Real Time analytics - Sense, analyze, generate insights with Microsoft Fabric • Using Spark to accelerate your lakehouse architecture with Microsoft Fabric • Eliminate data silos with OneLake, the OneDrive for Data (microsoft.com) 動画
16. deck