Microsoft Fabric のユースケース整理

https://sqlserver.connpass.com/event/277151/
利用資料

Transcript

1. Microsoft Fabrick のユースケースとアイテム整理
   Microsoft MVP for Data Platform
   永田 亮磨
   Twitter: @ryomaru0825
   Linkedin: ryoma-nagata-0825
   Qiita: ryoma-nagata
   

   View Slide

2. deck
   自己紹介
   永田 亮磨(Ryoma Nagata)
   肩書
   • 株式会社ジール 上席チーフスペシャリスト
   • Microsoft Data Analytics Solution の導入など
   • Microsoft MVP for Data Platform
   • Databricks Solutions Architect Champion
   主な活動場所
   • Qiita : @ryoma-nagata
   • Twitter : @ryomaru0825
   • Speaker deck : @ryomaru0825
   • connpass :
   • JSSUG (Japan SQL Server User Group)
   • JEDAI - The Data & AI Meetup
   MVP Profile
   推しサービス
   Synapse / Power BI / Databricks / Purview
   Fabric (New!)
   

   View Slide

3. deck
   z
   Microsoft Fabric - Next Generation Cloud Data
   Analytics Solution - Qiita
   

   View Slide

4. deck
   データウェアハウス（SQL 開発者向け）
   • データ ウェアハウスのチュートリアル - 概要 - Microsoft Fabric | Microsoft Learn
   Warehouse
   EXPOSE
   PBI
   DATA SOURCE INGESTION
   TRANSFORM
   STORE
   Procedures
   Mount
   Enabled
   Structured/
   Unstructured
   Pipelines &
   Dataflows
   Data
   Warehouse
   Mounts
   

   View Slide

5. deck
   データウェアハウスアイテム全体像
   Data Factory
   Pipelines
   Copy
   Power Query
   Dataflow Gen2
   Warehouse(s)
   Dataset
   Tables
   クロスデータベースクエリ
   EL
   変換
   データソース 取り込み 変換・モデル化 出力
   生成
   Lakehouse
   構造化/非構造化
   ETL
   バッチ
   Fabric link
   One Lake
   Data Warehouse
   KQL Database
   Lakehouse
   Shortcut
   Shortcuts対応
   クロスデータベースクエリ
   Azure Synapse Gen2
   外部クラウドDWH
   One Lake
   Data
   Warehouse
   Lakehouse
   (SQL Endpoint)
   Data Warehouse T-SQLクエリ
   T-SQL
   One Lake abfsアクセス
   SQL Tool
   Power BI
   Reports
   DQ / Import
   

   View Slide

6. deck
   レイクハウス（Spark 開発者向け）
   • Lakehouse のエンド ツー エンドのシナリオ: 概要とアーキテクチャ - Microsoft Fabric | Microsoft Learn
   Lake
   Warehouse
   DATA SOURCE INGESTION
   TRANSFORM
   STORE EXPOSE
   Shortcuts
   Lakehouse(s)
   Shortcut
   Enabled
   Structured/
   Unstructured
   Pipelines &
   Dataflows
   PBI
   Notebooks &
   Dataflows
   

   View Slide

7. deck
   レイクハウスアイテム全体像
   Azure Blob Amazon S3
   Shortcuts対応
   Streaming data
   Data Factory
   Pipelines
   Copy
   Power Query
   Dataflow Gen2
   外部クラウドストレージ
   Event Hubs
   Data Engineering
   Real-time Analytics
   Lakehouse(s)
   Tables
   *Read-only
   SQL Endpoint(s)
   Event Streaming
   Event Processer
   Notebook
   Tables
   Files
   仮想統合
   EL
   変換
   データソース 取り込み 変換・モデル化 出力
   生成
   One Lake
   KQL
   Database
   Data
   Warehouse
   Lakehouse
   構造化/非構造化
   ETL
   バッチ
   ストリーミング
   Shortcut
   ストリーム変換
   One Lake
   Data Warehouse
   KQL Database
   Lakehouse
   Shortcut
   Shortcuts対応
   クロスデータベースクエリ
   Custom Apps
   One Lake abfsアクセス
   SQL Tool
   Dataset
   Power BI
   Reports
   Direct Lake
   

   View Slide

8. deck
   Reporting
   Semantic modeling
   Dataset
   Default/Selected
   Dataset
   Default
   Published by pbix
   Dataset
   Analyst
   (using SQL&DAX)
   Mixed data engineering teams
   Lakehouses
   Raw LH
   Shortcut
   Spark Enrich
   LH
   Curate
   LH
   Spark Spark
   Warehouses
   Raw WH
   T-SQL Enrich
   WH
   Curate
   WH
   T-SQL T-SQL
   SQL-endpoint(Read only)
   Spark Developer
   T-SQL
   Developer
   DI DE BI
   Lake(file)
   Shortcut
   Lake(file)
   Source from
   another type WH
   (with cross db
   query / shortcut)
   Selection by preference and
   code experience
   Architect
   ファブリックの決定ガイド - レイクハウスまたはデータ ウェアハウス - Microsoft Fabric | Microsoft Learn
   

   View Slide

9. deck
   データサイエンス
   • データ サイエンスのチュートリアル - 作業の開始 - Microsoft Fabric | Microsoft Learn
   STORE
   Lakehouse(s)
   Lake
   Warehouse
   DATA SOURCE CLEAN &
   PREPARE
   Notebooks
   Experiments
   Models
   DATA SOURCE
   TRAIN, TEST &
   APPLY
   EXPOSE
   ANALYSIS &
   INSIGHTS
   PBI
   Lakehouse
   & Data
   Warehouse
   

   View Slide

10. deck
    データサイエンスアイテム全体像
    Data Science
    Lakehouse
    (Features)
    Notebook
    Tables
    ・・・
    データソース 探索・前処理 トレーニング・スコアリング 出力
    One Lake
    KQL
    Database
    Data
    Warehouse
    Lakehouse
    モデルのロード、
    適用
    Data Engineering
    Experiment Model
    runs Model
    Notebook
    Power BI
    Reports
    Lakehouse
    (Scoring)
    Tables
    ・・・
    One Lake
    Data Warehouse
    Shortcuts対応
    モデル管理
    実験管理
    SQL Endpoint
    生成
    バージョニング
    スコアリング 予測結果の保管
    特徴量の生産と消費
    取得
    Shortcut
    One Lake abfsアクセス
    クロス
    データベースクエリ
    

    View Slide

11. deck
    リアルタイム分析
    • Microsoft Fabric のReal-Time Analytics の概要 - Microsoft Fabric | Microsoft Learn
    Lakehouse
    & Data
    Warehouse
    Lakehouse
    & Data
    Warehouse
    DATA SOURCE INGESTION STORE EXPOSE
    Structured/
    Unstructured
    Pipelines &
    Dataflows
    Kusto DB
    Event
    Streaming
    PBI
    ML Model
    Notebook
    DATA SOURCE
    Kusto Query
    CI &
    Shortcuts
    MIRROR
    

    View Slide

12. deck
    リアルタイム分析アイテム全体像
    Azure Blob Amazon S3
    Shortcuts対応
    Streaming data
    Data Factory
    Pipelines
    Copy
    Power Query
    Dataflow Gen2
    外部クラウドストレージ
    Event Hubs
    仮想統合
    EL
    ストリーム処理
    データソース 取り込み 変換・モデル化 出力
    One Lake
    KQL
    Database
    Data
    Warehouse
    Lakehouse
    構造化/非構造化
    ETL
    バッチ
    ストリーミング
    Shortcut
    Custom Apps
    Power BI
    Reports
    Real-time Analytics
    Event Streaming
    Event Processer
    KQL Database
    クエリ
    KQL Queryset
    One Lake
    Shortcuts対応
    Tables
    

    View Slide

13. deck
    • Fabric (プレビュー) 試用版 -
    Microsoft Fabric | Microsoft
    Learn
    • 試用版については既定でテナント設定が許
    可（2023/7/1にむけて容量割当てなど
    の許可は無効になっています。
    はじめかた
    既定のテナント設定
    Fabric 許可（2023/7/1に向けての設定？）
    試用版
    

    View Slide

14. deck
    リソース
    • MSLearn
    • Microsoft Fabric のドキュメント - Microsoft Fabric | Microsoft Learn
    • Microsoft Fabric の概要 - Training | Microsoft Learn
    • それぞれの内容がお手軽に実施できます
    • Microsoft Fabric のエンド ツー エンドのチュートリアル - Microsoft Fabric | Microsoft Learn
    • サポート、コミュニティ
    • Ideas
    • Microsoft Fabric のサポートと状態 | Microsoft Fabric
    • Microsoft Fabric Community
    • Microsoft Fabric Blog
    • Learn about Microsoft Fabric from MVPs | Microsoft Fabric Blog | Microsoft Fabric
    • その他
    • やんさんの記事：Microsoft Fabric - Next Generation Cloud Data Analytics Solution – Qiita
    • 消費量レポート：https://appsource.microsoft.com/en-us/product/power-bi/pbi_pcmm.microsoftpremiumfabricpreviewreport?exp=ubp8
    • Git : Introducing git integration in Microsoft Fabric for seamless sosurce control management | Microsoft Fabric Blog | Microsoft Fabric
    • Data Activator サインアップ：https://aka.ms/dataActivatorPreview
    • Direct Lake：Comprehensive Guide to Direct Lake Datasets in Microsoft Fabric
    

    View Slide

15. deck
    • Copilot in Power BI Overview – YouTube
    • Copilot in Power BI Demo – YouTube
    • Microsoft Fabric Launch Digital Event (Day 1) – YouTube
    • Microsoft Fabric Launch Digital Event (Day 2) - YouTube
    • Build関連
    • Microsoft Build
    • Next generation AI for developers with the Microsoft Cloud
    • Data analytics for the era of AI (microsoft.com)
    • Empower every BI professional to do more with Microsoft Fabric
    • Modernize your Enterprise Data Warehouse & generate value from data with Microsoft Fabric
    • Modernize your data integration to enable petabyte scale analytics with Microsoft Fabric
    • Models to outcomes with end-to-end data science workflows in Microsoft Fabric
    • Secure, govern and manage your data at scale in Microsoft Fabric
    • Real Time analytics - Sense, analyze, generate insights with Microsoft Fabric
    • Using Spark to accelerate your lakehouse architecture with Microsoft Fabric
    • Eliminate data silos with OneLake, the OneDrive for Data (microsoft.com)
    動画
    

    View Slide

16. deck
    

    View Slide