Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Microsoft Fabric のユースケース整理

Microsoft Fabric のユースケース整理

Ryoma Nagata

May 26, 2023
Tweet

More Decks by Ryoma Nagata

Other Decks in Technology

Transcript

  1. Microsoft Fabrick のユースケースとアイテム整理
    Microsoft MVP for Data Platform
    永田 亮磨
    Twitter: @ryomaru0825
    Linkedin: ryoma-nagata-0825
    Qiita: ryoma-nagata

    View full-size slide

  2. deck
    自己紹介
    永田 亮磨(Ryoma Nagata)
    肩書
    • 株式会社ジール 上席チーフスペシャリスト
    • Microsoft Data Analytics Solution の導入など
    • Microsoft MVP for Data Platform
    • Databricks Solutions Architect Champion
    主な活動場所
    • Qiita : @ryoma-nagata
    • Twitter : @ryomaru0825
    • Speaker deck : @ryomaru0825
    • connpass :
    • JSSUG (Japan SQL Server User Group)
    • JEDAI - The Data & AI Meetup
    MVP Profile
    推しサービス
    Synapse / Power BI / Databricks / Purview
    Fabric (New!)

    View full-size slide

  3. deck
    z
    Microsoft Fabric - Next Generation Cloud Data
    Analytics Solution - Qiita

    View full-size slide

  4. deck
    データウェアハウス(SQL 開発者向け)
    • データ ウェアハウスのチュートリアル - 概要 - Microsoft Fabric | Microsoft Learn
    Warehouse
    EXPOSE
    PBI
    DATA SOURCE INGESTION
    TRANSFORM
    STORE
    Procedures
    Mount
    Enabled
    Structured/
    Unstructured
    Pipelines &
    Dataflows
    Data
    Warehouse
    Mounts

    View full-size slide

  5. deck
    データウェアハウスアイテム全体像
    Data Factory
    Pipelines
    Copy
    Power Query
    Dataflow Gen2
    Warehouse(s)
    Dataset
    Tables
    クロスデータベースクエリ
    EL
    変換
    データソース 取り込み 変換・モデル化 出力
    生成
    Lakehouse
    構造化/非構造化
    ETL
    バッチ
    Fabric link
    One Lake
    Data Warehouse
    KQL Database
    Lakehouse
    Shortcut
    Shortcuts対応
    クロスデータベースクエリ
    Azure Synapse Gen2
    外部クラウドDWH
    One Lake
    Data
    Warehouse
    Lakehouse
    (SQL Endpoint)
    Data Warehouse T-SQLクエリ
    T-SQL
    One Lake abfsアクセス
    SQL Tool
    Power BI
    Reports
    DQ / Import

    View full-size slide

  6. deck
    レイクハウス(Spark 開発者向け)
    • Lakehouse のエンド ツー エンドのシナリオ: 概要とアーキテクチャ - Microsoft Fabric | Microsoft Learn
    Lake
    Warehouse
    DATA SOURCE INGESTION
    TRANSFORM
    STORE EXPOSE
    Shortcuts
    Lakehouse(s)
    Shortcut
    Enabled
    Structured/
    Unstructured
    Pipelines &
    Dataflows
    PBI
    Notebooks &
    Dataflows

    View full-size slide

  7. deck
    レイクハウスアイテム全体像
    Azure Blob Amazon S3
    Shortcuts対応
    Streaming data
    Data Factory
    Pipelines
    Copy
    Power Query
    Dataflow Gen2
    外部クラウドストレージ
    Event Hubs
    Data Engineering
    Real-time Analytics
    Lakehouse(s)
    Tables
    *Read-only
    SQL Endpoint(s)
    Event Streaming
    Event Processer
    Notebook
    Tables
    Files
    仮想統合
    EL
    変換
    データソース 取り込み 変換・モデル化 出力
    生成
    One Lake
    KQL
    Database
    Data
    Warehouse
    Lakehouse
    構造化/非構造化
    ETL
    バッチ
    ストリーミング
    Shortcut
    ストリーム変換
    One Lake
    Data Warehouse
    KQL Database
    Lakehouse
    Shortcut
    Shortcuts対応
    クロスデータベースクエリ
    Custom Apps
    One Lake abfsアクセス
    SQL Tool
    Dataset
    Power BI
    Reports
    Direct Lake

    View full-size slide

  8. deck
    Reporting
    Semantic modeling
    Dataset
    Default/Selected
    Dataset
    Default
    Published by pbix
    Dataset
    Analyst
    (using SQL&DAX)
    Mixed data engineering teams
    Lakehouses
    Raw LH
    Shortcut
    Spark Enrich
    LH
    Curate
    LH
    Spark Spark
    Warehouses
    Raw WH
    T-SQL Enrich
    WH
    Curate
    WH
    T-SQL T-SQL
    SQL-endpoint(Read only)
    Spark Developer
    T-SQL
    Developer
    DI DE BI
    Lake(file)
    Shortcut
    Lake(file)
    Source from
    another type WH
    (with cross db
    query / shortcut)
    Selection by preference and
    code experience
    Architect
    ファブリックの決定ガイド - レイクハウスまたはデータ ウェアハウス - Microsoft Fabric | Microsoft Learn

    View full-size slide

  9. deck
    データサイエンス
    • データ サイエンスのチュートリアル - 作業の開始 - Microsoft Fabric | Microsoft Learn
    STORE
    Lakehouse(s)
    Lake
    Warehouse
    DATA SOURCE CLEAN &
    PREPARE
    Notebooks
    Experiments
    Models
    DATA SOURCE
    TRAIN, TEST &
    APPLY
    EXPOSE
    ANALYSIS &
    INSIGHTS
    PBI
    Lakehouse
    & Data
    Warehouse

    View full-size slide

  10. deck
    データサイエンスアイテム全体像
    Data Science
    Lakehouse
    (Features)
    Notebook
    Tables
    ・・・
    データソース 探索・前処理 トレーニング・スコアリング 出力
    One Lake
    KQL
    Database
    Data
    Warehouse
    Lakehouse
    モデルのロード、
    適用
    Data Engineering
    Experiment Model
    runs Model
    Notebook
    Power BI
    Reports
    Lakehouse
    (Scoring)
    Tables
    ・・・
    One Lake
    Data Warehouse
    Shortcuts対応
    モデル管理
    実験管理
    SQL Endpoint
    生成
    バージョニング
    スコアリング 予測結果の保管
    特徴量の生産と消費
    取得
    Shortcut
    One Lake abfsアクセス
    クロス
    データベースクエリ

    View full-size slide

  11. deck
    リアルタイム分析
    • Microsoft Fabric のReal-Time Analytics の概要 - Microsoft Fabric | Microsoft Learn
    Lakehouse
    & Data
    Warehouse
    Lakehouse
    & Data
    Warehouse
    DATA SOURCE INGESTION STORE EXPOSE
    Structured/
    Unstructured
    Pipelines &
    Dataflows
    Kusto DB
    Event
    Streaming
    PBI
    ML Model
    Notebook
    DATA SOURCE
    Kusto Query
    CI &
    Shortcuts
    MIRROR

    View full-size slide

  12. deck
    リアルタイム分析アイテム全体像
    Azure Blob Amazon S3
    Shortcuts対応
    Streaming data
    Data Factory
    Pipelines
    Copy
    Power Query
    Dataflow Gen2
    外部クラウドストレージ
    Event Hubs
    仮想統合
    EL
    ストリーム処理
    データソース 取り込み 変換・モデル化 出力
    One Lake
    KQL
    Database
    Data
    Warehouse
    Lakehouse
    構造化/非構造化
    ETL
    バッチ
    ストリーミング
    Shortcut
    Custom Apps
    Power BI
    Reports
    Real-time Analytics
    Event Streaming
    Event Processer
    KQL Database
    クエリ
    KQL Queryset
    One Lake
    Shortcuts対応
    Tables

    View full-size slide

  13. deck
    • Fabric (プレビュー) 試用版 -
    Microsoft Fabric | Microsoft
    Learn
    • 試用版については既定でテナント設定が許
    可(2023/7/1にむけて容量割当てなど
    の許可は無効になっています。
    はじめかた
    既定のテナント設定
    Fabric 許可(2023/7/1に向けての設定?)
    試用版

    View full-size slide

  14. deck
    リソース
    • MSLearn
    • Microsoft Fabric のドキュメント - Microsoft Fabric | Microsoft Learn
    • Microsoft Fabric の概要 - Training | Microsoft Learn
    • それぞれの内容がお手軽に実施できます
    • Microsoft Fabric のエンド ツー エンドのチュートリアル - Microsoft Fabric | Microsoft Learn
    • サポート、コミュニティ
    • Ideas
    • Microsoft Fabric のサポートと状態 | Microsoft Fabric
    • Microsoft Fabric Community
    • Microsoft Fabric Blog
    • Learn about Microsoft Fabric from MVPs | Microsoft Fabric Blog | Microsoft Fabric
    • その他
    • やんさんの記事:Microsoft Fabric - Next Generation Cloud Data Analytics Solution – Qiita
    • 消費量レポート:https://appsource.microsoft.com/en-us/product/power-bi/pbi_pcmm.microsoftpremiumfabricpreviewreport?exp=ubp8
    • Git : Introducing git integration in Microsoft Fabric for seamless sosurce control management | Microsoft Fabric Blog | Microsoft Fabric
    • Data Activator サインアップ:https://aka.ms/dataActivatorPreview
    • Direct Lake:Comprehensive Guide to Direct Lake Datasets in Microsoft Fabric

    View full-size slide

  15. deck
    • Copilot in Power BI Overview – YouTube
    • Copilot in Power BI Demo – YouTube
    • Microsoft Fabric Launch Digital Event (Day 1) – YouTube
    • Microsoft Fabric Launch Digital Event (Day 2) - YouTube
    • Build関連
    • Microsoft Build
    • Next generation AI for developers with the Microsoft Cloud
    • Data analytics for the era of AI (microsoft.com)
    • Empower every BI professional to do more with Microsoft Fabric
    • Modernize your Enterprise Data Warehouse & generate value from data with Microsoft Fabric
    • Modernize your data integration to enable petabyte scale analytics with Microsoft Fabric
    • Models to outcomes with end-to-end data science workflows in Microsoft Fabric
    • Secure, govern and manage your data at scale in Microsoft Fabric
    • Real Time analytics - Sense, analyze, generate insights with Microsoft Fabric
    • Using Spark to accelerate your lakehouse architecture with Microsoft Fabric
    • Eliminate data silos with OneLake, the OneDrive for Data (microsoft.com)
    動画

    View full-size slide