Data Engineering Study 21 - Microsoft Fabric

Slide 1

Slide 1 text

Microsoft Fabric AI 時代のデータ分析日本マイクロソフト株式会社カスタマーサクセス事業本部クラウドソリューションアーキテクト中里浩之 hiroyuki-nakazato @nakazax Data Engineering Study #21

Slide 2

Slide 2 text

“Microsoft Fabric は Microsoft のデータ関連製品として SQL Server 以来、最大の発表になるだろう” Microsoft CEO サティアナデラ (Microsoft Build 2023)

Slide 3

Slide 3 text

Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景次世代 BI と先端テクノロジーの融合レイクセントリックなアーキテクチャー AI Copilot (副操縦士) 搭載ライセンスとキャパシティの考え方 1 2 3 4 5

Slide 4

Slide 4 text

Slide 5

Slide 5 text

全く新しい AI テクノロジーの台頭生成 AI

Slide 6

Slide 6 text

国家レベルでの議論が活発化多くの企業が生成 AI を自社に導入プロンプトエンジニアリングに脚光生成 AI の登場後、極めて大きな反響

Slide 7

Slide 7 text

AI の重要性データの重要性

Slide 8

Slide 8 text

2023 年の機械学習, AI, データのランドスケープ

Slide 9

Slide 9 text

”もっとシンプルにしてほしい私は最高データ責任者であり最高統合責任者になりたい訳ではない” あらゆる企業の CDO のコメント

Slide 10

Slide 10 text

パブリックプレビュー Microsoft Fabric AI 時代のためのオールインワン SaaS データ分析ソリューション

Slide 11

Slide 11 text

Microsoft Fabric AI 時代のデータ分析 OneLake Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator

Slide 12

Slide 12 text

Slide 13

Slide 13 text

クラウド AI 開発者サービデータ統合ツールクラウド・データベース管理システム市場の評価

Slide 14

Slide 14 text

クラウド AI 開発者サービス・データベース理システムアナリティクス／ BI プラットフォーム市場の評価

Slide 15

Slide 15 text

Microsoft Fabric Power BI を中心としたストラテジー使いやすさ、データの可視化・分析機能の深さで、誰もが認めるリーダーになる Office 生産性スイート全体で普遍的に使用 Fabric 全体で統一される実証済みのテクノロジー AI ドリブンの Copilot 体験と組み合わせて、より迅速な洞察を実現

Slide 16

Slide 16 text

Azure Data+AI PaaS データウェアハウスデータエンジニアリングデータ統合 Azure で実証されたデータ分析テクノロジーとの融合リアルタイム分析データレイクハウス Power BI SaaS コラボレーションデータ活用全体でのコラボレーションコラボレーティブBI ビジネス連携データサイエンス・ MLOps

Slide 17

Slide 17 text

Slide 18

Slide 18 text

パブリックプレビュー OneLake

Slide 19

Slide 19 text

インテリジェントなデータ基盤 OneLake “データのための OneDrive” 組織全体のための単一の SaaS レイクテナントで自動的にプロビジョニングされるすべてのワークロードは OneLake ワークスペースフォルダーに自動的にデータを保存するすべてのデータは直感的な階層型名前空間に整理して格納される OneLake 上のデータは次の用途のために自動的にインデックス化される：検出、 MIP ラベル、系列、PII スキャン、共有、ガバナンス、コンプライアンス Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator

Slide 20

Slide 20 text

One Copy すべてのコンピューティングエンジンはデータを OneLake に自動的に保存する OneLake 上のすべての構造化データはオープンスタンダードなデータ形式である Delta – Parquet 形式で保存される OneLake にデータが保存されるとインポートやエクスポートを必要とせずにすべてのコンピューティングエンジンから直接アクセス可能すべてのコンピューティングエンジンはネイティブ形式として Delta Parquet で動作するよう完全に最適化 One Security: すべてのコンピューティングエンジンに共通のセキュリティモデルを適用サーバーレスコンピューティングカスタマー 360 ファイナンスサービステレメトリービジネス KPI Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator T-SQL Spark KQL Analysis Services すべてのコンピューティングエンジンが同じデータにアクセス可能

Slide 21

Slide 21 text

One Security (今後のロードマップ) すべてのコンピューティングエンジンに共通のセキュリティモデルを適用サーバーレスコンピューティング Spark T-SQL KQL Analysis Services One Security カスタマー 360 ファイナンスサービステレメトリービジネス KPI Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator すべてのコンピューティングエンジンはデータを OneLake に自動的に保存する OneLake 上のすべての構造化データはオープンスタンダードなデータ形式である Delta – Parquet 形式で保存される OneLake にデータが保存されるとインポートやエクスポートを必要とせずにすべてのコンピューティングエンジンから直接アクセス可能すべてのコンピューティングエンジンはネイティブ形式として Delta Parquet で動作するよう完全に最適化 One Security: すべてのコンピューティングエンジンに共通のセキュリティモデルを適用

Slide 22

Slide 22 text

カスタマー 360 ファイナンスサービステレメトリービジネス KPI Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake ショートカット OneLake を次のレベルに引き上げる OneLake でのデータ共有は OneDrive でのファイル共有と同じくらい簡単でデータの重複が不要になるショートカットを利用することで OneLake 内のデータを移動することなく組み合わせられるショートカットを利用することでデータの重複や移動なしに Azure や他のクラウドに存在するデータを即座にリンクできるため、OneLake は初めてのマルチクラウドデータレイクになる業界標準の API のサポートにより OneLake データに任意のアプリケーションやサービスから直接アクセスできる Amazon S3 Google Cloud Storage (Coming soon) Azure Data Lake Storage Gen2

Slide 23

Slide 23 text

OneLake データへのオープンアクセス Azure Databricks Azure HDInsight ADLS Gen2 互換 ADLS Gen2 との互換性とショートカットにより既存の資産を効率的に活用ショートカットショートカット Azure Data Lake Storage Gen2 (ADLS Gen2) ADLS Gen2 対応アプリケーションの例 DFS API

Slide 24

Slide 24 text

オンプレミスデータ Azure サービス 150+ の多様なコネクターを用いてノーコードでのデータの取込が可能 Amazon Redshift Google BigQuery Snowflake ADLS Gen2 Amazon S3 GCS (Coming Soon) 3 クラウドのオブジェクトストレージをショートカットとして登録可能

Slide 25

Slide 25 text

Demo: OneLake ショートカット

Slide 26

Slide 26 text

デモシナリオ ADLS Gen2 Amazon S3 売上ファクトテーブル (Delta Lake 形式) 各種ディメンションテーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット

Slide 27

Slide 27 text

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

Slide 34

Slide 34 text

プライベートプレビュー Copilot in Microsoft Fabric

Slide 35

Slide 35 text

Copilot で生産性を加速させる Synapse Real Time Analytics Power BI Data Activator Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing OneLake Microsoft Fabric

Slide 36

Slide 36 text

No content

Slide 37

Slide 37 text

Microsoft Cloud 信頼に基づく実行お客様のデータはお客様自身のものお客様のデータは、最も包括的な企業向けコンプライアンスとセキュリティ対策によって保護されていますお客様のデータは、ファインチューニングを行った場合でも、基礎となる AI モデルの訓練には使用されません

Slide 38

Slide 38 text

Slide 39

Slide 39 text

利用開始方法 Microsoft Fabric 方法 1 Power BI Premium 容量方法 2 無料試用版の Fabric 容量方法 3 従量課金制の Fabric 容量

Slide 40

Slide 40 text

コンピューティング Fabric 容量価格の構成要素 Microsoft Fabric 容量ユニット (CU) を F2 - F2048 でプロビジョニングすべての分析エンジンで CU を共有一時停止 / 再開 / サイズ変更が可能従量課金制 (最低 1 分からの秒単位課金) ストレージ OneLake すべてのデータを一か所に保存従量課金制 (GB / 月あたりの料金)

Slide 41

Slide 41 text

パブリックプレビュー参考価格 (US West 2) Microsoft Fabric パブリックプレビュー中の価格のため、一般提供までに変更となる可能性があります Fabric 容量 OneLake ストレージデータ転送* * リージョンをまたぐデータ転送を行う場合、リージョン間の Bandwidth 料金がかかります $0.023/GB/月 * 今後、予約容量を提供予定 SKU 容量ユニット (CU) 従量課金 (1 時間) 従量課金 (1 か月) F2 2 $0.36 $262.80 F4 4 $0.72 $525.60 F8 8 $1.44 $1,051.20 F16 16 $2.88 $2,102.40 F32 32 $5.76 $4,204.80 F64 64 $11.52 $8,409.60 F128 128 $23.04 $16,819.20 F256 256 $46.08 $33,638.40 F512 512 $92.16 $67,276.80 F1024 1024 $184.32 $134,553.60 F2048 2048 $368.64 $269,107.20

Slide 42

Slide 42 text

ライセンス詳細はこちら https://aka.ms/fabriclicensing Microsoft Fabric

Slide 43

Slide 43 text

よくある質問と回答 Azure のデータ分析関連サービスは今後どうなりますか？ Microsoft は Azure Synapse Analytics や Azure Data Factory、 Azure Data Explorer、Azure Databricks などの堅牢で企業向けのデータ分析関連の PaaS ソリューションを引き続き提供します。 Microsoft Fabric はデータ分析関連機能を一体化し、よりシンプルな SaaS ソリューションとして提供します。お客様のニーズに応じて適切なソリューションを選択頂けます。なお、Synapse や Data Factory からの移行を希望するユーザー向けの移行パスを準備中です。 Q A

Slide 44

Slide 44 text

機能の提供状況 (2023 年 8 月現在) パブリックプレビュー Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time analytics Copilot for Power BI (DAX) OneLake 一般提供 Power BI Data Activator Copilot for Microsoft Fabric Copilot for Power BI (full) プライベートプレビュー

Slide 45

Slide 45 text

Call to Action: 無料トライアルをはじめましょう！ aka.ms/TryFabric Fabric (プレビュー) 無料試用版開始手順 (Docs) https://learn.microsoft.com/ja-jp/fabric/get-started/fabric-trial

Slide 46

Slide 46 text

今すぐ始めるには - aka.ms/TryFabric 製品サイト https://www.microsoft.com/ja-jp/microsoft-fabric プレビュー試用版開始手順 (Docs) https://learn.microsoft.com/ja-jp/fabric/get-started/fabric-trial Microsoft Fabric のドキュメント https://learn.microsoft.com/ja-jp/fabric/ Microsoft Learn - Microsoft Fabric の概要 https://learn.microsoft.com/ja-jp/training/paths/get-started-fabric/