Data Engineering Study 21 - Microsoft Fabric

2023/8/30 開催の Data Engineering Study #21 の後半セッション - Microsoft Fabric

Transcript

1. Microsoft Fabric AI 時代のデータ分析 日本マイクロソフト株式会社 カスタマーサクセス事業本部 クラウドソリューションアーキテクト 中里 浩之 hiroyuki-nakazato @nakazax Data Engineering Study #21
2. “Microsoft Fabric は Microsoft のデータ関連製品として SQL Server 以来、最大の発表になるだろう” Microsoft CEO サティア ナデラ (Microsoft Build 2023)
3. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
4. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
5. 全く新しい AI テクノロジーの台頭 生成 AI
6. 国家レベルでの 議論が活発化 多くの企業が生成 AI を 自社に導入 プロンプト エンジニアリングに脚光 生成 AI の登場後、極めて大きな反響
7. AI の重要性 データの重要性
8. 2023 年の機械学習, AI, データのランドスケープ
9. ”もっとシンプルにしてほしい 私は最高データ責任者であり 最高統合責任者に なりたい訳ではない” あらゆる企業の CDO のコメント
10. パブリック プレビュー Microsoft Fabric AI 時代のためのオールインワン SaaS データ分析ソリューション
11. Microsoft Fabric AI 時代のデータ分析 OneLake Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator
12. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
13. クラウド AI 開発者サービ データ統合ツール クラウド・データベース 管理システム 市場の評価
14. クラウド AI 開発者サービス ・データベース 理システム アナリティクス／ BI プラットフォーム 市場の評価
15. Microsoft Fabric Power BI を中心としたストラテジー 使いやすさ、データの可視化・分析機能の深さで、 誰もが認めるリーダーになる Office 生産性スイート全体で 普遍的に使用 Fabric 全体で統一される 実証済みのテクノロジー AI ドリブンの Copilot 体験と組み合わせて、 より迅速な洞察を実現
16. Azure Data+AI PaaS データ ウェアハウス データ エンジニアリング データ統合 Azure で実証されたデータ分析テクノロジーとの融合 リアルタイム分析 データ レイクハウス Power BI SaaS コラボレーション データ活用全体 でのコラボレーション コラボレーティブBI ビジネス連携 データ サイエンス ・ MLOps
17. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
18. パブリック プレビュー OneLake
19. インテリジェントなデータ基盤 OneLake “データのための OneDrive” 組織全体のための単一の SaaS レイク テナントで自動的にプロビジョニングされる すべてのワークロードは OneLake ワークスペース フォルダーに自動的にデータを保存する すべてのデータは直感的な階層型名前空間に 整理して格納される OneLake 上のデータは次の用途のために 自動的にインデックス化される：検出、 MIP ラベル、系列、PII スキャン、共有、 ガバナンス、コンプライアンス Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator
20. One Copy すべてのコンピューティング エンジンはデータを OneLake に自動的に保存する OneLake 上のすべての構造化データは オープン スタンダードなデータ形式である Delta – Parquet 形式で保存される OneLake にデータが保存されると インポートやエクスポートを必要とせずに すべてのコンピューティング エンジンから直接アクセス可能 すべてのコンピューティング エンジンはネイティブ形式として Delta Parquet で動作するよう完全に最適化 One Security: すべてのコンピューティング エンジンに 共通のセキュリティ モデルを適用 サーバーレス コンピューティング カスタマー 360 ファイナンス サービス テレメトリー ビジネス KPI Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator T-SQL Spark KQL Analysis Services すべてのコンピューティング エンジンが同じデータにアクセス可能
21. One Security (今後のロードマップ) すべてのコンピューティング エンジンに共通のセキュリティ モデルを適用 サーバーレス コンピューティング Spark T-SQL KQL Analysis Services One Security カスタマー 360 ファイナンス サービス テレメトリー ビジネス KPI Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator すべてのコンピューティング エンジンはデータを OneLake に自動的に保存する OneLake 上のすべての構造化データは オープン スタンダードなデータ形式である Delta – Parquet 形式で保存される OneLake にデータが保存されると インポートやエクスポートを必要とせずに すべてのコンピューティング エンジンから直接アクセス可能 すべてのコンピューティング エンジンはネイティブ形式として Delta Parquet で動作するよう完全に最適化 One Security: すべてのコンピューティング エンジンに 共通のセキュリティ モデルを適用
22. カスタマー 360 ファイナンス サービス テレメトリー ビジネス KPI Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake ショートカット OneLake を次のレベルに引き上げる OneLake でのデータ共有は OneDrive での ファイル共有と同じくらい簡単で データの重複が不要になる ショートカットを利用することで OneLake 内の データを移動することなく組み合わせられる ショートカットを利用することでデータの重複や 移動なしに Azure や他のクラウドに存在する データを即座にリンクできるため、OneLake は 初めてのマルチ クラウド データ レイクになる 業界標準の API のサポートにより OneLake データに任意のアプリケーションや サービスから直接アクセスできる Amazon S3 Google Cloud Storage (Coming soon) Azure Data Lake Storage Gen2
23. OneLake データへのオープン アクセス Azure Databricks Azure HDInsight ADLS Gen2 互換 ADLS Gen2 との互換性とショートカットにより既存の資産を効率的に活用 ショートカット ショートカット Azure Data Lake Storage Gen2 (ADLS Gen2) ADLS Gen2 対応アプリケーションの例 DFS API
24. オンプレミス データ Azure サービス 150+ の多様なコネクターを用いて ノーコードでのデータの取込が可能 Amazon Redshift Google BigQuery Snowflake ADLS Gen2 Amazon S3 GCS (Coming Soon) 3 クラウドのオブジェクト ストレージを ショートカットとして登録可能
25. Demo: OneLake ショートカット
26. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake 形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
27. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake 形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
29. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake 形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
31. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake 形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
33. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
34. プライベート プレビュー Copilot in Microsoft Fabric
35. Copilot で生産性を加速させる Synapse Real Time Analytics Power BI Data Activator Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing OneLake Microsoft Fabric
37. Microsoft Cloud 信頼に基づく実行 お客様のデータはお客様自身のもの お客様のデータは、最も包括的な企業 向けコンプライアンスとセキュリティ対策 によって保護されています お客様のデータは、ファインチューニングを 行った場合でも、基礎となる AI モデルの 訓練には使用されません
38. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
39. 利用開始方法 Microsoft Fabric 方法 1 Power BI Premium 容量 方法 2 無料試用版の Fabric 容量 方法 3 従量課金制の Fabric 容量
40. コンピューティング Fabric 容量 価格の構成要素 Microsoft Fabric 容量ユニット (CU) を F2 - F2048 でプロビジョニング すべての分析エンジンで CU を共有 一時停止 / 再開 / サイズ変更が可能 従量課金制 (最低 1 分からの秒単位課金) ストレージ OneLake すべてのデータを一か所に保存 従量課金制 (GB / 月あたりの料金)
41. パブリック プレビュー参考価格 (US West 2) Microsoft Fabric パブリック プレビュー中の価格のため、一般提供までに変更となる可能性があります Fabric 容量 OneLake ストレージ データ転送* * リージョンをまたぐ データ転送を行う場合、 リージョン間の Bandwidth 料金がかかります $0.023/GB/月 * 今後、予約容量を提供予定 SKU 容量ユニット (CU) 従量課金 (1 時間) 従量課金 (1 か月) F2 2 $0.36 $262.80 F4 4 $0.72 $525.60 F8 8 $1.44 $1,051.20 F16 16 $2.88 $2,102.40 F32 32 $5.76 $4,204.80 F64 64 $11.52 $8,409.60 F128 128 $23.04 $16,819.20 F256 256 $46.08 $33,638.40 F512 512 $92.16 $67,276.80 F1024 1024 $184.32 $134,553.60 F2048 2048 $368.64 $269,107.20
42. ライセンス 詳細はこちら https://aka.ms/fabriclicensing Microsoft Fabric
43. よくある質問と回答 Azure のデータ分析関連サービスは今後どうなりますか？ Microsoft は Azure Synapse Analytics や Azure Data Factory、 Azure Data Explorer、Azure Databricks などの堅牢で企業向けの データ分析関連の PaaS ソリューションを引き続き提供します。 Microsoft Fabric はデータ分析関連機能を一体化し、よりシンプルな SaaS ソリューションとして提供します。 お客様のニーズに応じて適切なソリューションを選択頂けます。 なお、Synapse や Data Factory からの移行を希望するユーザー向けの 移行パスを準備中です。 Q A
44. 機能の提供状況 (2023 年 8 月現在) パブリック プレビュー Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time analytics Copilot for Power BI (DAX) OneLake 一般提供 Power BI Data Activator Copilot for Microsoft Fabric Copilot for Power BI (full) プライベート プレビュー
45. Call to Action: 無料トライアルをはじめましょう！ aka.ms/TryFabric Fabric (プレビュー) 無料試用版 開始手順 (Docs) https://learn.microsoft.com/ja-jp/fabric/get-started/fabric-trial
46. 今すぐ始めるには - aka.ms/TryFabric 製品サイト https://www.microsoft.com/ja-jp/microsoft-fabric プレビュー 試用版 開始手順 (Docs) https://learn.microsoft.com/ja-jp/fabric/get-started/fabric-trial Microsoft Fabric のドキュメント https://learn.microsoft.com/ja-jp/fabric/ Microsoft Learn - Microsoft Fabric の概要 https://learn.microsoft.com/ja-jp/training/paths/get-started-fabric/
47. © Copyright Microsoft Corporation. All rights reserved.