Microsoft Fabric OneLakeの相互運用性、他ソリューションとの連動について

アーキテクチャサンプルとして

Transcript

1. Microsoft Fabric OneLakeの相互運用性、 他ソリューションとの連動について Microsoft MVP for Data Platform 永田 亮磨 (ZEAL CORPORATION) X: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata
2. Microsoft Fabric Azure Databricks GUI～Code 1stの広いサポートが必要な分析チーム 想定の利用者 Code 1st中心に大規模な処理を実行する プロ分析チーム SaaS モデル ライセンスの購入後、すぐに利用可能 セットアップの複雑さ PaaSモデル 最低限セキュアな構成をする場合に 自分のAzure Vnetへの埋め込みが必要 Delta Parquet （Delta Lake にV-order と呼ばれるPower BI などに 有効な最適化が組み込まれる） データフォーマット Delta Lake （OSS Delta Lake に未搭載の先端機能が組み込まれ る） SQL Server エンジンの流れを組む サーバーレスウェアハウス (SQL Serverのプロトコルで接続可能) データウェアハウジング Spark エンジンによる 起動停止型～サーバーレスレイクハウス (Httpsで接続可能) 豊富なコネクタによるGUI開発～Code 1st Spark or T-SQL データエンジニアリング Sparkによる Code 1st Delta Live Table 、Auto Loaderなど プロデータエンジニアに嬉しい機能が豊富 Power BIなどBIツールから接続可能 BI Power BIなどBIツールから接続可能 Redashを基に開発された ダッシュボードとアラート作成が可能 MLflow が組み込まれる Azure ML と連携することでリアルタイム推論や大規 模なワークロードを実現 市民データサイエンティスト向け データサイエンス・ML 組み込みのMLflowと推論エンドポイントにより MLプロの必要とする機能を単独で実現 GUIでの豊富なストリームデータソースへのコネクタ 組み込みの時系列データベースエンジン、リアルタイ ムダッシュボードやMS製品と接続をもつアラート ニアリアルタイム分析 SparkによるCode 1st AI Studio 連携して開発 Copilot for Fabricによるアシストあり Gen AI LangChain、ベクターストアや基盤モデルAPIなど GenAI アプリ開発に対応 AI Assistant 機能でのアシストあり 統合データプラットフォームの特性の違い Microsoft Fabric / Azure Databricks
3. [GA] Microsoft Fabric - The unified data platform for the era of AI #AI - Qiita
4. OneLake Shortcut Data Flow/ Data Pipeline Event Stream Multi-Cloud Data Lake Landing bronze silver gold Fabric Analytical Engines Inteligent Apps Unity Catalog Mirroring Streaming data CRM Lakehouse-gold Warehouse-gold Data Engineering / Engines Photon Lakehouse Federation Auto Loader RDBMS Data Governance (for Enterprise) T-SQL/Spark/KQL Direct Query Share within Onelake 3rd party Data Science and ML Model Serving ML Runtime AutoML Feature Store Model Serving (real-time) Data Warehousing Databricks SQL Serverless SQL Semantic Link Delta-Parquet Azure Databricks Microsoft Fabric Data Governance (for Lakehouse Platform) Delta Live Tables Microsoft Entra ID Microsoft Cloud Business Glossary Data Catalog Data Map Microsoft 365 Microsoft Defender Security , Risk & Compliance Audit Information Protection Last one mile prep(V-Order Write) Transform/Processing (ADLS compatibility) Ad-hoc reporting Virtual integration Stream integration Zero-ETL Integration ETL Query Import/Direct Lake CRM Microsoft Purview Solutions Citizen data science Write back Deeply integrate Delta Sharing share Gen AI Stack Citizen data science Microsoft Copilot Developer platform with AI Reverse ETL High-performance reporting Fabric & Databricks hybrid architecture
5. Delta Lake Iceberg Databricks Snowflake Microsoft Fabric Microsoft Amazon Google Data sources AI Studio OneLake を中心とした、あらゆるクラウド分析ソリューションとの相互運用性 XTable Delta Parquet Multi-cloud shortcut / Mirroring Multi-engine interoperability
6. 参考リンク • Snowflake & Microsoft: Enhancing Interoperability with Apache Iceberg • OneLake と Azure Databricks の統合 - Microsoft Fabric | Microsoft Learn • OneLake とは - Microsoft Fabric | Microsoft Learn