Delta LakeによるLakehouse 10 • ストレージ層にDWH機能+αをSWレベルで構成し、DWHとデータレイクのいいとこどりを実現する • DWHライクなデータ管理性 • データレイク譲りのコスト効率、柔軟性 • ストレージとコンピューティングの分離によるスケーラビリティ • SQL / Python双方のAPIをもつことによる透過的なデータアクセス ストレージ層 Data Sources BI Dashboard Explorer SQL Lakehouse ML Model ML Pythn コンピューティングエンジン API
Data Mesh 11 • Zhamak Dehghani氏が提唱した、 従来の中央集権的なデータ基盤の課題 に注目し、 セルフサービス重視の分散型データ基盤 を目指すアーキテクチャパターン • 一般的アプリケーション開発で実証され たドメイン駆動設計の考え方を データアプリケーションに導入した • 類似の概念にData Fabricがあるが、 Data Meshは組織的なアプローチであ り対立するものではない How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh (martinfowler.com)
Synapse Link for Microsoft SQL (Preview) 16 • HTAPを実現するSynapse Linkの対応データストアにMS SQLが追加 • MS製品で構成した各種の運用システムのDBは Synapse Linkによりノーコードで即座に分析できるビジョンを示した Microsoft Data Services Azure Synapse Analytics ノーコードETL ニアリアルタイム分析 Azure Synapse Link SQL Machine learning Big data analytics BI Dashboards Cosmos DB Dataverse SQL Server 2022 Azure SQL New!!
Power BI Datamart (Preview) 17 • Power BI Service上に分析専用のSQLDBをSaaS型で提供 • 最大100GBまで保持可能。保持されたデータは適切にクラスタリング、パーティションが構成され高速に分析クエリを実行可能 • Desktopツール不要で分析モデル構築から可視化まで(SaaSification) • 以前より小規模なユースケースや、アドホック分析に対応するためにSynapse or SQL DB もしくは双方という構成がとられていたシナリオ に対しての最適解となる見込み • 規模に見合わない場合の構成のムダコスト (スケーラブルだがニーズと合致しない場合がある) • 管理範囲の拡大 • 構築、連携のための広範な知識 Synapse SQL or Azure SQL (DWH~データマート) Dataset (分析モデル) Report Dataset (分析モデル) Report Power BI Service Power BI Service Datamart New!! Power BI Datamart以前 • ETLから可視化までをWeb上で実現 • SaaS化による構築、管理の超簡素化 • ほとんどすべての小規模なユースケースに経済的 に対応(Premium Per Userに含まれる) Power BI Datamart以後 DWH 各種 データソース 各種 データソース