Delta LakeによるLakehouse
10
• ストレージ層にDWH機能+αをSWレベルで構成し、DWHとデータレイクのいいとこどりを実現する
• DWHライクなデータ管理性
• データレイク譲りのコスト効率、柔軟性
• ストレージとコンピューティングの分離によるスケーラビリティ
• SQL / Python双方のAPIをもつことによる透過的なデータアクセス
ストレージ層
Data
Sources
BI
Dashboard Explorer
SQL
Lakehouse
ML Model
ML
Pythn
コンピューティングエンジン
API
Slide 10
Slide 10 text
Data Mesh
11
• Zhamak Dehghani氏が提唱した、
従来の中央集権的なデータ基盤の課題
に注目し、
セルフサービス重視の分散型データ基盤
を目指すアーキテクチャパターン
• 一般的アプリケーション開発で実証され
たドメイン駆動設計の考え方を
データアプリケーションに導入した
• 類似の概念にData Fabricがあるが、
Data Meshは組織的なアプローチであ
り対立するものではない
How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh
(martinfowler.com)
Data Mesh @Microsoft
14
• Microsoft docsではデータ分析シナリ
オに関するCAFを公開
• データメッシュパターンにも触れられており、
リファレンスアーキテクチャはデータメッシュ
を意識したものとなっている
• Data Mesh 関連のセッションも開催さ
れており、今後の製品展開も
レイクハウス、データメッシュ型の基盤を
いかにスムーズに展開できるかに注力す
るものと考えられる
クラウド規模の分析 - Azure 向けの Microsoft Cloud 導入フレームワーク
- Cloud Adoption Framework | Microsoft Docs
Slide 14
Slide 14 text
Microsoft Build 2022 注目アップデート
分析系における注目アップデート
Slide 15
Slide 15 text
Synapse Link for Microsoft SQL (Preview)
16
• HTAPを実現するSynapse Linkの対応データストアにMS SQLが追加
• MS製品で構成した各種の運用システムのDBは
Synapse Linkによりノーコードで即座に分析できるビジョンを示した
Microsoft Data Services Azure Synapse Analytics
ノーコードETL
ニアリアルタイム分析
Azure
Synapse Link
SQL
Machine learning
Big data analytics
BI Dashboards
Cosmos DB Dataverse SQL Server 2022
Azure SQL
New!!
Slide 16
Slide 16 text
Power BI Datamart (Preview)
17
• Power BI Service上に分析専用のSQLDBをSaaS型で提供
• 最大100GBまで保持可能。保持されたデータは適切にクラスタリング、パーティションが構成され高速に分析クエリを実行可能
• Desktopツール不要で分析モデル構築から可視化まで(SaaSification)
• 以前より小規模なユースケースや、アドホック分析に対応するためにSynapse or SQL DB もしくは双方という構成がとられていたシナリオ
に対しての最適解となる見込み
• 規模に見合わない場合の構成のムダコスト
(スケーラブルだがニーズと合致しない場合がある)
• 管理範囲の拡大
• 構築、連携のための広範な知識
Synapse SQL
or Azure SQL
(DWH~データマート)
Dataset
(分析モデル)
Report Dataset
(分析モデル)
Report
Power BI Service Power BI Service
Datamart
New!!
Power BI Datamart以前
• ETLから可視化までをWeb上で実現
• SaaS化による構築、管理の超簡素化
• ほとんどすべての小規模なユースケースに経済的
に対応(Premium Per Userに含まれる)
Power BI Datamart以後
DWH
各種
データソース
各種
データソース