Mirroring Azure Cosmos DB in Microsoft Fabric

Global Azure 2024 in Fukuoka の発表資料です。
https://jazug.connpass.com/event/313994/

Transcript

1. Mirroring Azure Cosmos DB in Microsoft Fabric @kazuyukimiyake
2. About me ž Kazuyuki Miyake @kazuyukimiyake • CEO at ZEN Architects • Microsoft MVP / Microsoft Regional Director • Specialty : Azure Architecture Design • Blog: https://k-miyake.github.io/blog/
3. このセッションについて ž 現在プレビュー中の Mirroring Azure Cosmos DB in Microsoft Fabric についてデモを通じて概要を紹介します ž 本セッションの資料（一部）は Cosmos DB チームから日本のコ ミュニティ向けに提供されたものを、三宅個人が翻訳（一部意訳） しています。 ž Special Thanks for Mark Brown and Anitha Adusumilli
4. New technologies offer リアルタイムデータへのアクセスが
5. 現状: ビッグデータはサイロ化し多くの重複がある IT Data movement Sales Data movement Operations Data movement Marketing Data movement Data movement Data movement Data movement Data movement
6. 多くのプロジェクトが複数 のサブシステムで構成 各サブシステムには異なる プロダクトが必要 プロダクトは複数のベン ダーから提供される 統合は複雑で、壊れやすく、 コストがかかる 現状: サブシステム間を手動で連携しなければならない
7. Microsoft Fabric The unified data platform for the era of AI Unified architecture Unified experience Unified governance Unified business model
8. OneLake によるデータ統合 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake Service Telemetry Finance Customer 360 Business KPIs Serverless Compute Spark T-SQL KQL Analysis Services Amazon Google Azure Dataverse Multi-cloud shortcuts Microsoft Fabric Azure Databricks Azure HDI Azure AI Studio Open Access APIs
9. エンタープライズにおけるデータ資産の現状 ETL Standardized data Analysts Data scientists 非常に複雑で、コストが高く、管理が難しい → 重要なビジネス分析がリアルタイムで実施されない Data warehouses ETL Databases
10. Seamlessly ingest your databases and data warehouses into OneLake Zero-ETL Near real-time Available now, in preview Mirroring in Microsoft Fabric
11. Roadmap Azure Cosmos DB Snowflake Azure SQL DB And More…
12. Mirroring + OneLake によるデータ統合の拡張 Connect your entire data estate Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake Service Telemetry Finance Customer 360 Business KPIs Serverless Compute Spark T-SQL KQL Analysis Services Amazon Google Azure Dataverse Multi-cloud shortcuts Microsoft Fabric Azure Databricks Azure HDI Azure AI Studio Open Access APIs Mirroring Snowflake Azure SQL DB Azure COSMOS DB And More…
13. Mirroring in Microsoft Fabric Simplify near real-time analytics ETL 不要で既存のデータベースを Fabric に追加可能 データは Delta 形式で OneLake にほぼリ アルタイムにレプリケートされる OneLake レプリカによって Fabric のすべ ての体験がすぐに機能する レプリカは分析クエリーから運用データ ベースを保護する ソース データベース No-ETL Near real-time Fabric Spark Power BI Fabric DW 圧縮されたレプリカ Delta Parquet in Onelake ミラーリングされた データベース 増分レプリケーション
14. Mirroring Azure Cosmos DB 💡継続的バックアップを有効にしておく必要がある トランザクション、ワークロードの 性能や RU には影響がない CDC ソースとして分析ストアや Change Feed は使用していない
15. Mirroring Pricing 無料対象 • レプリケーションにかかる Cosmos DB のコンピューティング • Fabric の SKU に対応するミラーリング用ストレージ容量 （F2 であれば 2 TB が無料） 課金対象 • Fabric: SQL, Power BI 等のコンピューティング体験 • Cosmos DB: 継続的バックアップ
16. 参考: Azure Synapse Link との比較 Azure Synapse Link に対する Mirroring の利点 • オープンプラットフォーム：ミラーリングのデータはデルタ形式 • SQL と Spark でデルタを扱うためのクエリの改善 • 他のデータとの結合が容易 Azure Synapse Link と Mirroring は併用が可能 本番ワークロードでは Azure Synapse Linkを使う必要がある Mirroring は GA 後に本番ワークロードでの利用がサポートされる
17. まとめ （制限事項や個人的コメントなど） ž NoSQL API の Cosmos DB のみ ž 継続的バックアップが有効化されていること （比較的古い Cosmos DB アカウントで分析ストアが有効になっている場合は注意） ž パブリックネットワークアクセスが有効になっていること （サービスエンドポイントも NG なのでかなり厳しい制約（今後に期待）） ž TTL を設定している場合はミラーリングされたデータも削除対象 ž 入れ子になった JSON オブジェクトは、Fabric のウェアハウステー ブルの JSON 文字列になる （T-SQL のクエリが少し書きにくい・・）
18. Thank you! X: @kazuyukimiyake