• DWH時代
• ニーズ:サイロ化の解消、エンタープライズBI
• 問題:スキーマオンライト、MLの非効率性
データプラットフォームの時代の流れ
• What is a Data Lakehouse? – Databricks
Slide 5
Slide 5 text
• データレイク時代
• ニーズ:柔軟性の確保、MLのためのオブジェクトストレージアクセス
• 問題:サービス間ロードによるデータ鮮度の古さ、複雑さ、ファイル管理性、MLからのDWHアクセス非効率
性
データプラットフォームの時代の流れ
• What is a Data Lakehouse? – Databricks
Slide 6
Slide 6 text
• レイクハウス時代の到来
• ニーズ:データレイク上のACIDトランザクション、SQL,MLからの透過的なアクセス
• 主要OSS:Delta Lake(from Databricks) , Iceberg(from Netflix) , Hudi(from Uber)
データプラットフォームの時代の流れ
• What is a Data Lakehouse? – Databricks
Slide 7
Slide 7 text
• 大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ
テクノロジーカンファレンス 2019 講演資料、2019/0… (slideshare.net)
• Lakehouse: A New Generation of Open Platforms that Unify
Data Warehousing and Advanced Analytics (databricks.com)
参考資料