Slide 10
Slide 10 text
Azure
Databricks
Azure AD 対応
条件付きアクセス / MFA
Lakehouse 対応
ACID / 変更データフィード
タイムトラベル
データリネージ (加工変遷)
複数フォーマット対応
UniForm (Delta/Iceberg/Hudi)
ETL / Streaming
Middle
Small
Large (CPU/GPU)
SQL クエリと BI
ML / LLM
マルチクラスター / オートスケール / サーバーレス
複数ワークロードによる、リソース競合なし
各ワークロード内で、マルチクラスタ化
ノード数・VM サイズも調整
Lakehouse Apps
Databricks 上で AI アプリ導入時間を劇的に短縮
自社利用 / Marketplace で
1万社以上に公開・収益化
Azure サポート窓口一本化
サポート追加契約なし
ライセンス契約の追加も不要
(※予約割引などのオファリングは、ご希望に応じて提供)
データクローン機能
DEEP CLONE / SHALLOW CLONE
CI/CD (MLOps)
GitHub, Azure DevOps, Jenkins
様々なデータ共有・活用・ChatGPT
Unity Catalog
Delta Sharing / Federation
Lakehouse IQ
社内 / 関係者に共有
データビジネス展開
Databricks Marketplace
Delta Sharing
他社と共同分析
Databricks Cleanroom
動的マスキング
Delta Sharing
End-to-End の ML/LLM (Lakehouse AI)
AutoML GUI (ML/LLMs)
Model Serving / Autoscale
Mlflow Evaluation
AI Gallery / AI Gateway
Lakehouse Monitoring
2023年 Azure Databricks 全体像
構造データ
半構造データ
非構造データ
マルチ言語対応
SQL / PySpark / Java / R / Scala / English (自然言語) SDK
ワークフロー・トリガー機能
Delta Live Table, Auto Loader, CDC
処理高速化エンジン & チューニング機能
Photon / ZORDER / Liquid Clustering
Azure Data Factory
Synapse Analytics
Event Hubs etc
SQL クエリ実行
Databricks BI ダッシュボード
クラスタ停止でも可視化
タイムトラベル可視化
多数ツールに対応
豊富なキャッシュ & AI 高速化機能
Databricks UI キャッシュ
クエリ結果セットキャッシュ
Disk Cache / Materialized View
Predictive I/O (AI I/O 削減)