データ基盤からデータベースまで？広がるユースケースのDatabricksについて教えるよ！

©2024 Databricks Inc. — All rights reserved データ基盤からデータベースまで？広がるユースケースの
Databricksについて教えるよ！ Akihiro Kuwano

©2024 Databricks Inc. — All rights reserved プロダクトセーフハーバー
ステートメントこの情報は、データブリックスの一般的な製品の方向性を概説するために提供されるものであり、情報提供のみを目的としています。データブリックスのサービスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠して購入を決定してください。将来見通しに関する記述に記載されている未発表の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画通りまたは全く提供されない可能性があります。

©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksってデータベースもやってるの？
▪ そもそもDatabricksって、、、何じゃい！ ▪ DatabricksがなんでDB Tech Showcaseにいるんじゃい！ ▪ Lakebaseじゃい！！！ ▪ データ基盤がデータベースをなんでやるんでしょうか？（震え声） ▪ 最後に

©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano
/ 桑野章弘経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリアや、目黒のオレンジの会社パブリッククラウドベンダーでソリューションアーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社でソリューションアーキテクトをしています！ ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術支援を実施しております！ Databricks Japan 株式会社 Solutions Architect

©2024 Databricks Inc. — All rights reserved Creator of: 9
12,000+ 顧客数 $3B+ (約4,500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値レイクハウスの発明者で、生成AI のパイオニア Gartner が認知するデータ +AIのダブルリーダーデータベース管理システムデータサイエンスと機械学習プラットフォーム 2013年設立（日本法人は 2019年）データ & AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning

第三者機関から、データ＋ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and
Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages

©2024 Databricks Inc. — All rights reserved Databricksです！ ▪ Databricksはデータ分析からAI/MLまで一気通
貫にやれるやつ（データ分析基盤/AIML基盤）！ ▪ レイクハウスアーキテクチャを作ったのは Databricksが最初だ！（そもそも論文作ったのが創業者） ▪ 最近もりあがってるよね！（同意を求める目

©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか？ ETL 構造化
データ BI/User DWH

データ BI/User DWH ストレージ、コンピュート多い方でスケールする必要があるストレージ高い？コスト最適化の難しさ非構造化データ扱いづらい ETL処理を基本とする

データ BI/User DWH ストレージ、コンピュート多い方でスケールする必要があるストレージ高い？コスト最適化の難しさ非構造化データ扱いづらい ETL処理を基本とする大変な事もある

©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ！！！ Machine Learning
データレイク　（S3、ADLS、GCS）構造化データ ETL DWH BI/User Data Science

データレイク　（S3、ADLS、GCS）構造化データ ETL DWH BI/User Data Science データの管理に課題メタデータ管理やバージョン管理は限定的速度面の課題 DWHとDL間のデータ一貫性＆データの鮮度＆データのサイロ化

データレイク　（S3、ADLS、GCS）構造化データ ETL DWH BI/User Data Science データの管理に課題メタデータ管理やバージョン管理は限定的速度面の課題 DWHとDL間のデータ一貫性＆データの鮮度＆データのサイロ化大変な事もあるんだって

©2024 Databricks Inc. — All rights reserved レイクハウスとは？レイクハウスが実現すること ▪
データの一元管理 ▪ コストパフォーマンス最適化 ▪ BI〜AIまで高度な分析/機械学習のサポート ▪ データガバナンスの強化 ▪ スケーラビリティ ▪ 柔軟性

©2024 Databricks Inc. — All rights reserved レイクハウスへ Machine Learning
データレイク　（S3、ADLS、GCS）構造化データ ETL DWH BI/User Data Science Machine Learning データレイク　（S3、ADLS、GCS）構造化データ BI/User Data Science メタデータ & ガバナンスレイヤコンピュートレイヤ ETL

©2024 Databricks Inc. — All rights reserved データレイク　（S3、ADLS、GCS）メタデータ
& ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス必要な処理分スケール可能必要な処理分スケール可能パフォーマンスの最適化 ETL

©2024 Databricks Inc. — All rights reserved Delta Lake/Icebergでクラウドストレージを活用し
つつハイパフォーマンス、低コストを実現

©2024 Databricks Inc. — All rights reserved これまでのデータ基盤アーキテクチャ (複雑なパイプライン・分断されたアーキテクチャ・困難な管理・高コスト )
CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供組織内・意思決定データソースデータ同期・収集加工機能活用先技術スタッフ (データ検索) 競争的活動モバイルアプリケーション POSデータ IoTデータビデオ & 画像 Eコマースメッセージキュー BI・可視化サプライヤーへのデータ提供店舗運営・スタッフモバイルアプリ事業運営マーケティング施策新しく発生するユースケース社内システムデータサービス RDBMS 社内システムリアルタイムデータ新しく発生するデータタイプ・・・・・・蓄積データ転送データレイク外部DB連携 ETLツールオーケストレーションツール ETLツール通知起動取込み取込み抽出データ保存 ETLツールデータレイクデータウェアハウスデータマートマスタデータ非構造化データ基盤　構造化データ基盤リアルタイムデータ基盤リアルタイムDB データシェアデータ APIサービスオーケストレーションツール AI/ML 基盤モデル学習モデル管理モデルサービング特徴量抽出通知・アラートダッシュボードカタログ機能 DWHのみその他・全ての種類のビジネスデータ

©2024 Databricks Inc. — All rights reserved Databricks on AWSのレイクハウス構成
(あらゆるデータ・スピード・量・ユースケースに即時対応可能なレイクハウス構成 ) データ転送フィルタ、前処理、スキーマ処理 [ウェアハウス ] Silver 生データ [レイク ] Bronze ビジネスレベルサマリデータ [マート ] Gold データカタログ (Unity Catalog) Model Serving データ APIサービス (Databricks SQL) データシェア (Delta Share) AI/機械学習分散高速コンピュートデータソースデータ同期・収集蓄積・加工活用活用先競争的活動モバイルアプリケーション POSデータ IoTデータビデオ & 画像 Eコマースメッセージキュー RDBMS 社内システムその他・全ての種類のビジネスデータリアルタイムデータデータレイク新しく発生するデータタイプ・・・アラート通知外部DB連携オーケストレーション Workﬂow / Delta Live Table AutoML ダッシュボード CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供組織内・意思決定技術スタッフ (データ検索) BI・可視化サプライヤーへのデータ提供店舗運営・スタッフモバイルアプリ事業運営マーケティング施策新しく発生するユースケース社内システムデータサービス・・・チャット (Genie)

©2024 Databricks Inc. — All rights reserved Databricksがなんで DB Tech
Showcase にいるんじゃい！

Lakebase ANNOUNCING The transactional database designed for the AI era

©2024 Databricks Inc. — All rights reserved Lakebase Databricksに完全統合された、Managed Postgres
Database Postgres 基盤コンピュートとストレージの分離 AI時代を拓く開発者体験レイクハウスとの統合 & エンタープライズ対応 Announcing Lakebase Public Preview | Databricks Blog What Is a Lakebase? | Databricks Blog

©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database Postgres基盤 ▪ オープンソースのPostgres上に構築 ▪ 10ms未満のレイテンシーと、毎秒10,000以上のクエリを捌くコンカレンシー ▪ 広範なツール、ライブラリ、拡張機能のエコシステムを活用可能 + 参考：Postgres compatibility | Databricks Documentation

©2024 Databricks Inc. — All rights reserved Storage Lakebase -
特徴 Databricksに完全統合された、Managed Postgres Database コンピュートとストレージの分離 ▪ 最下層：データレイクに物理データを保持 ▪ 中間層：ストレージの高速なキャッシュとして動作 ▪ 最上層：一時的なPostgresインスタンスが稼働 Object Storage Pageserver Safekeeper Compute Postgres Postgres 参考：Neon architecture - Neon Docs

Databricksに完全統合された、Managed Postgres Database AI時代を拓く開発者体験 ▪ サーバーレス：AIエージェントの起動に合わせて迅速に起動・利用がない場合はゼロにスケール ▪ 従量課金制：使用した分だけ支払う ▪ 即時ブランチ作成：本番DBを瞬時に複製・テストに使用可能 main e2e test 参考：Branching - Neon Docs

Databricksに完全統合された、Managed Postgres Database レイクハウスとの統合 & エンタープライズ対応 ▪ レイクハウスのDelta Tableと数クリックで同期可能 ▪ インフラストラクチャ / データベースのエンタープライズ要件対応 ※コンピュートのハードニング、暗号化、ネットワークセキュリティ、高可用性、DR、スナップショット、etc

©2024 Databricks Inc. — All rights reserved 推奨ユースケース Lakebaseで推奨しているユースケース ▪
AI Agentのメモリストアなど ▪ 特徴量ストア ▪ アプリケーションの状態管理 ▪ AIを活用した顧客体験最適化とオペレーションの効率化 Lakebaseは基本的には、AI/MLワークロードや、一時的なデータストアとしてのRDBMSとして使うことを推奨している

©2024 Databricks Inc. — All rights reserved インテリジェント・アプリケーションは、トランザクション、OLTPデータベースが必要！ Eコマース
• パーソナライズされたレコメンデーション • 顧客セグメンテーションヘルスケア • 臨床ワークフローの推奨 • 臨床試験データの管理ファイナンス • 自動市場取引 • 銀行/証券会社のクロスセル /アップセル小売 • チャットボットによるショッピング体験 • リアルタイムオファー

▪ レイクハウスって何？

▪ レイクハウスって何？　ー　Open Table Formatとクラウドストレージを活用したデータアーキテクチャ

▪ レイクハウスって何？　ー　Open Table Formatとクラウドストレージを活用したデータアーキテクチャ ▪ Lakebaseって何？

▪ レイクハウスって何？　ー　Open Table Formatとクラウドストレージを活用したデータアーキテクチャ ▪ Lakebaseって何？　ー　AI/MLワークロードに特化したDatabricksのRDBMS サービス

データ基盤からデータベースまで？広がるユースケースのDatabricksについて教えるよ！

データ基盤からデータベースまで？広がるユースケースのDatabricksについて教えるよ！

More Decks by Akihiro Kuwano

Other Decks in Technology

Featured

Transcript