Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Search
Takeru Ino
July 09, 2025
Technology
0
110
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Cross Data Platforms Meetup #1.5 登壇資料
Takeru Ino
July 09, 2025
Tweet
Share
Other Decks in Technology
See All in Technology
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
160
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
390
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
Delegating the chores of authenticating users to Keycloak
ahus1
0
140
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
50
20k
Operating Operator
shhnjk
1
590
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
290
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
17k
american airlines®️ USA Contact Numbers: Complete 2025 Support Guide
supportflight
1
110
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
4
3.9k
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
2
7.2k
Featured
See All Featured
Done Done
chrislema
184
16k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Bash Introduction
62gerente
613
210k
A designer walks into a library…
pauljervisheath
207
24k
Balancing Empowerment & Direction
lara
1
430
Docker and Python
trallard
44
3.5k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Six Lessons from altMBA
skipperchong
28
3.9k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
© 2025 NTT DATA Japan Corporation © 2025 NTT DATA
Japan Corporation DatabricksにOLTPデータベース 『Lakebase』がやってきた! Cross Data Platforms Meetup #1.5 2025年7月9日 株式会社NTTデータ 井能 猛
© 2025 NTT DATA Japan Corporation Data+AI Summitで『Lakebase』発表 & Public
Preview開始 https://www.databricks.com/blog/what-is-a-lakebase
© 2025 NTT DATA Japan Corporation Databricksに登場した、Postgresをベースに、サーバレスに最適化されたOLTP(トランザクショナル)データベース。 What is Lakebase?
フルマネージドな Postgresデータベース 10ms未満のレイテンシ、10ks以上のQPS 拡張、ツールなどのエコシステムも利用可能 コンピュート・ストレージが 分離されたアーキテクチャ オートスケール(≧0)による性能拡張性や セカンダリノードによる可用性の担保 現代のAI開発に 最適化された開発体験 ブランチやPoint-in-timeリカバリなど NeonをベースとしたDevExの提供 Lakehouse(OLAP)との統合
© 2025 NTT DATA Japan Corporation サーバーレスなPostgresデータベースサービスを提供しており、2025年3月にDatabricksによる買収を発表。 LakebaseはNeonのテクノロジーをベースに構築されている。 What is
Neon? https://neon.com/docs/introduction/architecture-overview
© 2025 NTT DATA Japan Corporation コンピュートとストレージに分離されており、個別にスケール可能であるため性能拡張やコスト最適化が可能。 ストレージはデータレイクをベースにしており、キャッシュやバッファとして機能する中間層が存在する。 Lakebaseのアーキテクチャ compute
storage Pageserver (参照リクエスト処理、参照キャッシュ) Safekeeper (データレイク更新完了までの書き込みバッファ) Object Storage (データレイク) https://youtu.be/ul8cRLIP_Vk?t=2494 中間層
© 2025 NTT DATA Japan Corporation Neonがベースとなっており、ユーザーが認識できる範囲ではアーキテクチャに違いはない。 参考:Neonのアーキテクチャとの比較 https://neon.com/docs/introduction/architecture-overview Lakebase
© 2025 NTT DATA Japan Corporation インスタンスサイズ、point-in-timeリカバリ用のデータ保持期間、セカンダリノードの有無などを指定して作成。 親インスタンスやデータ断面を指定したコピーオンライトのクローン作成も可能。 Lakebaseのインスタンス作成 クローンするデータの断面の指定
クローンするデータベースの指定 クローンの有無 Read onlyのセカンダリ作成有無 フェイルオーバーの有効/無効 インスタンスサイズ データ保持期間(リカバリ可能期間)
© 2025 NTT DATA Japan Corporation DatabricksのSQL Editorからクエリを実行することも、 psqlで任意のクライアントから接続することも可能。 Lakebaseへのクエリ実行
© 2025 NTT DATA Japan Corporation Unity Catalog上のDeltaテーブルをLakebaseに同期(ETL)することも、 逆に、LakebaseのテーブルをUnity Catalogに登録する(Federation)することも可能。
Unity Catalogとの同期・連携 Unity Catalog to Lakebase Enabled Lakebase to Unity Catalog Enabled ETL with DLT Federation
© 2025 NTT DATA Japan Corporation Unity CatalogのDeltaテーブルの詳細画面から数クリックで同期テーブルを作成可能。 裏でDelta Live
TableのETLパイプラインが自動作成される。同期頻度はパイプラインの実行頻度で調整。 参考:Unity Catalog上のテーブルをLakebaseに同期
© 2025 NTT DATA Japan Corporation Lakebaseのデータベースインスタンスの詳細画面からUnity Catalogへの登録が可能。 仮想化による登録となるため、参照にはLakebaseのインスタンスとCluster/SQLウェアハウスの起動が必須。 参考:LakebaseのテーブルをUnity
Catalogに登録
© 2025 NTT DATA Japan Corporation データベースの利用に際するストレージ・コンピュートの従量課金および、 データの同期・仮想化に際するコンピュートの従量課金が発生する。 Lakebaseの課金体系 ストレージ
コンピュート コンピュート データベース利用に際する従量課金 データ同期に際する従量課金
© 2025 NTT DATA Japan Corporation 今後緩和される可能性はあるものの、論理サイズ上限が2TBなどの制約がある。 現時点ではOLTPデータベースの完全な置き換えを目的としたものではなく、限定した用途での利用が想定される。 制約事項 •
ワークスペースでは、最大 10 個のインスタンスを使用できます。 • 各インスタンスは、最大 1000 の並列接続をサポートします。 • インスタンス内のすべてのデータベースの論理サイズ制限は 2 TB です。 • データベース インスタンスのスコープは 1 つのワークスペースです。 ユーザーは、同じメタストアにアタッチされている他のワークスペースから必要な Unity Catalog アクセス許可を持っている場合、カタログ エクスプローラーでこれらのテーブルを表示できますが、 テーブルの内容にはアクセスできません。 https://docs.databricks.com/aws/en/oltp/instance
© 2025 NTT DATA Japan Corporation 用途はアプリケーション、AIエージェント、オンライン推論などが中心。 従来のLakehouse(OLAP)では難しかった、トランザクション処理やレイテンシが求められる処理が使いどころ。 Lakebaseの使いどころ for
AIエージェント Agent • エージェントのメモリーとして利用 • Vector Indexとして利用 for オンライン推論 ML Model • オンライン特徴量ストアとして利用 for アプリケーション Apps • アプリの状態保持のために利用 • トランザクション処理に利用 従来はAuroraなどのOLTPを別途立てる必要があったユースケースもDatabricksで完結可能に!
© 2025 NTT DATA Japan Corporation 参考:HPの冒頭にも「for data apps and
AI agents」と記載あり https://www.databricks.com/product/lakebase
© 2025 NTT DATA Japan Corporation まとめ:『いまできること』と、『もう少しでできること』 https://youtu.be/3Bmnku-x0Yo?si=VFaRLXytc9R-y3Np ◼ 完全マネージドのPostgres
◼ Lakehouseとの統合 ✓ 自動で作成されるETLパイプライン ✓ 自動で作成される仮想化設定 ✓ 一貫したアクセス制御 ◼ マルチクラウド対応 ◼ 高可用性の維持 ◼ Point-in-timeリカバリ ◼ インスタンスの即時起動 ➢ 現在は所要時間3-5分程度 ◼ オートスケーリング ➢ 現在はインスタンス数は固定 ◼ 完全なブランチング機能 ➢ 現在もデータ断面を指定したクローンは可能 ◼ より高速なLakehouseとの同期 ◼ Neonと同等のDevEx提供 いまできること もう少しでできること
© 2025 NTT DATA Japan Corporation ご清聴ありがとうございました!Zennの記事も是非御覧ください! https://zenn.dev/nttdata_tech/articles/04789d6c573830
None