Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Search
Takeru Ino
July 09, 2025
Technology
0
110
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Cross Data Platforms Meetup #1.5 登壇資料
Takeru Ino
July 09, 2025
Tweet
Share
Other Decks in Technology
See All in Technology
Beyond Kaniko: Navigating Unprivileged Container Image Creation
f30
0
130
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
4
3.9k
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
17k
LLM時代の検索
shibuiwilliam
2
180
OPENLOGI Company Profile
hr01
0
67k
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
320
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
150
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
290
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
3
22k
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
3
450
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
7.8k
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
A Modern Web Designer's Workflow
chriscoyier
695
190k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Unsuck your backbone
ammeep
671
58k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Raft: Consensus for Rubyists
vanstee
140
7k
The Cult of Friendly URLs
andyhume
79
6.5k
Site-Speed That Sticks
csswizardry
10
690
Embracing the Ebb and Flow
colly
86
4.7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Transcript
© 2025 NTT DATA Japan Corporation © 2025 NTT DATA
Japan Corporation DatabricksにOLTPデータベース 『Lakebase』がやってきた! Cross Data Platforms Meetup #1.5 2025年7月9日 株式会社NTTデータ 井能 猛
© 2025 NTT DATA Japan Corporation Data+AI Summitで『Lakebase』発表 & Public
Preview開始 https://www.databricks.com/blog/what-is-a-lakebase
© 2025 NTT DATA Japan Corporation Databricksに登場した、Postgresをベースに、サーバレスに最適化されたOLTP(トランザクショナル)データベース。 What is Lakebase?
フルマネージドな Postgresデータベース 10ms未満のレイテンシ、10ks以上のQPS 拡張、ツールなどのエコシステムも利用可能 コンピュート・ストレージが 分離されたアーキテクチャ オートスケール(≧0)による性能拡張性や セカンダリノードによる可用性の担保 現代のAI開発に 最適化された開発体験 ブランチやPoint-in-timeリカバリなど NeonをベースとしたDevExの提供 Lakehouse(OLAP)との統合
© 2025 NTT DATA Japan Corporation サーバーレスなPostgresデータベースサービスを提供しており、2025年3月にDatabricksによる買収を発表。 LakebaseはNeonのテクノロジーをベースに構築されている。 What is
Neon? https://neon.com/docs/introduction/architecture-overview
© 2025 NTT DATA Japan Corporation コンピュートとストレージに分離されており、個別にスケール可能であるため性能拡張やコスト最適化が可能。 ストレージはデータレイクをベースにしており、キャッシュやバッファとして機能する中間層が存在する。 Lakebaseのアーキテクチャ compute
storage Pageserver (参照リクエスト処理、参照キャッシュ) Safekeeper (データレイク更新完了までの書き込みバッファ) Object Storage (データレイク) https://youtu.be/ul8cRLIP_Vk?t=2494 中間層
© 2025 NTT DATA Japan Corporation Neonがベースとなっており、ユーザーが認識できる範囲ではアーキテクチャに違いはない。 参考:Neonのアーキテクチャとの比較 https://neon.com/docs/introduction/architecture-overview Lakebase
© 2025 NTT DATA Japan Corporation インスタンスサイズ、point-in-timeリカバリ用のデータ保持期間、セカンダリノードの有無などを指定して作成。 親インスタンスやデータ断面を指定したコピーオンライトのクローン作成も可能。 Lakebaseのインスタンス作成 クローンするデータの断面の指定
クローンするデータベースの指定 クローンの有無 Read onlyのセカンダリ作成有無 フェイルオーバーの有効/無効 インスタンスサイズ データ保持期間(リカバリ可能期間)
© 2025 NTT DATA Japan Corporation DatabricksのSQL Editorからクエリを実行することも、 psqlで任意のクライアントから接続することも可能。 Lakebaseへのクエリ実行
© 2025 NTT DATA Japan Corporation Unity Catalog上のDeltaテーブルをLakebaseに同期(ETL)することも、 逆に、LakebaseのテーブルをUnity Catalogに登録する(Federation)することも可能。
Unity Catalogとの同期・連携 Unity Catalog to Lakebase Enabled Lakebase to Unity Catalog Enabled ETL with DLT Federation
© 2025 NTT DATA Japan Corporation Unity CatalogのDeltaテーブルの詳細画面から数クリックで同期テーブルを作成可能。 裏でDelta Live
TableのETLパイプラインが自動作成される。同期頻度はパイプラインの実行頻度で調整。 参考:Unity Catalog上のテーブルをLakebaseに同期
© 2025 NTT DATA Japan Corporation Lakebaseのデータベースインスタンスの詳細画面からUnity Catalogへの登録が可能。 仮想化による登録となるため、参照にはLakebaseのインスタンスとCluster/SQLウェアハウスの起動が必須。 参考:LakebaseのテーブルをUnity
Catalogに登録
© 2025 NTT DATA Japan Corporation データベースの利用に際するストレージ・コンピュートの従量課金および、 データの同期・仮想化に際するコンピュートの従量課金が発生する。 Lakebaseの課金体系 ストレージ
コンピュート コンピュート データベース利用に際する従量課金 データ同期に際する従量課金
© 2025 NTT DATA Japan Corporation 今後緩和される可能性はあるものの、論理サイズ上限が2TBなどの制約がある。 現時点ではOLTPデータベースの完全な置き換えを目的としたものではなく、限定した用途での利用が想定される。 制約事項 •
ワークスペースでは、最大 10 個のインスタンスを使用できます。 • 各インスタンスは、最大 1000 の並列接続をサポートします。 • インスタンス内のすべてのデータベースの論理サイズ制限は 2 TB です。 • データベース インスタンスのスコープは 1 つのワークスペースです。 ユーザーは、同じメタストアにアタッチされている他のワークスペースから必要な Unity Catalog アクセス許可を持っている場合、カタログ エクスプローラーでこれらのテーブルを表示できますが、 テーブルの内容にはアクセスできません。 https://docs.databricks.com/aws/en/oltp/instance
© 2025 NTT DATA Japan Corporation 用途はアプリケーション、AIエージェント、オンライン推論などが中心。 従来のLakehouse(OLAP)では難しかった、トランザクション処理やレイテンシが求められる処理が使いどころ。 Lakebaseの使いどころ for
AIエージェント Agent • エージェントのメモリーとして利用 • Vector Indexとして利用 for オンライン推論 ML Model • オンライン特徴量ストアとして利用 for アプリケーション Apps • アプリの状態保持のために利用 • トランザクション処理に利用 従来はAuroraなどのOLTPを別途立てる必要があったユースケースもDatabricksで完結可能に!
© 2025 NTT DATA Japan Corporation 参考:HPの冒頭にも「for data apps and
AI agents」と記載あり https://www.databricks.com/product/lakebase
© 2025 NTT DATA Japan Corporation まとめ:『いまできること』と、『もう少しでできること』 https://youtu.be/3Bmnku-x0Yo?si=VFaRLXytc9R-y3Np ◼ 完全マネージドのPostgres
◼ Lakehouseとの統合 ✓ 自動で作成されるETLパイプライン ✓ 自動で作成される仮想化設定 ✓ 一貫したアクセス制御 ◼ マルチクラウド対応 ◼ 高可用性の維持 ◼ Point-in-timeリカバリ ◼ インスタンスの即時起動 ➢ 現在は所要時間3-5分程度 ◼ オートスケーリング ➢ 現在はインスタンス数は固定 ◼ 完全なブランチング機能 ➢ 現在もデータ断面を指定したクローンは可能 ◼ より高速なLakehouseとの同期 ◼ Neonと同等のDevEx提供 いまできること もう少しでできること
© 2025 NTT DATA Japan Corporation ご清聴ありがとうございました!Zennの記事も是非御覧ください! https://zenn.dev/nttdata_tech/articles/04789d6c573830
None