DatabricksのOLTPデータベース『Lakebase』に詳しくなろう！

JEDAI 2025/07/18
Data+AI Summit2025をみんなで振り返ろう！　発表資料

Transcript

1. © 2025 NTT DATA Japan Corporation © 2025 NTT DATA Japan Corporation DatabricksにOLTPデータベース 『Lakebase』に詳しくなろう！ Data + AI Summit 2025をみんなで振り返ろう！ 2025年7月18日 株式会社NTTデータ 井能 猛
2. © 2025 NTT DATA Japan Corporation Data+AI Summitで『Lakebase』発表 ＆ Public Preview開始 https://www.databricks.com/blog/what-is-a-lakebase
3. © 2025 NTT DATA Japan Corporation OLAPは収集・蓄積したデータを分析することを目的として、データを列ごとに持つ(列指向)のデータベースで実現、 OLTPはトランザクション処理を高速に行なうことを目的として、データを行ごとに持つ(行指向)のデータベースで実現 はじめに：「OLAP」と「OLTP」の違い OrderID CustomerID OrderDate Amount 1 CUST005 2025-07-16 2,980 2 CUST003 2025-07-17 8,750 3 CUST001 2025-07-17 1,500 OLTP Online Transaction Processing ：トランザクション処理を高速に行うこと ：注文処理、在庫更新、銀行振込 目 的 利用例 OrderID CustomerID OrderDate Amount 1 CUST005 2025-07-16 2,980 2 CUST003 2025-07-17 8,750 3 CUST001 2025-07-17 1,500 OLAP Online Analytical Processing ：収集・蓄積したデータを分析すること ：売上分析、マーケティング分析 目 的 利用例 OLTPを実現するDBは行ごとにデータを保存するため 特定の行に高速アクセス可能で追加や更新に強い OLAPを実現するDBは列ごとにデータを保存するため 特定の列に高速アクセス可能で集計やフィルタに強い
4. © 2025 NTT DATA Japan Corporation OLAPは収集・蓄積したデータを分析することを目的として、データを列ごとに持つ(列指向)のデータベースで実現、 OLTPはトランザクション処理を高速に行なうことを目的として、データを行ごとに持つ(行指向)のデータベースで実現 はじめに：「OLAP」と「OLTP」の違い OrderID CustomerID OrderDate Amount 1 CUST005 2025-07-16 2,980 2 CUST003 2025-07-17 8,750 3 CUST001 2025-07-17 1,500 OLTP Online Transaction Processing ：トランザクション処理を高速に行うこと ：注文処理、在庫更新、銀行振込 目 的 利用例 OrderID CustomerID OrderDate Amount 1 CUST005 2025-07-16 2,980 2 CUST003 2025-07-17 8,750 3 CUST001 2025-07-17 1,500 OLAP Online Analytical Processing ：収集・蓄積したデータを分析すること ：売上分析、マーケティング分析 目 的 利用例 OLTPを実現するDBは行ごとにデータを保存するため 特定の行に高速アクセス可能で追加や更新に強い OLAPを実現するDBは列ごとにデータを保存するため 特定の列に高速アクセス可能で集計やフィルタに強い や は OLAP が得意 Databricksで利用する
5. © 2025 NTT DATA Japan Corporation Databricksに登場した、Postgresをベースに、サーバレスに最適化されたOLTP(トランザクショナル)データベース。 What is Lakebase？ フルマネージドな Postgresデータベース 10ms未満のレイテンシ、10ks以上のQPS 拡張、ツールなどのエコシステムも利用可能 コンピュート・ストレージが 分離されたアーキテクチャ オートスケール(≧0)による性能拡張性や セカンダリノードによる可用性の担保 現代のAI開発に 最適化された開発体験 ブランチやPoint-in-timeリカバリなど NeonをベースとしたDevExの提供 Lakehouse(OLAP)との統合
6. © 2025 NTT DATA Japan Corporation サーバーレスなPostgresデータベースサービスを提供しており、2025年3月にDatabricksによる買収を発表。 LakebaseはNeonのテクノロジーをベースに構築されている。 What is Neon？ https://neon.com/docs/introduction/architecture-overview
7. © 2025 NTT DATA Japan Corporation コンピュートとストレージに分離されており、個別にスケール可能であるため性能拡張やコスト最適化が可能。 ストレージはデータレイクをベースにしており、キャッシュやバッファとして機能する中間層が存在する。 Lakebaseのアーキテクチャ compute storage Pageserver (参照リクエスト処理、参照キャッシュ) Safekeeper (データレイク更新完了までの書き込みバッファ) Object Storage (データレイク) https://youtu.be/ul8cRLIP_Vk?t=2494 中間層
8. © 2025 NTT DATA Japan Corporation Neonがベースとなっており、ユーザーが認識できる範囲ではアーキテクチャに違いはない。 参考：Neonのアーキテクチャとの比較 https://neon.com/docs/introduction/architecture-overview Lakebase
9. © 2025 NTT DATA Japan Corporation インスタンスサイズ、point-in-timeリカバリ用のデータ保持期間、セカンダリノードの有無などを指定して作成。 親インスタンスやデータ断面を指定したコピーオンライトのクローン作成も可能。 Lakebaseのインスタンス作成 クローンするデータの断面の指定 クローンするデータベースの指定 クローンの有無 Read onlyのセカンダリ作成有無 フェイルオーバーの有効/無効 インスタンスサイズ データ保持期間(リカバリ可能期間)
10. © 2025 NTT DATA Japan Corporation DatabricksのSQL Editorからクエリを実行することも、 psqlで任意のクライアントから接続することも可能。 Lakebaseへのクエリ実行
11. © 2025 NTT DATA Japan Corporation Unity Catalog上のDeltaテーブルをLakebaseに同期(ETL)することも、 逆に、LakebaseのテーブルをUnity Catalogに登録する(Federation)することも可能。 Unity Catalogとの同期・連携 Unity Catalog to Lakebase Enabled Lakebase to Unity Catalog Enabled ETL with DLT Federation
12. © 2025 NTT DATA Japan Corporation Unity CatalogのDeltaテーブルの詳細画面から数クリックで同期テーブルを作成可能。 裏でDelta Live TableのETLパイプラインが自動作成される。同期頻度はパイプラインの実行頻度で調整。 参考：Unity Catalog上のテーブルをLakebaseに同期
13. © 2025 NTT DATA Japan Corporation Lakebaseのデータベースインスタンスの詳細画面からUnity Catalogへの登録が可能。 仮想化による登録となるため、参照にはLakebaseのインスタンスとCluster/SQLウェアハウスの起動が必須。 参考：LakebaseのテーブルをUnity Catalogに登録
14. © 2025 NTT DATA Japan Corporation データベースの利用に際するストレージ・コンピュートの従量課金および、 データの同期・仮想化に際するコンピュートの従量課金が発生する。 Lakebaseの課金体系 ストレージ コンピュート コンピュート データベース利用に際する従量課金 データ同期に際する従量課金
15. © 2025 NTT DATA Japan Corporation 今後緩和される可能性はあるものの、論理サイズ上限が２TBなどの制約がある。 現時点ではOLTPデータベースの完全な置き換えを目的としたものではなく、限定した用途での利用が想定される。 制約事項 • ワークスペースでは、最大 10 個のインスタンスを使用できます。 • 各インスタンスは、最大 1000 の並列接続をサポートします。 • インスタンス内のすべてのデータベースの論理サイズ制限は 2 TB です。 • データベース インスタンスのスコープは 1 つのワークスペースです。 ユーザーは、同じメタストアにアタッチされている他のワークスペースから必要な Unity Catalog アクセス許可を持っている場合、カタログ エクスプローラーでこれらのテーブルを表示できますが、 テーブルの内容にはアクセスできません。 https://docs.databricks.com/aws/en/oltp/instance
16. © 2025 NTT DATA Japan Corporation 用途はアプリケーション、AIエージェント、オンライン推論などが中心。 従来のLakehouse(OLAP)では難しかった、トランザクション処理やレイテンシが求められる処理が使いどころ。 Lakebaseの使いどころ for AIエージェント Agent • エージェントのメモリーとして利用 • Vector Indexとして利用 for オンライン推論 ML Model • オンライン特徴量ストアとして利用 for アプリケーション Apps • アプリの状態保持のために利用 • トランザクション処理に利用 従来はAuroraなどのOLTPを別途立てる必要があったユースケースもDatabricksで完結可能に！
17. © 2025 NTT DATA Japan Corporation 参考：HPの冒頭にも「for data apps and AI agents」と記載あり https://www.databricks.com/product/lakebase
18. © 2025 NTT DATA Japan Corporation まとめ：『いまできること』と、『もう少しでできること』 https://youtu.be/3Bmnku-x0Yo?si=VFaRLXytc9R-y3Np ◼ 完全マネージドのPostgres ◼ Lakehouseとの統合 ✓ 自動で作成されるETLパイプライン ✓ 自動で作成される仮想化設定 ✓ 一貫したアクセス制御 ◼ マルチクラウド対応 ◼ 高可用性の維持 ◼ Point-in-timeリカバリ ◼ インスタンスの即時起動 ➢ 現在は所要時間3-5分程度 ◼ オートスケーリング ➢ 現在はインスタンス数は固定 ◼ 完全なブランチング機能 ➢ 現在もデータ断面を指定したクローンは可能 ◼ より高速なLakehouseとの同期 ◼ Neonと同等のDevEx提供 いまできること もう少しでできること
19. © 2025 NTT DATA Japan Corporation ご清聴ありがとうございました！Zennの記事も是非御覧ください！ https://zenn.dev/nttdata_tech/articles/04789d6c573830