Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
Search
Akihiro Kuwano
July 10, 2025
Technology
3
210
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
DB Tech Showcase でやりましたLTです!
Akihiro Kuwano
July 10, 2025
Tweet
Share
More Decks by Akihiro Kuwano
See All by Akihiro Kuwano
Databricksで完全履修!オールインワンレイクハウスは実在した!
akuwano
0
240
レイクハウスとはなんだったのか?
akuwano
18
3.2k
Delta Commit…の最近...
akuwano
2
260
貴方のツールボックスにねじこみたい!ドキュメントデータベースのススメ
akuwano
3
860
これから始めるNoSQL!AWSのNoSQLサービスを紹介します!
akuwano
1
410
Purpose-Build Database Advanced Design Pattern
akuwano
0
310
今日はMongoDBの話はしない
akuwano
0
1.9k
銀河レベルのLT(とは)
akuwano
0
6.1k
AWSのログ管理ベストプラクティス
akuwano
16
81k
Other Decks in Technology
See All in Technology
文字列の並び順 / String Collation
tmtms
1
110
LTに影響を受けてテンプレリポジトリを作った話
hol1kgmg
0
380
歴代のWeb Speed Hackathonの出題から考えるデグレしないパフォーマンス改善
shuta13
6
520
Foundation Model × VisionKit で実現するローカル OCR
sansantech
PRO
1
420
JAWS AI/ML #30 AI コーディング IDE "Kiro" を触ってみよう
inariku
3
400
はじめての転職講座/The Guide of First Career Change
kwappa
5
4.4k
20250807 Applied Engineer Open House
sakana_ai
PRO
2
610
GISエンジニアよ 現場に行け!
sudataka
1
140
メルカリIBIS:AIが拓く次世代インシデント対応
0gm
2
460
AWS DDoS攻撃防御の最前線
ryutakondo
1
180
モノレポにおけるエラー管理 ~Runbook自動生成とチームメンションの最適化
biwashi
0
370
形式手法特論:位相空間としての並行プログラミング #kernelvm / Kernel VM Study Tokyo 18th
ytaka23
3
1.5k
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1370
200k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Into the Great Unknown - MozCon
thekraken
40
2k
Practical Orchestrator
shlominoach
190
11k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
©2024 Databricks Inc. — All rights reserved データ基盤からデータベースま で? 広がるユースケースの
Databricksについて教えるよ! Akihiro Kuwano
©2024 Databricks Inc. — All rights reserved プロダクト セーフ ハーバー
ステートメント この情報は、データブリックスの一般的な製品の方向性を概説するために提供 されるものであり、情報提供のみを目的 としています。データブリックスのサー ビスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠し て購入を決定してください。将来見通しに関する記述に記載されている未発表 の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画 通りまたは全く提供されない可能性があります。
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksってデータベースもやってるの?
▪ そもそもDatabricksって、、、何じゃい! ▪ DatabricksがなんでDB Tech Showcaseにいるんじゃい! ▪ Lakebaseじゃい!!! ▪ データ基盤がデータベースをなんでやるんでしょうか?(震え声) ▪ 最後に
©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano
/ 桑野 章弘 経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリア や、目黒のオレンジの会社パブリッククラウドベンダーでソリューション アーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社 でソ リューションアーキテクトをしています! ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術 支援を実施しております! Databricks Japan 株式会社 Solutions Architect
©2024 Databricks Inc. — All rights reserved そもそもDatabricksっ て、、、何じゃい!
©2024 Databricks Inc. — All rights reserved Databricks…
©2024 Databricks Inc. — All rights reserved 知ってます?
©2024 Databricks Inc. — All rights reserved 知ってるひと!
©2024 Databricks Inc. — All rights reserved Creator of: 9
12,000+ 顧客数 $3B+ (約4,500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値 レイクハウス の発明者で、 生成AI のパイオニア Gartner が認知するデータ +AIのダブルリーダー データベース管理システム データサイエンスと機械学習プラットフォーム 2013年設立 (日本法人は 2019年) データ & AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning
第三者機関から、データ+ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and
Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages
©2024 Databricks Inc. — All rights reserved まじめか?
©2024 Databricks Inc. — All rights reserved Databricksです! ▪ Databricksはデータ分析からAI/MLまで一気通
貫にやれるやつ(データ分析基盤/AIML基盤)! ▪ レイクハウスアーキテクチャを作ったのは Databricksが最初だ!(そもそも論文作ったのが 創業者) ▪ 最近もりあがってるよね!(同意を求める目
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする 大変な事もある
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化 大変な事もある んだって
©2024 Databricks Inc. — All rights reserved よし、じゃあアレだな
©2024 Databricks Inc. — All rights reserved レイクハウスとは? レイクハウスが実現すること ▪
データの一元管理 ▪ コストパフォーマンス最適化 ▪ BI〜AIまで高度な分析/機械学習のサポート ▪ データガバナンスの強化 ▪ スケーラビリティ ▪ 柔軟性
©2024 Databricks Inc. — All rights reserved レイクハウスへ Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science Machine Learning データレイク (S3、ADLS、GCS) 構造化 データ BI/User Data Science メタデータ & ガバナンスレイヤ コンピュートレイヤ ETL
©2024 Databricks Inc. — All rights reserved データレイク (S3、ADLS、GCS) メタデータ
& ガバナンスレイヤ コンピュートレイヤ Machine Learning BI/User Data Science すべてのデータ をデータレイクへ と保存 サイロの排 除 構造化、非構造 化ファイルの同 一I/Fでの扱い クラウドスト レージの有 効活用 コンピュートとスト レージの 分離 安価なクラウドス トレージの 活用 BI〜AIまで 必要な処理を 実行可能 統一された データ ガバナンス 必要な処理分 スケール可能 必要な処理分 スケール可能 パフォーマン スの最適化 ETL
©2024 Databricks Inc. — All rights reserved Delta Lake/Icebergでク ラウドストレージを活用し
つつハイパフォーマンス、 低コストを実現
©2024 Databricks Inc. — All rights reserved これまでのデータ基盤アーキテクチャ (複雑なパイプライン・分断されたアーキテクチャ・困難な管理・高コスト )
CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 データソース データ同期・収集 加工 機能 活用先 技術スタッフ (データ検索) 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス RDBMS 社内システム リアルタイムデータ 新しく発生するデータタイプ ・・・ ・・・ 蓄積 データ 転送 データレイク 外部DB連携 ETLツール オーケストレーショ ンツール ETLツール 通知 起動 取込み 取込み 抽出データ保存 ETLツール データレイク データウェアハウス データ マート マスタ データ 非構造化データ基盤 構造化データ基盤 リアルタイムデータ基盤 リアルタイムDB データシェア データ APIサービス オーケストレーショ ンツール AI/ML 基盤 モデル学習 モデル管理 モデルサービング 特徴量抽出 通知・アラート ダッシュボード カタログ機能 DWHのみ その他・全ての種類の ビジネスデータ
©2024 Databricks Inc. — All rights reserved Databricks on AWSのレイクハウス構成
(あらゆるデータ・スピード・量・ユースケースに即時対応可能なレイクハウス構成 ) データ 転送 フィルタ、前処理、 スキーマ処理 [ウェアハウス ] Silver 生データ [レイク ] Bronze ビジネスレベル サマリデータ [マート ] Gold データカタログ (Unity Catalog) Model Serving データ APIサービス (Databricks SQL) データシェア (Delta Share) AI/機械学習 分散高速コンピュート データソース データ同期・収集 蓄積・加工 活用 活用先 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー RDBMS 社内システム その他・全ての種類の ビジネスデータ リアルタイムデータ データレイク 新しく発生するデータタイプ ・・・ アラート通知 外部DB連携 オーケストレーション Workflow / Delta Live Table AutoML ダッシュボード CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 技術スタッフ (データ検索) BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス ・・・ チャット (Genie)
©2024 Databricks Inc. — All rights reserved めでたし、めでたし
©2024 Databricks Inc. — All rights reserved 〜Fin〜
©2024 Databricks Inc. — All rights reserved ちゃうねん!
©2024 Databricks Inc. — All rights reserved Databricksがなんで DB Tech
Showcase にいるんじゃい!
©2024 Databricks Inc. — All rights reserved よ、、、呼ばれたから、、、
©2024 Databricks Inc. — All rights reserved そうだよね、ちがうね
©2024 Databricks Inc. — All rights reserved Lakebase!!!
Lakebase ANNOUNCING The transactional database designed for the AI era
©2024 Databricks Inc. — All rights reserved Lakebase Databricksに完全統合された、Managed Postgres
Database Postgres 基盤 コンピュートと ストレージの分 離 AI時代を拓く 開発者体験 レイクハウスとの統合 & エンタープライズ対応 Announcing Lakebase Public Preview | Databricks Blog What Is a Lakebase? | Databricks Blog
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database Postgres基盤 ▪ オープンソース のPostgres上に構築 ▪ 10ms未満のレイテンシーと、毎秒10,000以 上のクエリを捌くコンカレンシー ▪ 広範なツール、ライブラリ、 拡張機能のエコシステムを活用可能 + 参考:Postgres compatibility | Databricks Documentation
©2024 Databricks Inc. — All rights reserved Storage Lakebase -
特徴 Databricksに完全統合された、Managed Postgres Database コンピュートとストレージの分離 ▪ 最下層:データレイク に物理データを 保持 ▪ 中間層:ストレージの高速なキャッシュ として 動作 ▪ 最上層:一時的なPostgresインスタンス が 稼働 Object Storage Pageserver Safekeeper Compute Postgres Postgres 参考:Neon architecture - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database AI時代を拓く開発者体験 ▪ サーバーレス:AIエージェントの起動に合 わせて迅速に起動 ・利用がない 場合はゼロにスケール ▪ 従量課金制:使用した分だけ 支払う ▪ 即時ブランチ作成:本番DBを瞬時に 複製・テストに使用可能 main e2e test 参考:Branching - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database レイクハウスとの統合 & エンタープライズ対応 ▪ レイクハウスのDelta Tableと 数クリックで同期可能 ▪ インフラストラクチャ / データベースのエン タープライズ要件 対応 ※コンピュートのハードニング、暗号化、ネットワークセキュリ ティ、高可用性、DR、スナップショット、etc
©2024 Databricks Inc. — All rights reserved データ基盤屋さんがデー タベースをなんでやるんで しょうか?(震え声)
©2024 Databricks Inc. — All rights reserved RDSやりたいの?
©2024 Databricks Inc. — All rights reserved No!
©2024 Databricks Inc. — All rights reserved 非推奨ユースケース Lakebaseで推奨していないユースケース ▪
大規模なOLTPの移行 ▪ (レイクハウスが関与しない)一般的なシステム 開発 要するに一般的なRDBMSとしての利用は推奨して いない
©2024 Databricks Inc. — All rights reserved 推奨ユースケース Lakebaseで推奨しているユースケース ▪
AI Agentのメモリストアなど ▪ 特徴量ストア ▪ アプリケーションの状態管理 ▪ AIを活用した顧客体験最適化とオペレーション の効率化 Lakebaseは基本的には、AI/MLワークロードや、一 時的なデータストアとしてのRDBMSとして使うことを 推奨している
©2024 Databricks Inc. — All rights reserved インテリジェント・アプリケーションは、トランザク ション、OLTPデータベースが必要! Eコマース
• パーソナライズされたレコメンデーション • 顧客セグメンテーション ヘルスケア • 臨床ワークフローの推奨 • 臨床試験データの管理 ファイナンス • 自動市場取引 • 銀行/証券会社のクロスセル /アップセル 小売 • チャットボットによるショッピング体験 • リアルタイムオファー
©2024 Databricks Inc. — All rights reserved 最後に
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何? ー AI/MLワークロードに特化したDatabricksのRDBMS サービス
©2024 Databricks Inc. — All rights reserved です!
©2024 Databricks Inc. — All rights reserved 今後ともヨロシク・・・
©2024 Databricks Inc. — All rights reserved 〜こんどこそ Fin〜