Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
Search
Akihiro Kuwano
July 10, 2025
Technology
3
120
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
DB Tech Showcase でやりましたLTです!
Akihiro Kuwano
July 10, 2025
Tweet
Share
More Decks by Akihiro Kuwano
See All by Akihiro Kuwano
Databricksで完全履修!オールインワンレイクハウスは実在した!
akuwano
0
210
レイクハウスとはなんだったのか?
akuwano
18
3k
Delta Commit…の最近...
akuwano
2
250
貴方のツールボックスにねじこみたい!ドキュメントデータベースのススメ
akuwano
3
850
これから始めるNoSQL!AWSのNoSQLサービスを紹介します!
akuwano
1
400
Purpose-Build Database Advanced Design Pattern
akuwano
0
300
今日はMongoDBの話はしない
akuwano
0
1.9k
銀河レベルのLT(とは)
akuwano
0
6.1k
AWSのログ管理ベストプラクティス
akuwano
16
81k
Other Decks in Technology
See All in Technology
freeeのアクセシビリティの現在地 / freee's Current Position on Accessibility
ymrl
2
210
データグループにおけるフロントエンド開発
lycorptech_jp
PRO
1
110
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
3
17k
Model Mondays S2E04: AI Developer Experiences
nitya
0
190
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
3
7.3k
SEQUENCE object comparison - db tech showcase 2025 LT2
nori_shinoda
0
150
How Do I Contact HP Printer Support? [Full 2025 Guide for U.S. Businesses]
harrry1211
0
120
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
280
React開発にStorybookとCopilotを導入して、爆速でUIを編集・確認する方法
yu_kod
1
280
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
1
110
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
2
200
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
300
Featured
See All Featured
How to Ace a Technical Interview
jacobian
278
23k
Facilitating Awesome Meetings
lara
54
6.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
970
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Practical Orchestrator
shlominoach
189
11k
Unsuck your backbone
ammeep
671
58k
Transcript
©2024 Databricks Inc. — All rights reserved データ基盤からデータベースま で? 広がるユースケースの
Databricksについて教えるよ! Akihiro Kuwano
©2024 Databricks Inc. — All rights reserved プロダクト セーフ ハーバー
ステートメント この情報は、データブリックスの一般的な製品の方向性を概説するために提供 されるものであり、情報提供のみを目的 としています。データブリックスのサー ビスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠し て購入を決定してください。将来見通しに関する記述に記載されている未発表 の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画 通りまたは全く提供されない可能性があります。
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksってデータベースもやってるの?
▪ そもそもDatabricksって、、、何じゃい! ▪ DatabricksがなんでDB Tech Showcaseにいるんじゃい! ▪ Lakebaseじゃい!!! ▪ データ基盤がデータベースをなんでやるんでしょうか?(震え声) ▪ 最後に
©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano
/ 桑野 章弘 経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリア や、目黒のオレンジの会社パブリッククラウドベンダーでソリューション アーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社 でソ リューションアーキテクトをしています! ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術 支援を実施しております! Databricks Japan 株式会社 Solutions Architect
©2024 Databricks Inc. — All rights reserved そもそもDatabricksっ て、、、何じゃい!
©2024 Databricks Inc. — All rights reserved Databricks…
©2024 Databricks Inc. — All rights reserved 知ってます?
©2024 Databricks Inc. — All rights reserved 知ってるひと!
©2024 Databricks Inc. — All rights reserved Creator of: 9
12,000+ 顧客数 $3B+ (約4,500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値 レイクハウス の発明者で、 生成AI のパイオニア Gartner が認知するデータ +AIのダブルリーダー データベース管理システム データサイエンスと機械学習プラットフォーム 2013年設立 (日本法人は 2019年) データ & AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning
第三者機関から、データ+ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and
Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages
©2024 Databricks Inc. — All rights reserved まじめか?
©2024 Databricks Inc. — All rights reserved Databricksです! ▪ Databricksはデータ分析からAI/MLまで一気通
貫にやれるやつ(データ分析基盤/AIML基盤)! ▪ レイクハウスアーキテクチャを作ったのは Databricksが最初だ!(そもそも論文作ったのが 創業者) ▪ 最近もりあがってるよね!(同意を求める目
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする 大変な事もある
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化 大変な事もある んだって
©2024 Databricks Inc. — All rights reserved よし、じゃあアレだな
©2024 Databricks Inc. — All rights reserved レイクハウスとは? レイクハウスが実現すること ▪
データの一元管理 ▪ コストパフォーマンス最適化 ▪ BI〜AIまで高度な分析/機械学習のサポート ▪ データガバナンスの強化 ▪ スケーラビリティ ▪ 柔軟性
©2024 Databricks Inc. — All rights reserved レイクハウスへ Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science Machine Learning データレイク (S3、ADLS、GCS) 構造化 データ BI/User Data Science メタデータ & ガバナンスレイヤ コンピュートレイヤ ETL
©2024 Databricks Inc. — All rights reserved データレイク (S3、ADLS、GCS) メタデータ
& ガバナンスレイヤ コンピュートレイヤ Machine Learning BI/User Data Science すべてのデータ をデータレイクへ と保存 サイロの排 除 構造化、非構造 化ファイルの同 一I/Fでの扱い クラウドスト レージの有 効活用 コンピュートとスト レージの 分離 安価なクラウドス トレージの 活用 BI〜AIまで 必要な処理を 実行可能 統一された データ ガバナンス 必要な処理分 スケール可能 必要な処理分 スケール可能 パフォーマン スの最適化 ETL
©2024 Databricks Inc. — All rights reserved Delta Lake/Icebergでク ラウドストレージを活用し
つつハイパフォーマンス、 低コストを実現
©2024 Databricks Inc. — All rights reserved これまでのデータ基盤アーキテクチャ (複雑なパイプライン・分断されたアーキテクチャ・困難な管理・高コスト )
CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 データソース データ同期・収集 加工 機能 活用先 技術スタッフ (データ検索) 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス RDBMS 社内システム リアルタイムデータ 新しく発生するデータタイプ ・・・ ・・・ 蓄積 データ 転送 データレイク 外部DB連携 ETLツール オーケストレーショ ンツール ETLツール 通知 起動 取込み 取込み 抽出データ保存 ETLツール データレイク データウェアハウス データ マート マスタ データ 非構造化データ基盤 構造化データ基盤 リアルタイムデータ基盤 リアルタイムDB データシェア データ APIサービス オーケストレーショ ンツール AI/ML 基盤 モデル学習 モデル管理 モデルサービング 特徴量抽出 通知・アラート ダッシュボード カタログ機能 DWHのみ その他・全ての種類の ビジネスデータ
©2024 Databricks Inc. — All rights reserved Databricks on AWSのレイクハウス構成
(あらゆるデータ・スピード・量・ユースケースに即時対応可能なレイクハウス構成 ) データ 転送 フィルタ、前処理、 スキーマ処理 [ウェアハウス ] Silver 生データ [レイク ] Bronze ビジネスレベル サマリデータ [マート ] Gold データカタログ (Unity Catalog) Model Serving データ APIサービス (Databricks SQL) データシェア (Delta Share) AI/機械学習 分散高速コンピュート データソース データ同期・収集 蓄積・加工 活用 活用先 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー RDBMS 社内システム その他・全ての種類の ビジネスデータ リアルタイムデータ データレイク 新しく発生するデータタイプ ・・・ アラート通知 外部DB連携 オーケストレーション Workflow / Delta Live Table AutoML ダッシュボード CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 技術スタッフ (データ検索) BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス ・・・ チャット (Genie)
©2024 Databricks Inc. — All rights reserved めでたし、めでたし
©2024 Databricks Inc. — All rights reserved 〜Fin〜
©2024 Databricks Inc. — All rights reserved ちゃうねん!
©2024 Databricks Inc. — All rights reserved Databricksがなんで DB Tech
Showcase にいるんじゃい!
©2024 Databricks Inc. — All rights reserved よ、、、呼ばれたから、、、
©2024 Databricks Inc. — All rights reserved そうだよね、ちがうね
©2024 Databricks Inc. — All rights reserved Lakebase!!!
Lakebase ANNOUNCING The transactional database designed for the AI era
©2024 Databricks Inc. — All rights reserved Lakebase Databricksに完全統合された、Managed Postgres
Database Postgres 基盤 コンピュートと ストレージの分 離 AI時代を拓く 開発者体験 レイクハウスとの統合 & エンタープライズ対応 Announcing Lakebase Public Preview | Databricks Blog What Is a Lakebase? | Databricks Blog
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database Postgres基盤 ▪ オープンソース のPostgres上に構築 ▪ 10ms未満のレイテンシーと、毎秒10,000以 上のクエリを捌くコンカレンシー ▪ 広範なツール、ライブラリ、 拡張機能のエコシステムを活用可能 + 参考:Postgres compatibility | Databricks Documentation
©2024 Databricks Inc. — All rights reserved Storage Lakebase -
特徴 Databricksに完全統合された、Managed Postgres Database コンピュートとストレージの分離 ▪ 最下層:データレイク に物理データを 保持 ▪ 中間層:ストレージの高速なキャッシュ として 動作 ▪ 最上層:一時的なPostgresインスタンス が 稼働 Object Storage Pageserver Safekeeper Compute Postgres Postgres 参考:Neon architecture - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database AI時代を拓く開発者体験 ▪ サーバーレス:AIエージェントの起動に合 わせて迅速に起動 ・利用がない 場合はゼロにスケール ▪ 従量課金制:使用した分だけ 支払う ▪ 即時ブランチ作成:本番DBを瞬時に 複製・テストに使用可能 main e2e test 参考:Branching - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database レイクハウスとの統合 & エンタープライズ対応 ▪ レイクハウスのDelta Tableと 数クリックで同期可能 ▪ インフラストラクチャ / データベースのエン タープライズ要件 対応 ※コンピュートのハードニング、暗号化、ネットワークセキュリ ティ、高可用性、DR、スナップショット、etc
©2024 Databricks Inc. — All rights reserved データ基盤屋さんがデー タベースをなんでやるんで しょうか?(震え声)
©2024 Databricks Inc. — All rights reserved RDSやりたいの?
©2024 Databricks Inc. — All rights reserved No!
©2024 Databricks Inc. — All rights reserved 非推奨ユースケース Lakebaseで推奨していないユースケース ▪
大規模なOLTPの移行 ▪ (レイクハウスが関与しない)一般的なシステム 開発 要するに一般的なRDBMSとしての利用は推奨して いない
©2024 Databricks Inc. — All rights reserved 推奨ユースケース Lakebaseで推奨しているユースケース ▪
AI Agentのメモリストアなど ▪ 特徴量ストア ▪ アプリケーションの状態管理 ▪ AIを活用した顧客体験最適化とオペレーション の効率化 Lakebaseは基本的には、AI/MLワークロードや、一 時的なデータストアとしてのRDBMSとして使うことを 推奨している
©2024 Databricks Inc. — All rights reserved インテリジェント・アプリケーションは、トランザク ション、OLTPデータベースが必要! Eコマース
• パーソナライズされたレコメンデーション • 顧客セグメンテーション ヘルスケア • 臨床ワークフローの推奨 • 臨床試験データの管理 ファイナンス • 自動市場取引 • 銀行/証券会社のクロスセル /アップセル 小売 • チャットボットによるショッピング体験 • リアルタイムオファー
©2024 Databricks Inc. — All rights reserved 最後に
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何? ー AI/MLワークロードに特化したDatabricksのRDBMS サービス
©2024 Databricks Inc. — All rights reserved です!
©2024 Databricks Inc. — All rights reserved 今後ともヨロシク・・・
©2024 Databricks Inc. — All rights reserved 〜こんどこそ Fin〜