Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Lakehouse×生成AI Databricksで体験する次世代データ分析ハンズオン 短縮版
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
島村学
May 17, 2025
Technology
82
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Lakehouse×生成AI Databricksで体験する次世代データ分析ハンズオン 短縮版
SocioInfo#30「AIとデータ利活用とRAG」(自然言語処理,AI,RAG,データ分析他)時にて発表した資料の一部です。
島村学
May 17, 2025
Transcript
13 slides
SocioInfo#30 Lakehouse × 生成AI Databricksで体験する 次世代データ分析ハンズオン 島村 学
はじめに Lakehouse と 生成 AI というホットなテーマについてハンズオンを通して理解を深めていた だきます。 理論編としてデータ分析業界において注目されている Lakehouse と
Databricks に解 説します。 ハンズオンとして、 Databricks 上でメダリオンアーキテクチャにより Lakehouse の構築を 行い、 そのデータに対する生成 AI によるデータ分析を実施していただきます。
自己紹介 (1/2) Databricks Champion 認定者 データ分析システムにおける アーキテクト兼データエンジニア 株式会社ジール 島村 学
自己紹介 (2/2) DAMA のイベントにて登壇 IT 記事のブロガーです
理論編
Lakehouse とは (1/2) Lakehouse とは、 Data Lake と Data Warehouses
を組み合わせたデータ基盤アーキテクチャです。 オープンなフォーマットで低価格のストレージにデータを格納するなどの特徴があります。 出所:Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
メダリオンアーキテクチャとは Lakehouse の普及とともに、メダリオンアーキテクチャというデータ設計パターンが注目されています。 ブロンズ (Bronze)・シルバー (Silver)・ゴールド (Gold)の3つのレイヤーを順次通過させることで、データの構造 と品質を段階的に向上させていく方法論であり、Lakehouse 構築時のベストプラクティスの1つです。 出所:メダリオンアーキテクチャ
(medallion architecture) | Databricks
1. Databricks にログイン Databricks にログインします。接続先 URL、および、接続情報は別途送付します。 続きは参加者のみです。
ハンズオンの実施に向けて
Microsoft 最近のクラウドサービスを利用するにはスマホなどで認証する方法がデフォルトの動作となっているため、 今回はお待ちのスマホで Microsoft Authenticator というアプリをダウンロードしてください。 iPhone 版 Android 版
ハンズオン
ハンズオン概要 Databricks のログインからはじめて、Databricks にてメダリオンアーキテクチャでデータ を蓄積を行い、生成 AI によるデータ分析を実施していただきます。下記の実施手順を実施 します。 Databricks にログイン
GitHub からコードを取得 「00_config」ノートブックの実行 「01_medallion_architecture 」ノートブックの実行 「03_data_analysis_by_gen_ai」ノートブックの実行
1. Databricks にログイン Databricks にログインします。接続先 URL、および、接続情報は別途送付します。 続きは参加者のみです。
More Decks by 島村学
See All by 島村学
Delta + Iceberg から読み解く、データ相互運用の現在地と次の一手
shimamura
0
370
Databricks で Iceberg を試してみた
shimamura
0
790
Databricks における Apache Iceberg の活用ポイント
shimamura
0
640
Other Decks in Technology
See All in Technology
実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計
kazatohiei
0
170
コーディングできない僕にBobが舞い降りた
shumpei3
0
200
AIエージェントのアーキテクチャ設計
nsatoh
0
540
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
500
共通基盤の実装に Kotlin - Quarkus を選定した理由と採用したアーキテクチャ
nealle
1
160
NutanixへのSSHアクセスの今後について
shadowhat
0
170
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
920
AWS re:Invent 2026 FSI Pre-Event Networking Night
junjikoide
0
210
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
4
870
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
140
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
200
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
3
620
Featured
See All Featured
Well, that’s weird…
csswizardry
1
200
Navigating Team Friction
lara
192
16k
Java REST API Framework Comparison - PWX 2021
mraible
34
9.8k
Measuring Dark Social's Impact On Conversion and Attribution
stephenakadiri
2
340
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
560
Large-scale JavaScript Application Architecture
addyosmani
516
110k
svc-hook: hooking system calls on ARM64 by binary rewriting
retrage
2
690
Building Experiences: Design Systems, User Experience, and Full Site Editing
marktimemedia
1
670
How to build a perfect <img>
jonoalderson
1
6.3k
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
2
3k
Code Reviewing Like a Champion
maltzj
529
40k
The State of eCommerce SEO: How to Win in Today's Products SERPs - #SEOweek
aleyda
2
12k