Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
dbtの概要
Search
Shasha
June 09, 2022
Technology
1
1.1k
dbtの概要
Shasha
June 09, 2022
Tweet
Share
More Decks by Shasha
See All by Shasha
20221004_AKIBA.SaaS
shasha48
0
5
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
6
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
76
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
41
dbtとLookerの 境界線を定めます!
shasha48
0
110
信頼できるデータを届け、使うのは?
shasha48
0
280
DataObserbabilityDevIO2023.pdf
shasha48
0
1k
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
910
Other Decks in Technology
See All in Technology
RDS の負荷が高い場合に AWS で取りうる具体策 N 連発/a-series-of-specific-countermeasures-available-on-aws-when-rds-is-under-high-load
emiki
4
3.6k
スタートアップにおけるこれからの「データ整備」
shomaekawa
2
490
ソースを読むプロセスの例
sat
PRO
15
8.9k
React19.2のuseEffectEventを追う
maguroalternative
1
410
AI時代こそ求められる設計力- AWSクラウドデザインパターン3選で信頼性と拡張性を高める-
kenichirokimura
3
330
「れきちず」のこれまでとこれから - 誰にでもわかりやすい歴史地図を目指して / FOSS4G 2025 Japan
hjmkth
1
310
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
240
「使い方教えて」「事例教えて」じゃもう遅い! Microsoft 365 Copilot を触り倒そう!
taichinakamura
0
400
『バイトル』CTOが語る! AIネイティブ世代と切り拓くモノづくり組織
dip_tech
PRO
1
130
物体検出モデルでシイタケの収穫時期を自動判定してみた。 #devio2025
lamaglama39
0
210
Data Hubグループ 紹介資料
sansan33
PRO
0
2.2k
能登半島地震において デジタルができたこと・できなかったこと
ditccsugii
0
250
Featured
See All Featured
Designing for humans not robots
tammielis
254
26k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
Typedesign – Prime Four
hannesfritz
42
2.8k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
The Cost Of JavaScript in 2023
addyosmani
55
9k
Embracing the Ebb and Flow
colly
88
4.9k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
KATA
mclloyd
32
15k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
How GitHub (no longer) Works
holman
315
140k
Transcript
dbtの概要 dbt×Fivetran×SnowflakeによるModern Data Stack~データ 活用までの準備を楽々に~ 2022年6月9日 アライアンス統括部 堀本 理紗
2 自己紹介 氏名 堀本 理紗(ブログは紗紗) 担当業務 Looker、Snowflakeのプロサービス・プリセールス dbtも頑張りたい今日このごろ やめたいけどやめられない インスタパトロール。
動物系から単純作業、ライフハック系などエンドレス
3 本日お話しすること • ETLの時代の話 • ELTとMDS • データモデリングの手法と問題点 • T(変換)の重要性
• dbtが解決すること
4 ETLの時代(2010年代) • ETL ◦ Extract(抽出) ◦ Transform(変換) ◦ Load(ロード)
• データ分析界隈の関心 ◦ ETLをどのように構築するか ◦ どのようにスケールさせるか ◦ ストレージのコストを抑える ◦ DWHのパフォーマンスをあげる方法 DWH ETL Data Source
5 ETLの時代(2010年代) • データ分析界隈の関心 ◦ ETLをどのように構築するか ◦ どのようにスケールさせるか ◦ ストレージのコストを抑える
◦ DWHのパフォーマンスをあげる方法 DWH ETL Data Source こんなことをするために データアナリストになったのではな い!!
6 ELTの時代(2020年代)とMDS • DWHの性能向上で変換(T)の前にデータをロード • Fivetran等のデータインジェストツールによる抽出(E)とロード(L)の自 動化 • データ分析基盤関連のSaaSがさまざま登場
7 MDSとは? • Modern Data Stack • SaaSを組み合わせてデータ分析基盤を構築 • SaaSの組み合わせに正解はない
• それぞれの製品同士の横のつながりがある
8 クラメソが提供するMDS
9 2010年代から変化していないデータモデリング • その1:独自開発コード ◦ ビジネスロジックを表現するのにエネルギーが要る ◦ アクセスに難あり(難しい処理はPython) ◦ 新しいデータセットの作成に3〜4週間かかってしまう
◦ 社内インフラをホスティングする必要がある • その2:GUIでポチポチ ◦ 高額 ◦ 学習コストが高い ◦ アクセスに難あり(Adminなどに限られる)
10 従来のデータモデリングの問題点 • 都市伝説と化すデータの民主化 ◦ 欲しいデータがすぐに手に入らない ◦ そのデータが信頼できるかわからない • 複雑怪奇で属人的なSQL地獄
◦ ELTでSQLでデータにアクセス可能に ◦ 野良SQL、テーブル大量発生
11 T(変換)の重要性 • データ型のクリーニング
• 複数のシステムのデータを統合 • データのフィルタリング • 論理削除されているデータの除外 • キレイなデータをそれぞれ結合
12 dbtの取り組み • dbtの指針その1 ◦ SQLさえ知っていれば誰でもデータパイプラインを開発できる • dbtの指針その2 ◦ ソフトウェアエンジニアのようにデータパイプラインを開発でき
る ▪ バージョン管理、自動テスト、ドキュメンテーション、再利用性
13 dbtが提供するこれからのデータモデリング ・SELECT文を知っていれば、誰でもデータマート開発を行えるサービス ・特別な知識&スキル不要で、アプリ開発の手法を取り入れた開発が可能 (バージョン管理、CI/CD、自動テスト、ドキュメント管理、etc) アプリ開発の手法を取り入れている ・Gitと連携 ・継続的インテグレーション ドキュメントの自動生成 ・データの定義や依存関係等がわかる
・データカタログの役割も Jinjaで高度な処理を開発できる ・SQLだけでは実現できない処理の実現 ・マクロとして処理をモジュール化、再利用可 データに対してテストを実行できる ・not nullや参照整合性等を自動でテスト可能 ・Jinjaで、オリジナルのテストも作成可能 主要なDWHに対応 ・Amazon Redshift、Snowflake、Google BigQuery SQLで開発できる ・必要なのはSELECT文だけ ・プログラミング言語の学習は不要 1 6 5 3 4 2
14 まとめ dbtってすごくいい... • この10年で進化のなかったデータモデリングに新たな手 法を提案するツール • データカオス、バイバイ👋 • ハロー、データの民主化🙌
15