Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO_DBT.pdf
Search
d.harato
November 05, 2024
1
51
TROCCO_DBT.pdf
d.harato
November 05, 2024
Tweet
Share
More Decks by d.harato
See All by d.harato
Snowpark Container Services で dbt を動かします
daisuke_harato
1
260
Featured
See All Featured
A better future with KSS
kneath
238
17k
Intergalactic Javascript Robots from Outer Space
tanoku
269
27k
BBQ
matthewcrist
85
9.3k
Done Done
chrislema
181
16k
How STYLIGHT went responsive
nonsquared
95
5.2k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
89
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Become a Pro
speakerdeck
PRO
25
5k
For a Future-Friendly Web
brad_frost
175
9.4k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
Transcript
TROCCO はじめてさわってみた DATUM STUDIO 株式会社 はらと だいすけ
データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤 データを貯蔵するところ 例) •
BigQuery • Snowflake • Redshift データの源泉となるとこ ろ 例) • データベース • スプレッドシート • 外部APIやセンサー データを貯蔵するところ 例) • Tableau • PowerBI
データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA
データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA 1.
Snowflakeにあるデータを Big Queryに移行したい (Terraformを使うために…) 2. dbtをTROCCOに連携して、 定期的に実行したい 3. データマート定義をTerraform で定義したい 4. 作成したモデルをCOMETAで 管理したい
1. Snowflake→Big Query データ転送 転送元・転送先の接続情報の設定 データの転送設定
1. Snowflake→Big Query データ転送 Pros Cons ・日本語UIが最高! ・GUIベースで手順がわかりやすい (正直ドキュメントを見なくても雰囲気で転 送設定ができる)
・都度接続確認やテスト実行が行えるため確 実に進めることができる ・Git連携により接続設定のバージョン管理 が可能! ・エラーログの粒度が荒い ・転送設定はyamlファイルをインポートして も作成できても良いかも。
2. dbtをTROCCO連携 dbtのモデルをTROCCOで定期実行 dbtジョブ設定 dbtのコマンドも詳細に設定可能 dbt連携 dbtプロジェクトが格納されているレ ポジトリの指定 dbtのバージョン管理も可能
Pros Cons ・日本語UIが最高! ・dbtの実行環境が簡単に準備できる ・ワークフローを組み合わせることでエラー ハンドリングや通知設定なども容易にできる ・ワークフローで転送ジョブ完了後にdbt実 行というフローも組める(最近事故ったので めっちゃ嬉しい機能) ・変更履歴が確認可能。間違って設定しても
復元可能で安心。 ・dbtのバージョンが1.8.2だった (今は1.8.7が最新。最新バージョンを使いた ぃ〜〜) 2. dbtをTROCCO連携 dbtのモデルをTROCCOで定期実行
3. データマート定義 データマート定義をTerraformで書く Terraform TROCCOプロバイダーでも記述可能 データマート定義 SQLを書いてデータマートを定義
Pros Cons ・日本語UIが最高! ・これまではGUIでの操作のみだったが、コ ードで管理することが可能に ・データマートで定義したものがCOMETAの リネージで可視化可能 ・転送設定やユーザー管理などより広範囲を Terraformで管理できたら便利な気がする 3.
データマート定義 データマート定義をTerraformで書く
Pros Cons ・日本語UIが最高! ・メタデータの管理が容易(リネージ・ER図 ・テーブル定義が網羅されている) ・Tableauとの連携が可能(今後もっと増える かも?) ・COMETAでクエリの実行が可能。かつクエ リの保存も可能 ・データロードからBIまでのE2Eのリネージ
が欲しい ・dbtとの連携強化 ・各手動更新を行うところのバージョン管理 4. COMETA データカタログでデータの管理