TROCCO_DBT.pdf

Transcript

1. TROCCO はじめてさわってみた DATUM STUDIO 株式会社 はらと だいすけ
2. データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤 データを貯蔵するところ 例) • BigQuery • Snowflake • Redshift データの源泉となるとこ ろ 例) • データベース • スプレッドシート • 外部APIやセンサー データを貯蔵するところ 例) • Tableau • PowerBI
3. データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA
4. データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA 1. Snowflakeにあるデータを Big Queryに移行したい (Terraformを使うために…) 2. dbtをTROCCOに連携して、 定期的に実行したい 3. データマート定義をTerraform で定義したい 4. 作成したモデルをCOMETAで 管理したい
5. 1. Snowflake→Big Query データ転送 転送元・転送先の接続情報の設定 データの転送設定
6. 1. Snowflake→Big Query データ転送 Pros Cons ・日本語UIが最高！ ・GUIベースで手順がわかりやすい (正直ドキュメントを見なくても雰囲気で転 送設定ができる) ・都度接続確認やテスト実行が行えるため確 実に進めることができる ・Git連携により接続設定のバージョン管理 が可能！ ・エラーログの粒度が荒い ・転送設定はyamlファイルをインポートして も作成できても良いかも。
7. 2. dbtをTROCCO連携 dbtのモデルをTROCCOで定期実行 dbtジョブ設定 dbtのコマンドも詳細に設定可能 dbt連携 dbtプロジェクトが格納されているレ ポジトリの指定 dbtのバージョン管理も可能
8. Pros Cons ・日本語UIが最高！ ・dbtの実行環境が簡単に準備できる ・ワークフローを組み合わせることでエラー ハンドリングや通知設定なども容易にできる ・ワークフローで転送ジョブ完了後にdbt実 行というフローも組める(最近事故ったので めっちゃ嬉しい機能) ・変更履歴が確認可能。間違って設定しても 復元可能で安心。 ・dbtのバージョンが1.8.2だった (今は1.8.7が最新。最新バージョンを使いた ぃ〜〜) 2. dbtをTROCCO連携 dbtのモデルをTROCCOで定期実行
9. 3. データマート定義 データマート定義をTerraformで書く Terraform TROCCOプロバイダーでも記述可能 データマート定義 SQLを書いてデータマートを定義
10. Pros Cons ・日本語UIが最高！ ・これまではGUIでの操作のみだったが、コ ードで管理することが可能に ・データマートで定義したものがCOMETAの リネージで可視化可能 ・転送設定やユーザー管理などより広範囲を Terraformで管理できたら便利な気がする 3. データマート定義 データマート定義をTerraformで書く
11. Pros Cons ・日本語UIが最高！ ・メタデータの管理が容易(リネージ・ER図 ・テーブル定義が網羅されている) ・Tableauとの連携が可能(今後もっと増える かも？) ・COMETAでクエリの実行が可能。かつクエ リの保存も可能 ・データロードからBIまでのE2Eのリネージ が欲しい ・dbtとの連携強化 ・各手動更新を行うところのバージョン管理 4. COMETA データカタログでデータの管理