Upgrade to Pro — share decks privately, control downloads, hide ads and more …

TROCCO_DBT.pdf

d.harato
November 05, 2024
51

 TROCCO_DBT.pdf

d.harato

November 05, 2024
Tweet

Transcript

  1. データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤 データを貯蔵するところ 例) •

    BigQuery • Snowflake • Redshift データの源泉となるとこ ろ 例) • データベース • スプレッドシート • 外部APIやセンサー データを貯蔵するところ 例) • Tableau • PowerBI
  2. データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA 1.

    Snowflakeにあるデータを Big Queryに移行したい (Terraformを使うために…) 2. dbtをTROCCOに連携して、 定期的に実行したい 3. データマート定義をTerraform で定義したい 4. 作成したモデルをCOMETAで 管理したい
  3. 1. Snowflake→Big Query データ転送 Pros Cons ・日本語UIが最高! ・GUIベースで手順がわかりやすい (正直ドキュメントを見なくても雰囲気で転 送設定ができる)

    ・都度接続確認やテスト実行が行えるため確 実に進めることができる ・Git連携により接続設定のバージョン管理 が可能! ・エラーログの粒度が荒い ・転送設定はyamlファイルをインポートして も作成できても良いかも。