Upgrade to Pro — share decks privately, control downloads, hide ads and more …

第3回 Snowflake 中部ユーザ会 - dbt x Snowflake ハンズオン - ...

第3回 Snowflake 中部ユーザ会 - dbt x Snowflake ハンズオン - 状態イラスト抜粋版

この資料は 2025年2月4日(火) 開催のイベント
「第3回 Snowflake 中部ユーザ会 dbt x Snowflake ハンズオン」の資料
https://bit.ly/scug-dbt)の、状態イラスト部分の抜粋版です

dbt 社が公開している「Quickstart for dbt Cloud and Snowflake」(https://docs.getdbt.com/guides/snowflake  2025年1月時点のバージョン)の
Snowflake、dbt Cloudの状態の変化を、パラパラ漫画風に追いかけて見るものです。

Snowflakeエコシステム最強の仲間! dbtの紹介 & dbt×Snowflakeハンズオン ~ 第3回Snowflake中部ユーザー会|IT勉強会・イベントならTECH PLAY[テックプレイ]
https://techplay.jp/event/970242

holywater044

February 06, 2025
Tweet

More Decks by holywater044

Other Decks in Programming

Transcript

  1. 第3回 Snowflake 中部ユーザ会 dbt x Snowflake ハンズオン - 状態イラスト抜粋版 2025.02.04

    第3回 Snowflake 中部ユーザー会 - dbt × Snowflakeハンズオン 1
  2. この資料について Snowflakeエコシステム最強の仲間! dbtの紹介 & dbt×Snowflakeハンズオン ~ 第3回Snowflake中部ユーザー 会|IT勉強会・イベントならTECH PLAY[テックプレイ] https://techplay.jp/event/970242

    2025.02.04 第3回 Snowflake 中部ユーザー会 - dbt × Snowflakeハンズオン 2 この資料は 2025年2月4日(火) 開催のイベント 「第3回 Snowflake 中部ユーザ会 dbt x Snowflake ハンズオン」の資料 (https://bit.ly/scug-dbt)の、状態イラスト部分の抜粋版です。 dbt 社が公開している「Quickstart for dbt Cloud and Snowflake」 (https://docs.getdbt.com/guides/snowflake 2025年1月時点のバージョン)の Snowflake、dbt Cloudの状態の変化を、パラパラ漫画風に追いかけて見るものです。
  3. Snowflake account 今回作るデータ変換 DB: RAW SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA:

    STRIPE PAYMENTS DB: ANALYTICS SCHEMA: PUBLIC CUSTOMERS STG_CUSTOMERS STG_ORDERS
  4. Snowflake account dbt account project: models/ examples/ 作られるオブジェクトの全体像 DB: RAW

    DB: PC_DBT_DB dbt_project.yml customer.sql sources.yml schema.yml stg_custmers.sql stg_orders.sql example/my_first_d bt_model.sql example/my_secon d_dbt_model.sql SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ CUSTOMERS STG_CUSTOMERS STG_ORDERS Documents my_first_dbt_model Envitonment: Production Deploy job: Production Run DB: ANALYTICS SCHEMA: PUBLIC CUSTOMERS STG_CUSTOMERS STG_ORDERS sources Projects WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING my_second_dbt_model test.sql TABLE VIEW 凡例: test
  5. Snowflake account Step2,3後 DB: RAW SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA:

    STRIPE PAYMENTS DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: TRANSFORMING 作成 作成 作成 TABLE VIEW 凡例:
  6. Snowflake account dbt account Step4後 DB: RAW DB: PC_DBT_DB SCHEMA:

    JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING 作成 作成 作成 TABLE VIEW 凡例:
  7. Snowflake account dbt account project: models/ Step5,6後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING 作成 my_first_dbt_model examples/ example/my_first_d bt_model.sql example/my_secon d_dbt_model.sql test.sql 作成→削除 my_second_dbt_model test 作成 TABLE VIEW 凡例:
  8. Snowflake account dbt account project: models/ Step7後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql CUSTOMERS ↑viewで作られた 作成 作成 examples/ example/my_first_d bt_model.sql example/my_secon d_dbt_model.sql my_first_dbt_model my_second_dbt_model test TABLE VIEW 凡例:
  9. Snowflake account dbt account project: models/ Step8‐2後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql CUSTOMERS ↑tableに変わった ↓viewに変わった +materializedを修正 通常:table examples:view 修正 修正 my_first_dbt_model my_second_dbt_model test 修正 examples/ example/my_first_d bt_model.sql example/my_secon d_dbt_model.sql my_first_dbt_model.sql にmaterialized tableの 記述があるためtableのまま TABLE VIEW 凡例:
  10. Snowflake account dbt account project: models/ Step8‐5後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql CUSTOMERS ↑viewに変わった materialized viewを追加 修正 修正 my_first_dbt_model my_second_dbt_model test examples/ example/my_first_d bt_model.sql example/my_secon d_dbt_model.sql TABLE VIEW 凡例:
  11. Snowflake account dbt account project: models/ Step9後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql CUSTOMERS examplesの 記述を削除 examplesの フォルダ削除 削除 作成 my_first_dbt_model my_second_dbt_model test TABLE VIEW 凡例:
  12. Snowflake account dbt account project: models/ Step10後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql STG_CUSTOMERS STG_ORDERS stg_custmers.sql stg_orders.sql 作成 作成 修正 CUSTOMERS ↑Tableに変わった 修正 ・materialized viewが 消えた ・from句をstg_xxxを 見るように修正 my_first_dbt_model my_second_dbt_model test TABLE VIEW 凡例:
  13. Snowflake account dbt account project: models/ Step11後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql stg_custmers.sql stg_orders.sql STG_ORDERS STG_CUSTOMERS sources.yml ・sourceを定義 ・ source の discriptionを記述 作成 CUSTOMERS my_first_dbt_model my_second_dbt_model test 修正 from句をsourceを 見るように修正 TABLE VIEW 凡例:
  14. Snowflake account dbt account project: models/ Step12後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql stg_custmers.sql stg_orders.sql STG_ORDERS STG_CUSTOMERS sources.yml schema.yml testsを記述 作成 CUSTOMERS my_first_dbt_model my_second_dbt_model test TABLE VIEW 凡例:
  15. Snowflake account dbt account project: models/ Step13後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql stg_custmers.sql stg_orders.sql STG_ORDERS STG_CUSTOMERS sources.yml schema.yml Documents sources Projects model の descriptionを追記 作成 修正 CUSTOMERS my_first_dbt_model my_second_dbt_model test TABLE VIEW 凡例:
  16. Snowflake account dbt account project: models/ Step14,15後 DB: RAW DB:

    PC_DBT_DB dbt_project.yml SCHEMA: JAFFLE_SHOP CUSTOMERS ORDERS SCHEMA: STRIPE PAYMENTS SCHEMA: DBT_ DB: ANALYTICS SCHEMA: PUBLIC WAREHOUSE: PC_DBT_WH WAREHOUSE: TRANSFORMING customer.sql stg_custmers.sql stg_orders.sql STG_ORDERS STG_CUSTOMERS sources.yml schema.yml Documents sources Projects Envitonment: Production Deploy job: Production Run CUSTOMERS STG_CUSTOMERS STG_ORDERS 作成 作成 作成 CUSTOMERS my_first_dbt_model my_second_dbt_model test TABLE VIEW 凡例: