SPCS で実現する dbt All in Snowflake の世界

Slide 1

Slide 1 text

SPCS で実現する dbt All in Snowflake の世界 2024/03/01 あれ（@__allllllllez__）

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 DATUM STUDIO Co. Ltd. 4 Snowpark Container Services （SPCS）って何？ • コンテナ in Snowflake • Snowflakeのデータベースやステージにアクセス可能 • アプリケーションでSnowflakeのデータを扱うために、データをSnowflake外に出す必要はない • カンタン操作 • アプリケーションイメージのアップロードは Docker 等で可能 • サービス実行などの操作も、SQLなどのインタフェースでOK • フルマネージド • クラスターやノードの管理は不要 • オートスケール • こんなことができる • 任意の言語で作成したアプリケーションを Snowflakeに持ち込める • 長時間実行可能 Snowflake 内でコンテナ化アプリケーションを容易にデプロイ・管理・スケーリングするために設計されたフルマネージドコンテナサービス https://www.snowflake.com/blog/snowpark-container-services-deploy-genai-full-stack-apps/

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 DATUM STUDIO Co. Ltd. 9 SPCSについてもうちょっと詳しく SPCS を構成する主な要素は、イメージレジストリ・コンピューティングプール・サービス/ジョブの3つイメージレジストリアプリケーションイメージの保存先コンピューティングプールジョブ/サービスを実行する仮想マシンノードコレクション継続しないアプリケーション（現在 PrPr）継続して稼働するアプリケーションサービスで定義した処理を呼び出すUDF ジョブサービス関数サービス仕様 yaml コンテナの設定コマンドに直接書いてもいい push インタフェースインタフェース（SQL・CLIなど）操作 pull 作成ステージにput コマンド操作

Slide 11

Slide 11 text

© 2024 DATUM STUDIO Co. Ltd. 10 SPCSについてもうちょっと詳しく SPCSのコスト要因は、主にストレージ・コンピューティングプール・データ転送 ✓ イメージレジストリ ✓ ログ（イベントテーブルに書き出したログ） ✓ ボリューム（ステージをマウントした場合）ストレージコンピューティングプールデータ転送 ✓ インスタンスファミリータイプ xノード数 x 実行時間 ✓ ファミリータイプ別性能一覧 → CREATE COMPUTE POOL ✓ 消費クレジット一覧 → CreditConsumptionTable.pdf ✓ Ingress（外部から Snowflake へのデータの移動） ✓ Egress（Snowflake から外部へのデータの移動） Koreedaさんの記事にあるコンテナ費用まとめが一番わかりやすいです

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2024 DATUM STUDIO Co. Ltd. 12 SPCSについてもうちょっと詳しくコンテナに関する情報はSQLで取得可能。また、SQL以外のインターフェースも開発が進んでいるステータスとログインタフェース ✓コンピュートプールの状態、サービスのログなどは SQL コマンドで確認が可能 ✓ 現時点ではSQLでSPCS構成オブジェクトの操作が可能 ✓ SnowCLI でも操作可能になるはず！（現在 PrPr）

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024 DATUM STUDIO Co. Ltd. 21 dbt ALL in Snowflake dbt seed と dbt run でデータを作っていく • これもジョブ（PrPr）で実行する • まずは seed • • 続けて run テーブルできてる！ ※使用データは Building a Kimball dimensional model with dbt でおなじみ dbt-dimensional-modelling/adventureworks