DatabricksとSnowflakeのデータを連携できるらしいのでやってみたら、思ってたのとちょっと違った話。dbtも添えて。

Transcript

1. Copyright MethodoLogic.Inc. All Rights Reserved. Snowflake Unconference DatabricksとSnowflakeの データを連携できるらしいので やってみたら、思ってたのとち ょっと違った話。 dbtも添えて。 2026/03/04 Kaori Nishimura
2. Copyright MethodoLogic.Inc. All Rights Reserved. Icebergを使えば異なるサービスでファイル共有できるって聞いたので、こういうのを 想像してました。 AWSのS3 bucketに Iceberg形式のファイルを 置いて、Databricksと Snowflakeがそれぞれ見に 行くのかな？
3. Copyright MethodoLogic.Inc. All Rights Reserved. 実際にSnowflakeがDatabricksのデータ参照するときのアーキはこうでした。 Iceberg 読み取りを有 効にする Delta テーブ ルを作成する。 カタログリンクデータベ ースで同期を取ると、 Databricksのカタログ配 下のschema、Table等 が見れます。 oAuth接続追 加する CREATE TABLE xx_catalog.xx_schema.xx_data ( c_1 INT ) USING DELTA LOCATION 's3://<バケット名>/xx_catalog/xx_schema/xx_data/' TBLPROPERTIES ( 'delta.columnMapping.mode' = 'name', 'delta.enableIcebergCompatV2' = 'true', 'delta.universalFormat.enabledFormats' = 'iceberg' );
4. Copyright MethodoLogic.Inc. All Rights Reserved. 何でこうなるの？と思ったら、ちゃんと本に書いてありました。 Icebergカタログが 上位に来るのね
5. Copyright MethodoLogic.Inc. All Rights Reserved. SnowflakeからTable追加するときは、もうひと工夫必要。 Iceberg形式でテーブル 作成する。 カタログエクスプローラ ーから、メタストアに外 部データアクセスを有効 にする ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
6. Copyright MethodoLogic.Inc. All Rights Reserved. dｂｔでDatabricksへモデルを作成するとき dbt {{ config( tblproperties = { 'delta.columnMapping.mode':'name', 'delta.enableDeletionVectors': 'false', 'delta.enableIcebergCompatV2':'true', 'delta.universalFormat.enabledFormats':'iceberg' })}} Select * from hoge Modelのconfigに tblpropertiesを書けば OK
7. Copyright MethodoLogic.Inc. All Rights Reserved. DatabricksからSnowflakeのデータ参照ベースでつくるとき ▪ Databricksのカタログエクスプローラー > 接続 > からSnowflakeの接続を作ればいけそう
8. Copyright MethodoLogic.Inc. All Rights Reserved. 懸念点とか ▪ SnowflakeからDatabricksへ同期を取るときにクエリが走るので、30 秒間隔とかにしても、まあまあお値段かかりそう。 ▪ Databricksの権限回りがきっちりやると大変そう（今回はお試しな のでガバい） ▪ カタログリンクデータベースでスキーマが小文字になってくるか ら”hoge”で囲め、とか謎い設定がいろいろ必要。 ▪ エラーが起きた時に原因がAWS IAM/S3 or Databricks or Snowflake のどこにあるのか、探すのが大変。
9. Copyright MethodoLogic.Inc. All Rights Reserved. その他、まだ試していないこと。試したけど、失敗してること。 ▪ Databricksは、そもそもIceberg形式でテーブル作ればいいので は？（たぶんいけそう・・） ▪ カタログリンクデータベースのSnowflakeにdbtを接続してTable作成 するのは、まだうまくいっていない。何か必要な設定がありそう。 ▪ カタログリンクデータベースのリンクされてきたSnowflake Tableに 対して、行単位のInsert/Deleteは、まだうまくいっていない。
10. Copyright MethodoLogic.Inc. All Rights Reserved. おしまい ▪ ありがとうございました。