Snowake DCRをTerraformで構築したお話/Snowake DCRの未来

Transcript

1. 2023.8.29 Snowflake DCRをTerraformで構築したお話 Snowflake DCRの未来 KDDIアジャイル開発センター　開発4部 篠原 誠
2. 今日のお品書き 1. 自己紹介 2. Snowflake DCRをTerrafomで構築したお話 3. Snowflake DCRの未来 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 1
3. 自己紹介 KDDIアジャイル開発センター株式会社 データエンジニア　篠原　誠 KDDI株式会社入社後、KDDIアジャイル開発センター株式会社に出向 チャットボット開発や統計化位置情報分析基盤開発、KDDI研究所での対話AIプロジェクト参加などを経て、 現在はデータエンジニアとしてデータクリーンルームの開発に従事 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 2
4. Snowflake DCRをTerrafomで構築したお話 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 3
5. Snowflake DCRの構成について https://quickstarts.snowflake.com/guide/build_a_data_clean_room_in_snowflake_advanced/ より引用 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 4
6. Snowflake DCRの構築プロセス Provider Snowflake Account Consumer Snowflake Account 1. provider_init:Provider の初期準備 3. provider_enable_consumer:Provider でConsumer の有効化 2. consumer_init:Consumer の初期準備 ProviderとConsumerの依存関係 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 5
7. Snowflake DCRの構築プロセス 相互にシェアオブジェクトを作成するため、ProviderとConsumerの依存関係がある 構築プロセスのまとまりごとにModule化することで一気に作成できるように ProviderとConsumerの逆転も簡単にできるように 1 module "provider_init" { 2 source = "modules/provider_init" 3 ... 4 } 5 module "consumer_init" { 6 source = "modules/consumer_init" 7 ... 8 depends_on = [ 9 module.provider_init 10 ] 11 } 12 module "provider_enable_consumer" { 13 source = "modules/provider_enable_consumer" 14 ... 15 depends_on = [ 16 module.provider_init, 17 module.consumer_init 18 ] 19 } KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 6
8. DDL → HCL2への変換 膨大な量のDDLをTerraformのResourceとして記述するのは大変… せや、ChatGPT でDDL をHCL に 変換すればええんや! KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 7
9. Coding Time Coding Time Coding Time
10. DDL → HCL2への変換 Step 1. DDLに対応するResourceを探す System Message Prompt Here is a list of resources for the Snowflake Terraform pro snowflake_account snowflake_account_grant snowflake_account_parameter snowflake_api_integration snowflake_database ...snowflake 関連のresource を列挙 What terraform resource does the following SQL correspond t Please only provide the corresponding resource. "create or replace schema admin;" Answer snowflake_schema KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 9
11. DDL → HCL2への変換 Step 2. 見つけたResourceのDocumentページからExample UsageとSchemaを取得 1 pattern = r"snowflake_([a-zA-Z_]+)" 2 3 result = re.search(pattern, ans.content) 4 if result: 5 resource = result.group(1) 6 else: 7 print("Could not find the resource.") 8 exit() 9 response = requests.get( 10 f"https://raw.githubusercontent.com/Snowflake-Labs/terraform-provider-snowflake/main/docs/resources/{resource} 11 12 example = re.search(r"```terraform(.+})\n```", 13 response.text, flags=re.DOTALL) 14 schema = re.search(r"(## Schema.+)## Import", 15 response.text, flags=re.DOTALL) KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 10
12. DDL → HCL2への変換 Step 3. Example UsageとSchemaをPromptに加えてIn Context Learningさせて回答を得る Prompt Convert the following Snowflake {ddl} to Terraform HCL2. Here is the schema: {schema}. Also, here is an example of the HCL2: {example}. Answer Here is the Terraform HCL2 code to create or replace a Snow resource "snowflake_schema" "schema" { database = "database" name = "admin" comment = "A schema." is_transient = false is_managed = false data_retention_days = 1 tag { name = "department" value = "marketing_info" } } Please note that you need to replace `"database"` with the KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 11
13. Snowflake DCRの未来 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 12
14. Snowflake DCRの新機能 許可されたクエリベースの世界観からの進化 今まで… 許可ベースのクエリ実行 これから… クエリの制約条件下での実行 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 13
15. Snowflake DCRの新機能 DCRがネイティブ機能として提供されるように DCRがSnowflakeのネイティブ機能として提供 Snowsightから簡単にDCRを構築可能 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 14
16. Snowflake DCRの新機能 クエリの制約条件1：Aggregation Policies 集計関数の使用を強制 最小レコード数の指定が可能 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 15
17. Snowflake DCRの新機能 クエリの制約条件2：Projection Policies 出力不可能な列を指定可能 KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 16
18. まとめ Snowflake DCRをTerraform化することで簡単にDCRを構築できるように DDL → HCL2への変換スクリプトを活用することで、膨大な量のDDL文を Terraformのリソースに効率的に変換できるように 許可ベースのクエリ実行から、制約条件下での自由なクエリ実行が可能になり セキュアでかつより柔軟なデータ分析が可能に 今後もSnowflake DCRの進化に注目していきます！ KDDI Agile Development Center Corporation KDDIアジャイル開発センター　開発4部 17