Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake DCR
Search
fkd
August 29, 2023
Technology
0
280
Snowflake DCR
Snowflake DCR(Data Clean Room)の紹介
fkd
August 29, 2023
Tweet
Share
More Decks by fkd
See All by fkd
Snowflake Cortex LLM関数のいろんなモデルを試せるチャットボットを作ってみた
fkd
0
13
Snowflakeでダミーデータを作ろう
fkd
0
82
PDFファイルからデータを抜き出してテーブルに入れてみた
fkd
0
630
Other Decks in Technology
See All in Technology
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
1
500
Model Mondays S2E02: Model Context Protocol
nitya
0
210
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
290
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
6
2.1k
GitHub Copilot の概要
tomokusaba
1
130
Definition of Done
kawaguti
PRO
6
470
ハノーバーメッセ2025座談会.pdf
iotcomjpadmin
0
160
BrainPadプログラミングコンテスト記念LT会2025_社内イベント&問題解説
brainpadpr
1
160
Amazon ECS & AWS Fargate 運用アーキテクチャ2025 / Amazon ECS and AWS Fargate Ops Architecture 2025
iselegant
16
5.3k
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
200
BigQuery Remote FunctionでLooker Studioをインタラクティブ化
cuebic9bic
3
260
標準技術と独自システムで作る「つらくない」SaaS アカウント管理 / Effortless SaaS Account Management with Standard Technologies & Custom Systems
yuyatakeyama
3
1.2k
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
The Cult of Friendly URLs
andyhume
79
6.5k
For a Future-Friendly Web
brad_frost
179
9.8k
YesSQL, Process and Tooling at Scale
rocio
173
14k
RailsConf 2023
tenderlove
30
1.1k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
How to train your dragon (web standard)
notwaldorf
92
6.1k
Gamification - CAS2011
davidbonilla
81
5.3k
What's in a price? How to price your products and services
michaelherold
246
12k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Statistics for Hackers
jakevdp
799
220k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Transcript
Snowflake DCRの紹介 Snowflakeで実現するDCR(Data Clean Room)
自己紹介 名前 : 福田陽一 会社 : KDDIアジャイル開発センター株式会社 (KAG)
役職 : Infrastructure Engineer / Application Engineer プロフィール 2023年4月 KAG入社。 前職、前々職からKDDI関係の業務で関わりがあった。 現在はData Clean Roomの開発に従事。
SnowflakeのDCR (Data Clean Room) データクリーンルーム データシェアリング | セキュアに結合 | クエリ制限
パーティ A Bにはデータを 公開しない形で 分析したい パーティ B Aにはデータを 公開しない形で 分析したい 共有データ 簡単に大量データをセキュアに共有 共有されたデータはストレージを消費しない 安心・安全な環境で分析できる データを提供するパーティ = プロバイダー データを提供してもらうパーティ = コンシューマー
SnowflakeのDCR (サンプル) Quick Startで紹介されている Build A Data Clean
Room in Snowflake – Advanced https://quickstarts.snowflake.com/guide/build_a_data_clean_room_in_snowflake_advanced/ Github (v5.5) https://github.com/Snowflake-Labs/sfquickstart-data-clean-room 簡単に作成できる DCR SETUP ASSISTANT https://snowflake-labs-sfquickstart-data-cle-dcr-setup-assistant-bkx7gg.streamlit.app/ DCRに必要なオブジェクトを作成するためのsqlを生成してくれる
DCR (サンプル) の作成〜実行まで Snowflakeアカウント(Enterprise以上)を2つ準備 同じクラウドサービス・同じリージョンのアカウント 事前にAnacondaの規約に同意
Quick Startの2、3 を実施する DCR SETUP ASSISTANTを使ってスクリプト(sql)を生成 sqlをSnowflake上で実行 Quick Startの5 を実施する デモ (サンプルシナリオ)を実行
特徴 Snowflakeの機能だけでDCRを実現できる ユーザ定義関数(UDF) (Python, Jinja) クエリテンプレートからクエリを生成
ストアドプロシージャ(JavaScript) クエリの許可を依頼、依頼を受けてクエリを検証〜許可判定 Stream / Task クエリの許可依頼を検出、クエリの検証〜許可プロセスの実行 共有(Direct Share) パーティ間でオブジェクトをシェア 行アクセスポリシー 許可済みクエリの判定
クエリテンプレート〜クエリの承認 あらかじめパーティ間で協議して実行してもいいクエリを決める 実行してもいいクエリをテンプレート化する カラム、テーブルの組み合わせ 結合やグループ化の条件、統計化の強制
クエリテンプレートをDCRに登録する (プロバイダー) クエリテンプレートの範疇で実行したいクエリを作成し、 クエリの許可を求める (コンシューマー → プロバイダー) 許可された後は、そのクエリを実行できる様になる (コンシューマー) プロバイダー コンシューマー
共有 プロバイダー、コンシューマー間でシェアする 分析データ 他パーティに共有してもよいデータ 掛け合わせたいデータ
プロバイダーからコンシューマーにシェアする DCRの機能を実現するためのデータ クエリテンプレート、リクエストログ等 プロバイダー、コンシューマーの双方向でシェアする プロバイダー コンシューマー プロバイダー
行アクセスポリシー 本来は… クエリ結果で返す行を決定する 見せたくないデータは除外されて結果が返る DCRでは…
実行されたクエリが許可されているかどうかを判定する 実行したクエリが許可されたクエリである場合のみ結果が返る ポイント クエリテキストが完全一致した場合のみ結果が返る 許可されていないクエリが実行されると何も結果が返らない コンシューマー コンシューマー プロバイダー
より安心・安全なDCRに向けた工夫の例 細かいロール設計 各パーティ内で登場人物と役割を細かく定義 人が使うロール、システムが使うロールを分けて定義 自パーティに対しても行アクセスポリシーでクエリを制限
自社所有のデータであっても、好き勝手にデータを見れない様に制御 ACCOUNTADMINの利用制限 デフォルトではACCOUNTADMINは誰も利用できない状態 一時的に上位ロールの使用を許可するストアドプロシージャを作成 参考 : https://medium.com/snowflake/managing-elevated-access-in-snowflake-just-enough-just-in-time-418fcdad7929 権限が利用できる時間を指定、自分で自分に対して権限付与ができない様に制御 ロギング SnowflakeデータベースにあるACCOUNT_USAGEのバックアップを作成して永続化を実現 Taskで定期的にコピー、規定の保存期間が終了したら削除