Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake DCR
Search
fkd
August 29, 2023
Technology
0
290
Snowflake DCR
Snowflake DCR(Data Clean Room)の紹介
fkd
August 29, 2023
Tweet
Share
More Decks by fkd
See All by fkd
Snowflake Cortex LLM関数のいろんなモデルを試せるチャットボットを作ってみた
fkd
0
13
Snowflakeでダミーデータを作ろう
fkd
0
99
PDFファイルからデータを抜き出してテーブルに入れてみた
fkd
0
660
Other Decks in Technology
See All in Technology
今日からあなたもGeminiを好きになる
subaruhello
1
560
データエンジニアリング 4年前と変わったこと、 4年前と変わらないこと
tanakarian
2
360
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
tomzoh
2
380
FAST導入1年間のふりかえり〜現実を直視し、さらなる進化を求めて〜 / Review of the first year of FAST implementation
wooootack
1
120
機械学習を「社会実装」するということ 2025年夏版 / Social Implementation of Machine Learning July 2025 Version
moepy_stats
1
590
データ駆動経営の道しるべ:プロダクト開発指標の戦略的活用法
ham0215
2
230
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
280
Recoil脱却の現状と挑戦
kirik
2
340
AI工学特論: MLOps・継続的評価
asei
10
1.6k
Power Automate のパフォーマンス改善レシピ / Power Automate Performance Improvement Recipes
karamem0
0
140
Talk to Someone At Delta Airlines™️ USA Contact Numbers
travelcarecenter
0
170
Building GoReleaser - from shell script to paid product
caarlos0
0
270
Featured
See All Featured
Docker and Python
trallard
45
3.5k
Side Projects
sachag
455
43k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
It's Worth the Effort
3n
185
28k
Gamification - CAS2011
davidbonilla
81
5.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
What's in a price? How to price your products and services
michaelherold
246
12k
Transcript
Snowflake DCRの紹介 Snowflakeで実現するDCR(Data Clean Room)
自己紹介 名前 : 福田陽一 会社 : KDDIアジャイル開発センター株式会社 (KAG)
役職 : Infrastructure Engineer / Application Engineer プロフィール 2023年4月 KAG入社。 前職、前々職からKDDI関係の業務で関わりがあった。 現在はData Clean Roomの開発に従事。
SnowflakeのDCR (Data Clean Room) データクリーンルーム データシェアリング | セキュアに結合 | クエリ制限
パーティ A Bにはデータを 公開しない形で 分析したい パーティ B Aにはデータを 公開しない形で 分析したい 共有データ 簡単に大量データをセキュアに共有 共有されたデータはストレージを消費しない 安心・安全な環境で分析できる データを提供するパーティ = プロバイダー データを提供してもらうパーティ = コンシューマー
SnowflakeのDCR (サンプル) Quick Startで紹介されている Build A Data Clean
Room in Snowflake – Advanced https://quickstarts.snowflake.com/guide/build_a_data_clean_room_in_snowflake_advanced/ Github (v5.5) https://github.com/Snowflake-Labs/sfquickstart-data-clean-room 簡単に作成できる DCR SETUP ASSISTANT https://snowflake-labs-sfquickstart-data-cle-dcr-setup-assistant-bkx7gg.streamlit.app/ DCRに必要なオブジェクトを作成するためのsqlを生成してくれる
DCR (サンプル) の作成〜実行まで Snowflakeアカウント(Enterprise以上)を2つ準備 同じクラウドサービス・同じリージョンのアカウント 事前にAnacondaの規約に同意
Quick Startの2、3 を実施する DCR SETUP ASSISTANTを使ってスクリプト(sql)を生成 sqlをSnowflake上で実行 Quick Startの5 を実施する デモ (サンプルシナリオ)を実行
特徴 Snowflakeの機能だけでDCRを実現できる ユーザ定義関数(UDF) (Python, Jinja) クエリテンプレートからクエリを生成
ストアドプロシージャ(JavaScript) クエリの許可を依頼、依頼を受けてクエリを検証〜許可判定 Stream / Task クエリの許可依頼を検出、クエリの検証〜許可プロセスの実行 共有(Direct Share) パーティ間でオブジェクトをシェア 行アクセスポリシー 許可済みクエリの判定
クエリテンプレート〜クエリの承認 あらかじめパーティ間で協議して実行してもいいクエリを決める 実行してもいいクエリをテンプレート化する カラム、テーブルの組み合わせ 結合やグループ化の条件、統計化の強制
クエリテンプレートをDCRに登録する (プロバイダー) クエリテンプレートの範疇で実行したいクエリを作成し、 クエリの許可を求める (コンシューマー → プロバイダー) 許可された後は、そのクエリを実行できる様になる (コンシューマー) プロバイダー コンシューマー
共有 プロバイダー、コンシューマー間でシェアする 分析データ 他パーティに共有してもよいデータ 掛け合わせたいデータ
プロバイダーからコンシューマーにシェアする DCRの機能を実現するためのデータ クエリテンプレート、リクエストログ等 プロバイダー、コンシューマーの双方向でシェアする プロバイダー コンシューマー プロバイダー
行アクセスポリシー 本来は… クエリ結果で返す行を決定する 見せたくないデータは除外されて結果が返る DCRでは…
実行されたクエリが許可されているかどうかを判定する 実行したクエリが許可されたクエリである場合のみ結果が返る ポイント クエリテキストが完全一致した場合のみ結果が返る 許可されていないクエリが実行されると何も結果が返らない コンシューマー コンシューマー プロバイダー
より安心・安全なDCRに向けた工夫の例 細かいロール設計 各パーティ内で登場人物と役割を細かく定義 人が使うロール、システムが使うロールを分けて定義 自パーティに対しても行アクセスポリシーでクエリを制限
自社所有のデータであっても、好き勝手にデータを見れない様に制御 ACCOUNTADMINの利用制限 デフォルトではACCOUNTADMINは誰も利用できない状態 一時的に上位ロールの使用を許可するストアドプロシージャを作成 参考 : https://medium.com/snowflake/managing-elevated-access-in-snowflake-just-enough-just-in-time-418fcdad7929 権限が利用できる時間を指定、自分で自分に対して権限付与ができない様に制御 ロギング SnowflakeデータベースにあるACCOUNT_USAGEのバックアップを作成して永続化を実現 Taskで定期的にコピー、規定の保存期間が終了したら削除