Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake DCR
Search
fkd
August 29, 2023
Technology
0
190
Snowflake DCR
Snowflake DCR(Data Clean Room)の紹介
fkd
August 29, 2023
Tweet
Share
More Decks by fkd
See All by fkd
PDFファイルからデータを抜き出してテーブルに入れてみた
fkd
0
390
Other Decks in Technology
See All in Technology
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
260
地理情報とAPIのトレンド
nagix
0
160
Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント
masahiro_nishimi
3
800
Matterport を使ってクラスメソッド各拠点のバーチャルオフィスツアーを作成してみた
wakatsuki
0
160
AOAI Dev Day LLMシステム開発 Tips集
hirosatogamo
15
3.8k
20240717_イケコパ代表Copilot_in_Teams会社でこう使ってます
ponponmikankan
2
430
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
スレットハンティングについて知っておきたいこと
hacket
0
130
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
160
GoとアクターモデルでES+CQRSを実践! / proto_actor_es_cqrs
ytake
1
160
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
17
2.8k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
A Modern Web Designer's Workflow
chriscoyier
689
190k
How STYLIGHT went responsive
nonsquared
93
5k
Designing Experiences People Love
moore
136
23k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Happy Clients
brianwarren
94
6.6k
Visualization
eitanlees
139
14k
Statistics for Hackers
jakevdp
792
220k
GitHub's CSS Performance
jonrohan
1026
450k
Rails Girls Zürich Keynote
gr2m
93
13k
Transcript
Snowflake DCRの紹介 Snowflakeで実現するDCR(Data Clean Room)
自己紹介 名前 : 福田陽一 会社 : KDDIアジャイル開発センター株式会社 (KAG)
役職 : Infrastructure Engineer / Application Engineer プロフィール 2023年4月 KAG入社。 前職、前々職からKDDI関係の業務で関わりがあった。 現在はData Clean Roomの開発に従事。
SnowflakeのDCR (Data Clean Room) データクリーンルーム データシェアリング | セキュアに結合 | クエリ制限
パーティ A Bにはデータを 公開しない形で 分析したい パーティ B Aにはデータを 公開しない形で 分析したい 共有データ 簡単に大量データをセキュアに共有 共有されたデータはストレージを消費しない 安心・安全な環境で分析できる データを提供するパーティ = プロバイダー データを提供してもらうパーティ = コンシューマー
SnowflakeのDCR (サンプル) Quick Startで紹介されている Build A Data Clean
Room in Snowflake – Advanced https://quickstarts.snowflake.com/guide/build_a_data_clean_room_in_snowflake_advanced/ Github (v5.5) https://github.com/Snowflake-Labs/sfquickstart-data-clean-room 簡単に作成できる DCR SETUP ASSISTANT https://snowflake-labs-sfquickstart-data-cle-dcr-setup-assistant-bkx7gg.streamlit.app/ DCRに必要なオブジェクトを作成するためのsqlを生成してくれる
DCR (サンプル) の作成〜実行まで Snowflakeアカウント(Enterprise以上)を2つ準備 同じクラウドサービス・同じリージョンのアカウント 事前にAnacondaの規約に同意
Quick Startの2、3 を実施する DCR SETUP ASSISTANTを使ってスクリプト(sql)を生成 sqlをSnowflake上で実行 Quick Startの5 を実施する デモ (サンプルシナリオ)を実行
特徴 Snowflakeの機能だけでDCRを実現できる ユーザ定義関数(UDF) (Python, Jinja) クエリテンプレートからクエリを生成
ストアドプロシージャ(JavaScript) クエリの許可を依頼、依頼を受けてクエリを検証〜許可判定 Stream / Task クエリの許可依頼を検出、クエリの検証〜許可プロセスの実行 共有(Direct Share) パーティ間でオブジェクトをシェア 行アクセスポリシー 許可済みクエリの判定
クエリテンプレート〜クエリの承認 あらかじめパーティ間で協議して実行してもいいクエリを決める 実行してもいいクエリをテンプレート化する カラム、テーブルの組み合わせ 結合やグループ化の条件、統計化の強制
クエリテンプレートをDCRに登録する (プロバイダー) クエリテンプレートの範疇で実行したいクエリを作成し、 クエリの許可を求める (コンシューマー → プロバイダー) 許可された後は、そのクエリを実行できる様になる (コンシューマー) プロバイダー コンシューマー
共有 プロバイダー、コンシューマー間でシェアする 分析データ 他パーティに共有してもよいデータ 掛け合わせたいデータ
プロバイダーからコンシューマーにシェアする DCRの機能を実現するためのデータ クエリテンプレート、リクエストログ等 プロバイダー、コンシューマーの双方向でシェアする プロバイダー コンシューマー プロバイダー
行アクセスポリシー 本来は… クエリ結果で返す行を決定する 見せたくないデータは除外されて結果が返る DCRでは…
実行されたクエリが許可されているかどうかを判定する 実行したクエリが許可されたクエリである場合のみ結果が返る ポイント クエリテキストが完全一致した場合のみ結果が返る 許可されていないクエリが実行されると何も結果が返らない コンシューマー コンシューマー プロバイダー
より安心・安全なDCRに向けた工夫の例 細かいロール設計 各パーティ内で登場人物と役割を細かく定義 人が使うロール、システムが使うロールを分けて定義 自パーティに対しても行アクセスポリシーでクエリを制限
自社所有のデータであっても、好き勝手にデータを見れない様に制御 ACCOUNTADMINの利用制限 デフォルトではACCOUNTADMINは誰も利用できない状態 一時的に上位ロールの使用を許可するストアドプロシージャを作成 参考 : https://medium.com/snowflake/managing-elevated-access-in-snowflake-just-enough-just-in-time-418fcdad7929 権限が利用できる時間を指定、自分で自分に対して権限付与ができない様に制御 ロギング SnowflakeデータベースにあるACCOUNT_USAGEのバックアップを作成して永続化を実現 Taskで定期的にコピー、規定の保存期間が終了したら削除