Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake DCR
Search
fkd
August 29, 2023
Technology
0
160
Snowflake DCR
Snowflake DCR(Data Clean Room)の紹介
fkd
August 29, 2023
Tweet
Share
More Decks by fkd
See All by fkd
PDFファイルからデータを抜き出してテーブルに入れてみた
fkd
0
330
Other Decks in Technology
See All in Technology
Dungeons and Dragons and Rails
joelq
0
250
株式会社EventHub・エンジニア採用資料
eventhub
0
2.1k
Money-saving tips for the frugal serverless developer
theburningmonk
1
370
CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
kota2and3kan
13
4.9k
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
yoshikiiida
2
670
TailwindCSSでUIライブラリを作る際のハマりどころ
shuta13
0
230
エンジニアゼロの組織から内製開発の DX をどう実現したのか / How did we achieve DX in in-house development in an organization with zero engineers?
genkiogasawara
7
3.1k
Real World Type Puzzle and Code Generation
yukukotani
4
640
Google Cloudを組織(企業)で運用する時のベストプラクティス × 健康の環境分離戦略 #まるクラ勉強会
yasumuusan
0
170
Security Hubのセキュリティスコアはどうやって計算されるか
toru_kubota
0
100
From here to resilience - a travel guide
ufried
1
160
20240516 OpenID TechNight Vol.21 OpenIDファウンデーション・ジャパンの 今後の活動について
oidfj
0
110
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
67
14k
The Cult of Friendly URLs
andyhume
74
5.7k
[RailsConf 2023] Rails as a piece of cake
palkan
29
4.1k
The Brand Is Dead. Long Live the Brand.
mthomps
49
30k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
34
6.1k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Building an army of robots
kneath
300
41k
Become a Pro
speakerdeck
PRO
13
4.6k
Unsuck your backbone
ammeep
664
57k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
Transcript
Snowflake DCRの紹介 Snowflakeで実現するDCR(Data Clean Room)
自己紹介 名前 : 福田陽一 会社 : KDDIアジャイル開発センター株式会社 (KAG)
役職 : Infrastructure Engineer / Application Engineer プロフィール 2023年4月 KAG入社。 前職、前々職からKDDI関係の業務で関わりがあった。 現在はData Clean Roomの開発に従事。
SnowflakeのDCR (Data Clean Room) データクリーンルーム データシェアリング | セキュアに結合 | クエリ制限
パーティ A Bにはデータを 公開しない形で 分析したい パーティ B Aにはデータを 公開しない形で 分析したい 共有データ 簡単に大量データをセキュアに共有 共有されたデータはストレージを消費しない 安心・安全な環境で分析できる データを提供するパーティ = プロバイダー データを提供してもらうパーティ = コンシューマー
SnowflakeのDCR (サンプル) Quick Startで紹介されている Build A Data Clean
Room in Snowflake – Advanced https://quickstarts.snowflake.com/guide/build_a_data_clean_room_in_snowflake_advanced/ Github (v5.5) https://github.com/Snowflake-Labs/sfquickstart-data-clean-room 簡単に作成できる DCR SETUP ASSISTANT https://snowflake-labs-sfquickstart-data-cle-dcr-setup-assistant-bkx7gg.streamlit.app/ DCRに必要なオブジェクトを作成するためのsqlを生成してくれる
DCR (サンプル) の作成〜実行まで Snowflakeアカウント(Enterprise以上)を2つ準備 同じクラウドサービス・同じリージョンのアカウント 事前にAnacondaの規約に同意
Quick Startの2、3 を実施する DCR SETUP ASSISTANTを使ってスクリプト(sql)を生成 sqlをSnowflake上で実行 Quick Startの5 を実施する デモ (サンプルシナリオ)を実行
特徴 Snowflakeの機能だけでDCRを実現できる ユーザ定義関数(UDF) (Python, Jinja) クエリテンプレートからクエリを生成
ストアドプロシージャ(JavaScript) クエリの許可を依頼、依頼を受けてクエリを検証〜許可判定 Stream / Task クエリの許可依頼を検出、クエリの検証〜許可プロセスの実行 共有(Direct Share) パーティ間でオブジェクトをシェア 行アクセスポリシー 許可済みクエリの判定
クエリテンプレート〜クエリの承認 あらかじめパーティ間で協議して実行してもいいクエリを決める 実行してもいいクエリをテンプレート化する カラム、テーブルの組み合わせ 結合やグループ化の条件、統計化の強制
クエリテンプレートをDCRに登録する (プロバイダー) クエリテンプレートの範疇で実行したいクエリを作成し、 クエリの許可を求める (コンシューマー → プロバイダー) 許可された後は、そのクエリを実行できる様になる (コンシューマー) プロバイダー コンシューマー
共有 プロバイダー、コンシューマー間でシェアする 分析データ 他パーティに共有してもよいデータ 掛け合わせたいデータ
プロバイダーからコンシューマーにシェアする DCRの機能を実現するためのデータ クエリテンプレート、リクエストログ等 プロバイダー、コンシューマーの双方向でシェアする プロバイダー コンシューマー プロバイダー
行アクセスポリシー 本来は… クエリ結果で返す行を決定する 見せたくないデータは除外されて結果が返る DCRでは…
実行されたクエリが許可されているかどうかを判定する 実行したクエリが許可されたクエリである場合のみ結果が返る ポイント クエリテキストが完全一致した場合のみ結果が返る 許可されていないクエリが実行されると何も結果が返らない コンシューマー コンシューマー プロバイダー
より安心・安全なDCRに向けた工夫の例 細かいロール設計 各パーティ内で登場人物と役割を細かく定義 人が使うロール、システムが使うロールを分けて定義 自パーティに対しても行アクセスポリシーでクエリを制限
自社所有のデータであっても、好き勝手にデータを見れない様に制御 ACCOUNTADMINの利用制限 デフォルトではACCOUNTADMINは誰も利用できない状態 一時的に上位ロールの使用を許可するストアドプロシージャを作成 参考 : https://medium.com/snowflake/managing-elevated-access-in-snowflake-just-enough-just-in-time-418fcdad7929 権限が利用できる時間を指定、自分で自分に対して権限付与ができない様に制御 ロギング SnowflakeデータベースにあるACCOUNT_USAGEのバックアップを作成して永続化を実現 Taskで定期的にコピー、規定の保存期間が終了したら削除