マルチデータプロダクト基盤としての Snowflake の権限管理とコスト管理

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2024 Finatext Holdings Ltd. ナウキャストにおける Snowﬂake の権限管理とコスト管理を紹介します！ 3 Service Role 層 Warehouse Account Role Service_R Database Warehouse Account Role Service_RW Access Role 層 System User 2 Human User A Human User B System User 1 Database Role table-create Database Role table-select tables views Database Role view-create Database Role view-select Functional Role 層 Warehouse Account Role Service_RW Warehouse Account Role Service_R Database Role ReadWrite Database Role Read

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024 Finatext Holdings Ltd. 1. 自己紹介・会社紹介自己紹介 ● 名前：大野巧作 ○ 大体けびんと呼ばれています ○ X / GitHub / Zenn / SpeakerDeck などは @Kevinrobot34 ● 役職：Data Engineer / Data Platform Engineer @ Nowcast ○ POSデータのパイプライン作成・運用 ○ Snowﬂake x dbt x Terraform な社内データ基盤構築・運用 ○ 2020年卒の社会人５年目です ● 最近興味のある技術 ○ Apache Iceberg 5 会社のメンバーでSnowﬂake Summit に行った時の写真→

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 Finatext Holdings Ltd. 2. Snowflake の権限・コストの基礎 Snowflake における権限管理 - RBAC オブジェクトの権限はロールに付与され、ロールはユーザーに付与される、という形で権限管理する 9 https://select.dev/posts/snowflake-roles より GRANT USAGE ON DATABASE DBA; TO ROLE RA; GRANT ROLE RA TO USER UA;

Slide 11

Slide 11 text

© 2024 Finatext Holdings Ltd. 2. Snowflake の権限・コストの基礎ロールの階層と継承 Snowflake のロールは階層構造を作ることができ、あるロールの権限は親のロールに権限が継承される。つまりあるロールの実際の権限は、自身とその子孫のロールで grant されている権限の和集合。 → Snowflake での権限管理は　ロールとその階層構造の作り方が重要 10 https://docs.snowflake.com/ja/user-guide/security-access-control-overview より

Slide 12

Slide 12 text

© 2024 Finatext Holdings Ltd. 2. Snowflake の権限・コストの基礎ウェアハウスとコスト Snowflake では仮想ウェアハウスが計算資源で、これを何秒使ったか？で課金される。またウェアハウスはいくつも作ることができ、ウェアハウスごとのコストは簡単に確認できる。 → Snowflake のコスト管理はウェアハウスの使い分けが重要 11 https://www.snowflake.com/ja/blog/cost-management-interface-generally-available/ より

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2024 Finatext Holdings Ltd. 3. ナウキャストの権限管理・コスト管理の変遷ナウキャストのデータ基盤における権限管理・コスト管理の変遷を見ながら、 Service / Functional / Access Role というロールの層の導入、またそれに合わせたウェアハウスの管理方法について紹介していきます。 ● フェーズ① - Snowﬂake 導入直後 ● フェーズ② - Access Role 層の作成 ● フェーズ③ - 階層を無くし、 Account Role と Warehouse をセットに ● フェーズ④ - Service / Functional Role 層の作成 ● フェーズ⑤ - Access Role 層に必要に応じて一つだけ階層を作る ※ 説明のため一部簡略化したりしています。また一部まだ検証段階の要素もあります。 13

Slide 15

Slide 15 text

© 2024 Finatext Holdings Ltd. 3. ナウキャストの権限管理・コスト管理の変遷フェーズ① - Snowﬂake 導入直後各エンジニアがロール・ウェアハウスを管理。初期はルールもほぼなく、様々な問題があった ● Snowﬂake の権限についてよく知らないと管理できない ● ロール階層について理解していないと管理できない ● ウェアハウスの切り分けが雑 14 System User 2 Human User A Human User B System User 1 Account Role Account Role Account Role Tables Views Warehouse Account Role Account Role Account Role Account Role Warehouse Warehouse

Slide 16

Slide 16 text

© 2024 Finatext Holdings Ltd. 「Schema内のTableのselectのためのロール」というように、 DB 内のオブジェクトの各種権限を持った Database Role を用意（Access Role 層）。 Access Role を他のロールへ付与する形で DBオブジェクトの権限を付与する。 Database Access Role 層 3. ナウキャストの権限管理・コスト管理の変遷フェーズ② - Access Role 層の作成 15 System User 2 Human User A Human User B System User 1 Account Role Database Role table-create Database Role table-select Tables Views Warehouse Database Role view-create Database Role view-select Account Role Account Role Warehouse

Slide 17

Slide 17 text

© 2024 Finatext Holdings Ltd. 引き続き以下の問題は残ったまま。 ● ロール階層について理解していないと管理できない ● ウェアハウスの切り分けが雑 Database Access Role 層 3. ナウキャストの権限管理・コスト管理の変遷フェーズ② - Access Role 層の作成 16 System User 2 Human User A Human User B System User 1 Account Role Database Role table-create Database Role table-select Tables Views Warehouse Database Role view-create Database Role view-select Account Role Account Role Warehouse

Slide 18

Slide 18 text

© 2024 Finatext Holdings Ltd. Account Role の権限は Access Role を付与するかどうかで権限管理する。また Account Role 同士で階層をなくすことでシンプルに。 Account Role と Warehouse をセットにし、権限管理とコスト管理を同時にしやすくした。 Database Warehouse Account Role ReadWrite Access Role 層 3. ナウキャストの権限管理・コスト管理の変遷フェーズ③ - 階層を無くし、 Account Role と Warehouse をセットに 17 System User 2 Human User A Human User B System User 1 Warehouse Account Role Read Database Role table-create Database Role table-select Tables Views Database Role view-create Database Role view-select

Slide 19

Slide 19 text

© 2024 Finatext Holdings Ltd. まだウェアハウスの切り分けがあまく、コスト管理上問題がある。システムとエンジニアとで Role/Warehouse が共有されており、例えば定期バッチとアドホックな開発のコストが分けられない Database Warehouse Account Role ReadWrite Access Role 層 3. ナウキャストの権限管理・コスト管理の変遷フェーズ③ - 階層を無くし、 Account Role と Warehouse をセットに 18 System User 2 Human User A Human User B System User 1 Warehouse Account Role Read Database Role table-create Database Role table-select Tables Views Database Role view-create Database Role view-select

Slide 20

Slide 20 text

© 2024 Finatext Holdings Ltd. System User は Service Role を、人間は Functional Role を使うことで、ロールもウェアハウスも管理しやすく！ Service Role 層 Warehouse Account Role Service_R Database Warehouse Account Role Service_RW Access Role 層 3. ナウキャストの権限管理・コスト管理の変遷フェーズ④ - Service / Functional Role 層の作成 19 System User 2 Human User A Human User B System User 1 Database Role table-create Database Role table-select Tables Views Database Role view-create Database Role view-select Functional Role 層 Warehouse Account Role Service_RW Warehouse Account Role Service_R

Slide 21

Slide 21 text

© 2024 Finatext Holdings Ltd. Service / Functional Role の権限管理をしやすくするために、Access Role 層で一つ階層を追加。 Service Role 層 Warehouse Account Role Service_R Database Warehouse Account Role Service_RW Access Role 層 3. ナウキャストの権限管理・コスト管理の変遷フェーズ⑤ - Access Role 層に必要に応じて一つだけ階層を作る 20 System User 2 Human User A Human User B System User 1 Database Role table-create Database Role table-select Tables Views Database Role view-create Database Role view-select Functional Role 層 Warehouse Account Role Service_RW Warehouse Account Role Service_R Database Role ReadWrite Database Role Read

Slide 22

Slide 22 text

© 2024 Finatext Holdings Ltd. まとめ ● データ基盤では権限管理とコスト管理が大事 ○ Snowﬂake ではロールとウェアハウスの使い方をどうするか？という話 ● 以下の３つの層に分けて考えると管理しやすい ○ Access Role 層 ■ Database / Schema 内のオブジェクトの権限を表現するためのロールの層 ■ Database Role で実装する ○ Functional Role 層 ■ 人間が使うロールとウェアハウスの層で、役割ごとに分離する ■ Account Role で実装する ■ Functional Role 同士で階層は作らない ■ Access Role を付与するかどうかで DB / Schema 内のオブジェクトの権限管理をする ○ Service Role 層 ■ Functional Role 層と基本同じだが、利用者が人間ではなくシステム 21

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024 Finatext Holdings Ltd. 4. Appendix References ● https://select.dev/posts/snowflake-roles ● https://select.dev/posts/snowflake-rbac-best-practices ● https://zenn.dev/dataheroes/articles/snowflake-database-role-20240727 ● https://dev.classmethod.jp/articles/snowflake-terraform-design-with-functional-and-access-role/ ● https://docs.snowflake.com/en/user-guide/security-access-control-overview ● https://docs.snowflake.com/en/user-guide/security-access-control-considerations 24

Slide 26

Slide 26 text

© 2024 Finatext Holdings Ltd. 4. Appendix Account Role と Database Role Snowﬂake の代表的なロールとして以下の２つがあり、適宜使い分けると管理しやすくなる ● Account Role ○ Account Object ○ Schema Object だけでなく、 Global / Account Object の権限など何でも権限を付与できる ○ User に権限を付与できる ○ Role 選択画面に子孫のロール含め出てくる ○ Functional / Service Role 層に最適 ● Database Role ○ Database Object ○ Schema や Schema Object の権限しか付与できない ■ Warehouse の権限は付与できない ○ User には権限を付与できない ○ Role選択の画面には出てこない ○ Access Role 層に最適 25

Slide 27

Slide 27 text

© 2024 Finatext Holdings Ltd. 4. Appendix Schema を中心にオブジェクトを整理する ● Snowﬂake の多くのオブジェクトは Schema オブジェクト ● 役割ごとにSchemaを用意し、これ単位でオブジェクトを整理すると見通しが良い ● 例 ○ POSデータのDWH層のSchema ○ POSデータのMart層のSchema ○ クレカデータのDWH層のSchema ○ クレカデータのMart層のSchema ○ … 26 https://docs.snowﬂake.com/en/user-guide/security-access-control-overview#securable-objects より

Slide 28

Slide 28 text

© 2024 Finatext Holdings Ltd. 4. Appendix Schema 中心の権限管理 ● 権限管理もSchema単位で考えていくとやりやすい ○ FUTURE TABLES / ALL TABLES といった grant がある ■ GRANT SELECT ON FUTURE TABLES IN SCHEMA s1 TO DATABASE ROLE r1; ■ GRANT SELECT ON ALL TABLES IN SCHEMA s1 TO DATABASE ROLE r1; ○ Schema 単位でオブジェクトをまとめて考えることで、 FUTURE / ALL の Grant が利用でき必要となる Grant が一気に減る（増えない）ため、管理しやすくなる ○ このように Grant も奥が深いので、 Access Role 層として適切な粒度のロールを用意しておくと権限管理のハードルが下がる 27 例：テーブル Schema 単位オブジェクト単位権限管理の単位 . 内の全テーブル .. 必要な Grant 以下の2つを privilege ごとに設定すれば、追加は不要 - FUTURE/ALL TABLES IN SCHEMA テーブル・privilege ごとに設定テーブルの増減に伴いgrant系の設定も増減が必要

Slide 29

Slide 29 text

© 2024 Finatext Holdings Ltd. 4. Appendix コスト管理の観点マルチデータプロダクトの基盤として、コスト管理できることは重要。影響範囲が広いため早いうちから適切に設計しておくことが大事。考えておくべきポイントは以下。 ● 定期バッチとAdhocな開発のコストの切り分けができるか？ ○ Functional Role と Service Role とを切り分けるのが大事。これによって定期バッチとAdhocな開発のWarehouse を分かれる ● プロダクトごとに開発コストを確認できるか？ ○ Functional / Service Role はそれぞれプロダクトごとに作成するのが大事。これにより Warehouse もプロダクトごとに分かれ、プロダクトのコストが確認できる。 ● Workload ごとにコストを確認できるか？ ○ Snowﬂake ではクエリ単位でコストを確認するのは容易だが、 dbt model などのワークロードごとにコストを確認するのはそのままではできない ○ dbt model ごとに query tag / コメントを適切に設定するなどの工夫が必要になる ○ SELECTのような SaaS を使うのも一つの手段 28

Slide 30

Slide 30 text

© 2024 Finatext Holdings Ltd. 4. Appendix Role / Warehouse 構成のアンチパターン ● Access Role を Account Role で作る ○ Access Role は単に権限をまとめて使いやすくしたものなので Account Role でなくて良い ○ Account Role で作成すると Role が多すぎて Role 選択画面が大変なことになる ● Access Role の作り方が雑 ○ 荒すぎると権限管理がうまくできないし、細かすぎても使いにくい ○ 最初に程よい粒度で作るのが大事 ● Functional / Service Role の中で階層を作る ○ 複雑な階層になり、管理しきれなくなりがち ○ 結果として強めの権限のロールが多用されがち ● Ownership の取り扱いを考えない ○ Owner 権限を持つ Access Role を用意し、必要に応じて複数の Role に Table の Owner などを配れるようにしておくのが大事 ○ そうでないと Functional Role 側の階層が必要になり複雑になる ● 命名が雑 29

Slide 31

Slide 31 text

© 2024 Finatext Holdings Ltd. 4. Appendix データ基盤のインフラは IaC で管理する Snowﬂakeのオブジェクトは基本的に Terraform で管理するのが良い。 ● メリット ○ サイロ化を解消するためにデータを集めたデータ基盤は当然利用者が多く、権限管理が非常に重要だが、 IaC による管理は以下の通り各種メリットがある。 ■ IaC で権限設定を管理すれば、そのコードが権限設定の SSoT となり管理しやすくなる ■ IaC のコードをGitで管理をしておくことで権限の履歴の管理にもなる ■ 適切な GitOps の設定をすることで、レビューされないと権限付与ができないといった権限申請のワークフローを自然と用意することができる ○ 適切に Terraform モジュールを作成しておくことで、新しいパイプラインの立ち上げ工数が大幅に削減できる ● デメリット ○ Snowﬂake における IaC は Terraform がデファクトスタンダードであり、 Terraform に慣れているメンバーが必要 30

Slide 32

Slide 32 text

© 2024 Finatext Holdings Ltd. 4. Appendix Terraform でのモジュールイメージ ● モジュール① : Schema モジュール ○ 管理対象オブジェクト ■ Schema そのもの ■ Schema object ● table や view は dbt で作成するのでそれ以外のイメージ ● stage や format など ■ Access Role としての Database Role ■ Access Role の実際の権限である各種 grant ● FUTURE / ALL TABLES IN SCHEMA など 31

Slide 33

Slide 33 text

© 2024 Finatext Holdings Ltd. 4. Appendix Terraform でのモジュールイメージ ● モジュール② : Role / Warehouse モジュール ○ 管理対象 ■ Functional / Service Role となる Account Role ■ 指定した Access Role である Database Role の Grant ■ Warehouse とその Grant ● 誰が開発するか？ ○ モジュール自体の開発は Platform チーム ■ Access Role をモジュール①で実装するなど ○ モジュールを利用し実際のオブジェクトを作るのは各チームのエンジニア ■ モジュール①・②を利用しプロダクトの Schema と関連する Functional / Service Role を用意する ■ どのような Access Role があるのかを理解していれば簡単に権限管理ができる 32

Slide 34

Slide 34 text

No content