Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Snowflakeで実現するデータガバナンス

 Snowflakeで実現するデータガバナンス

2024年4月に行われたKDDI・Supershipによる勉強会にて、Supership システム統括本部 データエクスペリエンス推進部の竹林・井波が講演した際のスライドです。

Supershipでは一緒に働くSuperな仲間を大募集中です!募集職種など採用情報は下記よりご参照ください。
https://supership.jp/recruit/

■講演タイトル:
Snowflakeで実現するデータガバナンス
■アジェンダ:
Supershipにおけるデータガバナンスの実現に向けたSnowflakeの導入について、その背景や決め手、リソース構成をコスト最適化や人為的リスク削減の観点からお話しします。
■登壇者:
Supership システム統括本部 データエクスペリエンス推進部 部長
竹林 照光
Supership システム統括本部 データエクスペリエンス推進部 データガバナンスG
井波 駿

Supership株式会社

June 06, 2024
Tweet

More Decks by Supership株式会社

Transcript

  1. 自己紹介 井波 駿 • データガバナンスG • データエンジニア • 1997/1/10 (27歳)

    竹林 照光 • データエクスペリエンス推進部 • 部長 • データマネジメント推進G GL • 井波さんが生まれた年に大学入学 データマネジメント 推進G データガバナンスG データエクスペリエンス 推進部 システム統括本部 データサイエンス& エンジニアリング部 インフラ基盤統括室 我々は、Supershipが保有するデータの活用機会最大化を図る組織です。 安心安全にデータを扱える環境を目指しデータ分析基盤を提供しています。
  2. 2020 dentsu データ領域での協業を 推進するための資本業務提携 (Supership HD) Facebook 世界初の 広告パートナーに 認定(Supership)

    LINE 国内4社のみの 「Data Provider Partner」 認定(Supership) 2015 2016 2017 2018 amazon SSP領域で 国内初パートナーシップ 締結(Supership) 2019 (注1) (注3) (注4) テレビ朝日 JVにて「UltraImpression」 設立(Supership HD) Novatiq Limited 次世代広告配信PF構築 を目的に資本業務提携 (Supership HD) (注2) 2021 Google Cloud データ利活用内製化支援 パートナー認定 Snowflake 国内3社のみの「PREMIER」パートナー認定 (DATUM STUDIO) 2022 Salesforce Marketing Cloud コンサルティング パートナー認定 (DATUM STUDIO) (注5) 2023 dbt Labs サービスパートナー 契約を締結 (DATUM STUDIO) 分 析 環 境 クラウド オンプレ (注1)2015年11月発表時点。2017年よりSSP接続企業として事業連携 (注2) 2016年11月契約締結時点 (注3)2021年9月時点。2017年10月発表時点では2社(注4)2018年5月発表時点 (注5)2022年12月発表時点 各プロダクト導入の背景と目的
  3. 2020 dentsu データ領域での協業を 推進するための資本業務提携 (Supership HD) Facebook 世界初の 広告パートナーに 認定(Supership)

    LINE 国内4社のみの 「Data Provider Partner」 認定(Supership) 2015 2016 2017 2018 amazon SSP領域で 国内初パートナーシップ 締結(Supership) 2019 (注1) (注3) (注4) テレビ朝日 JVにて「UltraImpression」 設立(Supership HD) Novatiq Limited 次世代広告配信PF構築 を目的に資本業務提携 (Supership HD) (注2) 2021 Google Cloud データ利活用内製化支援 パートナー認定 Snowflake 国内3社のみの「PREMIER」パートナー認定 (DATUM STUDIO) 2022 Salesforce Marketing Cloud コンサルティング パートナー認定 (DATUM STUDIO) (注5) 2023 dbt Labs サービスパートナー 契約を締結 (DATUM STUDIO) 分 析 環 境 クラウド オンプレ (注1)2015年11月発表時点。2017年よりSSP接続企業として事業連携 (注2) 2016年11月契約締結時点 (注3)2021年9月時点。2017年10月発表時点では2社(注4)2018年5月発表時点 (注5)2022年12月発表時点 各プロダクト導入の背景と目的 社外とのデータ交換の 需要が増えて AWS S3 などを介して送受信 AWSにあるデータを用 いたユースケースが増 え始める データガバナンスに対 する要求が高まる 1 2 3
  4. データガバナンスにおける課題点 権限状態の評価が 困難 課題 ヒューマンエラー リスク 1. 権限状態の可視化 2. データオーナーの明確化

    • Pipelineの増加に伴う複雑化 - プロジェクト/ユーザー/データ • 契約や法律の変更のたび、ユー ザーのオペレーションで対応 課題解決の方向性 • Supershipが保有する全てのデータは企業間の契約締結によって提供されたもの • 契約締結者をデータオーナーと定義した データガバナンスの大方針として、 データオーナーの責務を果たせる環境(契約の利用範囲で活用するガードレール設置)及び、 データオーナーが適切なユーザーの利用を管理できる実行体制を構築することを目指した。
  5. Snowflake導入の決め手 Snowflakeのこれらの特色が、導入の決め手となりました。 • Role - Grant 方式の権限制御 → 詳細な権限制御の設計が可能に •

    シンプルなSQLでアクセス可能 → 利用ハードルを低減 • 豊富かつ扱いやすいログ情報 → 継続的な改善活動に有用、SQLで扱えるので分析も容易 →データガバナンス維持のための大方針を満たすことができる これらの特色を活かして、データガバナンス維持のためのリソース構成の設計をしました。
  6. Snowflakeリソース構成:Project構成 リソース図 DATABASE WAREHOUSE FUNCTIONAL ROLE A SCHEMA X SCHEMA

    Y VIEW PROCEDURE / UDF PROJECT A USER PROJECT B USER データ蓄積 DATABASE X データ蓄積 DATABASE Y TABLE TABLE VIEW PROJECT A RESOURCES 各リソースへの権限 は、ACCESS ROLEを 介して付与 Project DATABASEの SCHEMAは、参照先のデータ 蓄積DATABASEごとに切る ACCESS ROLE ACCESS ROLE ACCESS ROLE ACCESS ROLE 参照 参照 FUNCTIONAL ROLE B