Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbt×Fivetran×SnowflakeによるModern Data Stackのご紹介

dbt×Fivetran×SnowflakeによるModern Data Stackのご紹介

dbt×Fivetran×SnowflakeによるModern Data Stack~データ活用までの準備を楽々に~
https://dev.classmethod.jp/news/20220609-dbt-webinar/

Sagara

June 09, 2022
Tweet

More Decks by Sagara

Other Decks in Technology

Transcript

  1. 2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス統括部

    主な担当 モダンデータスタックのプロサービス・プリセールス
  2. Fivetranがサポートしているデータソース https://fivetran.com/connectors 
 We continually add new connectors! Visit our

    directory page for an up to date list! Sales Databases Events Files Functions • Microsoft Dynamics 365 • Salesforce • Shopify • PrestaShop • Pipedrive • Spree Commerce • OsCommerce • PrestaShop • Microsoft Dynamics NAV • Oracle EBS • WooCommerce • Loaded Commerce • DynamoDB • MariaDB • MongoDB • MySQL • Oracle • PostgreSQL • SQL Server • Segment • Snowplow • Webhooks • Airtable • Amazon Cloudfront • Amazon Kinesis • Amazon S3 • Azure Blob Storage • Box • Browser Upload • Dropbox • Email • FTP • FTPS • Google Cloud Storage • Google Drive • Google Sheets • SFTP • AWS Lambda • Azure Functions • Google Cloud Functions Warehouses • Azure Data Explorer • Azure SQL • BigQuery • Databricks • MySQL • Panoly • Periscope • PostgreSQL • Redshift • Snowflake • SQL Server Support • Comm100 • Freshdesk • Front • Help Scout • Intercom • Kustomer • UserVoice • Zendesk • Zendesk Chat Marketing • Adobe Analytics • AdRoll • Apple Search Ads • Appsflyer Finance • Anaplan • Braintree • Coupa • Lightspeed • NetSuite SuiteAnalytics • QuickBooks Online • Recharge • Recurly • SAP ERP • Square • Stripe • Xero • Zuora • Microsoft Dynamics Suite • Sage Intacct • SAP Concur Human Resources • Greenhouse • Lever • Workday Productivity • Asana • Mavenlink • ServiceNow • Height • CSV Uploader • Airtable • Bing Ads • Braze • Campaign Manager • Criteo • Facebook • Google Ads • Google Analytics • Google Play • Google Search Console • HubSpot • Iterable • Itunes Connect • Klaviyo • LinkedIn Ads • MailChimp • Mandrill • Marin Software • Marketo • Oracle Eloqua • Outbrain • Pardot • Pinterest Ads • Sailthru • Salesforce Marketing Cloud • SendGrid • Snapchat Ads • Taboola • Twitter Ads • Yahoo Gemini • YouTube 14
  3. Fivetran用のdbt packageとは - Fivetranにより構築されたスキーマに合わせた、 すぐ実務で使えるデータマートを生成するmodelの集まり - ※「dbt package」は、一般的なプログラミング言語でいう   ライブラリのdbt版 -

    例:Salesforce用のdbt package - チーム/メンバー/商談ごとに、各種金額や商談に関する集計値を 出してくれるmodelがまとまった「salesforce」 - Fivetranでロードしたテーブルやカラムに、source定義として、 description、testを自動で設定してくれる「salesforce_source」 18
  4. dbt × Fivetranの良さ 20 データソース DWH BI等 「dbt Transformation」と「Fivetran用のdbt package」により…

    Fivetranロード層 データマート層 開発作業不要で、実務に使えるデータがすぐ出来ます
  5. コンピューティングとストレージの分離 - 操作対象のデータ1つに対して、 複数の独立したコンピュートリソースを確保できる - 何が良いのか? - リソースの取り合いがなく、 リソース管理に悩むことがない -

    用途ごとに最適なスペックを 選定できる柔軟なアーキテクチャ - オートスケールも可能 機械学習(XL×1) BIツール (M×4) データ加工 (L×2) 対象のストレージは1つ 処理を行うコンピュートリソースは 用途別に分けられる 24
  6. クローン・タイムトラベルなどの独自機能 - クローン - 既存のデータをコピーすることなく、複製可能 - クローン先とクローン元それぞれへ違う更新処理が可能 - タイムトラベル -

    最大90日間、過去のデータに遡れる - なぜクローンやタイムトラベルが容易に出来る? - Snowflakeは差分が発生する度に、一定の粒度で不変な データを新規作成するから(マイクロパーティション) 25
  7. マルチクラウド対応 - AWS・GoogleCloud・Azure、どのプラットフォーム上でも Snowflakeは動作可能 - メリット - S3・GCS・Blob Storage、どこからでも容易にロード可能 -

    プラットフォーム間のレプリケーションも容易に可能 26 M anagem ent Optimization Transactions Security M etadata Data Sharing
  8. Snowflake用のdbt package - dbt_dataquality - snowflake_env_setup - dbt_snow_mask - dbt_snow_utils

    - snowflake_spend - snowflake_utils - dbt_constraints など、Snowflakeは他DWHと比べてdbt packageが非常に多い ※dbtvault等、Snowflakeの対応が最も早いpackageもあります 30
  9. dbt × Snowflakeの強み まとめ 34 互いの良さを活かし、人的リソースの負荷を減らした DWHの運用・開発が出来る組み合わせです ・すぐにスペック変更出来る  柔軟なコンピュートリソース ・タイムトラベル、クローン、  データシェアリング等の機能

    ・ほぼ全ての操作をSQLで可能 ・クエリのバージョン管理、  開発環境&本番環境の分離 ・データリネージ、テスト、  ドキュメント生成などの機能 ・Snowflake用のpackage
  10. dbt × Fivetran × Snowflakeの事例 dbt × Fivetran × Snowflakeは、海外事例も多い組み合わせです

    36 画像引用元: Snowflake + Fivetran + dbt: Turn Your Marketing Data Silos into Marketing Insights 画像引用元: The 80/20 rule in data (and why it doesn’t have to be that way) 画像引用元: GitLab:Data Team Platform
  11. dbt × Fivetran × Snowflakeの強み - dbt × Fivetran -

    Fivetran➟dbtの連携はGUIベースで簡単に実現可能 - Fivetran用のdbt packageがあれば、開発作業不要で データのロード~実務に使えるデータ作成がすぐに可能 - dbt × Snowflake - Snowflake用のdbt packageも多く提供されている - dbtからSnowflake側の様々な設定が可能 37 開発や運用の負荷を減らし、 本来すべき「データ活用」に専念できる構成です!