dbtと仲良し！クラスメソッドのModern Data Stack

2023/3/14に開催された「What is dbt？データ基盤にdbtが必要な３つの理由」で登壇した際の資料です。

https://classmethod.connpass.com/event/276579/

Transcript

1. dbtと仲良し！
 クラスメソッドのModern Data Stack
 1 2023/3/14
 アライアンス統括部
 相樂悟

2. 2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス統括部 主な担当 Modern Data Stackのプロサービス・プリセールス
3. 3 アジェンダ １．会社概要 ２．クラスメソッドのModern Data Stack 　 ３．dbtと特に仲良しのサービス 　・Fivetran 　・Snowflake ４．最後に
4. 4 アジェンダ １．会社概要 ２．クラスメソッドのModern Data Stack 　 ３．dbtと特に仲良しのサービス 　・Fivetran 　・Snowflake ４．最後に
5. クラスメソッドについて 事業内容
 
 
 
 
 
 
 子会社
 および
 関連会社
 
 
 
 
 認定
 • クラウド（AWS等）の技術コンサルティング、開発、運用 • データ分析基盤の技術コンサルティング、開発、運用 • アプリケーション（LINE、iOS等）の企画開発、運用 • SaaS、Webサービスの企画開発、導入支援、運用 • 企業向けIT人材育成、内製化支援 • 無人店舗技術・キャッシュレス決済システムの企画開発、運営 
 
 プリズマティクス株式会社 　　ネクストモード株式会社 
 アノテーション株式会社 　　アンダースコア株式会社 
 プロパゲート株式会社 　　Classmethod (Europe) GmbH 
 Classmethod Canada Inc. 　　Classmethod India Private Limited 
 Classmethod (Thailand) Co., Ltd. 　Classmethod Korea Co., Ltd. 
 Classmethod Vietnam Co., Ltd. 
 オープンな発想と高い技術力によりすべての人々の創造活動に貢献し続ける 名称
 
 
 代表者
 
 設　立
 
 本　社
 
 
 拠　点
 
 
 
 資本金
 
 従業員
 クラスメソッド株式会社 
 （英語表記：Classmethod, Inc.） 
 
 横田　聡
 
 2004年7月7日
 
 東京都港区西新橋1－1－1 
 日比谷フォートタワー26階 
 
 東京、札幌、大阪、岡山、福岡、上越、沖縄、ベ ルリン、バンクーバー、ニューデリー、バンコク、 ソウル
 
 1億円
 
 689名（2023年1月現在/グループ全体） 
 5
6. 世界でもっとも貢献した SIパートナーとして「SI Partner of the Year」を受賞。 8年連続AWSパートナー最上位の AWSプレミアティアサービスパートナー認定。 AWSサービスパートナーオブザイヤージャパン 2021受賞。 社員のAWS公式資格取得数は2,000オーバー、世界トップクラスの技術力。 AWSプレミアティアサービスパートナー APN Certification Distinction 2000 パブリックセクターパートナー マネージドサービスプログラム（ MSP）認定 AWSサービスデリバリープログラム（ 14種類） AWSコンピテンシープログラム 移行コンピテンシー / デジタルカスタマーエクスペリエンスコンピテンシー / ビッグデータコンピテンシー / DevOpsコンピテンシー AWS内製化支援パートナー LINE法人向け開発パートナー Technology Partner認定 Technology Partner 認定バッチ（OMO、Engagement） SI Partner of the Year - GLOBAL 受賞 AWS LINE Alteryx Partner of the Year 3度受賞 Looker Best Ambassador賞 2度受賞 Fivetran、APACパートナーアワード受賞 Snowflake、国内初ソリューションパートナー認定 dbt、国内初の販売パートナー認定 その他 クラスメソッドの強み 6
7. 月間300万PV、100万UUを誇る技術ブログDevelopersIO https://dev.classmethod.jp/ 7
 憶測やセオリーだけでなく、
 実地検証に基づく「やってみた」記事を公開 
 
 ユーザに有益な情報であれば社内のノウハウも 
 余すところなく記事化
 
 現在39,000本以上の記事を掲載（2023年1月現在） 
 AWS関連の技術記事を15,000本以上掲載 
 
 DevelopersIOは、社員が執筆するIT技術に特化したオウンドメディ アです。AWS、ビッグデータ、モバイル、IoT などの最新技術に関す る記事を掲載中です。 7
8. 8 アジェンダ １．会社概要 ２．クラスメソッドのModern Data Stack 　 ３．dbtと特に仲良しのサービス 　・Fivetran 　・Snowflake ４．最後に
9. 9 クラスメソッドのModern Data Stack　全体像 データソース➟DWH の連携が、認証情報の 設定だけで可能なツー ル スケーラビリティに優 れ、外部共有などの機 能もあるDWH ソフト開発の手法に則 りデータ変換処理が開 発出来るツール LookMLを用いた、指 標の定義の統制に優 れたBIツール 直感的な操作で 多様な表現が 可能なBIツール GUI操作でデータク レンジング～ 予測分析まで 行えるツール
10. 10 各製品の詳細について 下記の記事に、各製品の概要紹介YouTubeや、関連ブログ一覧へのリンクを貼っております クラスメソッドのModern Data Stackの導入メリットについてもまとめています！ https://dev.classmethod.jp/articles/devio2022-suggestion-classmethod-modern-data-stack/
11. 11 アジェンダ １．会社概要 ２．クラスメソッドのModern Data Stack 　 ３．dbtと特に仲良しのサービス 　・Fivetran 　・Snowflake ４．最後に
12. 12 Fivetranとは - 開発や運用作業が不要なELT(Extract,Load,Transform)サービス - 2023年2月から、月間50万MARまで無料のプランが提供開始！ - 「データソースへの接続」と「使用するデータの選択」だけすればよい - Fivetranが考えたスキーマ定義でロードされる ※Fivetran公式Doc：Shopifyより
13. 13 dbt×Fivetranの強み：dbt Transformation - Fivetranのロード処理が完了したことをトリガーに、 dbtのデータ変換処理(model)を実行できる機能 - 何が良いのか？ - Airflow等のワークフロー管理ツール不要で、 Fivetran➟dbtを簡単につなげる事ができる - dbtを使うため、使用する変換処理は Gitを用いたバージョン管理が可能
14. 14 dbt×Fivetranの強み：Fivetran用のdbt package - Fivetranにより構築されたスキーマに合わせた、 すぐ使えるデータマートを生成するmodel(sqlファイル)の集まり - ※「dbt package」は、一般的なプログラミング言語でいう 　　ライブラリのdbt版 - 例：Salesforce用のdbt package - チーム/メンバー/商談ごとに、各種金額や商談に関する集計値を 出してくれるmodelがまとまった「salesforce」 - Fivetranでロードしたテーブルやカラムに、source定義として、description、test を自動で設定してくれる「salesforce_source」 - Fivetranだけでは同期できない、Salesforce上の計算項目を マクロで追加することができる「salesforce_formula_utils」
15. 15 Fivetran用のdbt package一覧　※2023/3/14時点 ・2023/3/14時点：89種　　　　・2022/6/9時点：76種 ※https://hub.getdbt.com/より

16. 16 アジェンダ １．会社概要 ２．クラスメソッドのModern Data Stack 　 ３．dbtと特に仲良しのサービス 　・Fivetran 　・Snowflake ４．最後に
17. 17 Snowflakeとは - クラウドのメリットを最大限活かしたデータウェアハウス - コンピューティングとストレージの分離 - マルチクラウド対応 - 外部へのデータシェアリング 対象のストレージは１つ 別クラウドでも簡単にデータシェア可能
18. 18 dbt×Snowflakeの強み：dbtの新機能の対応が早い - dbt Semantic Layer　※2023/3/14時点、Snowflakeのみ対応 - 「売上」や「利益」など、 データを用いたビジネス指標の定義を dbt上で一元管理出来る機能 - 人により「売上」の解釈が異なるなど、 ガバナンスが効いていない場合に 活きてくる - 参考ブログ： Tableauからdbt Sematic Layerを介してMetricsを参照してみた
19. 19 dbt×Snowflakeの強み：Snowflake用のdbt package - 2023/3/14時点、確認できたSnowflake用のdbt package - dbt_dataquality - snowflake_env_setup - dbt_snow_mask - dbt_snow_utils - dbt_snowflake_monitoring - dbt_snowflake_query_tags - snowflake_spend - snowflake_utils - dbt_constraints - ※dbtvault等、Snowflakeの対応が最も早いpackageもあります
20. 20 Snowflake用のdbt packageの例 - dbt_constraints - dbtのtestを介してSnowflakeの各制約を自動的に適用できるpackage - 参考記事：https://dev.classmethod.jp/articles/dbt-package-dbt-constraints/ yamlでテスト定義 dbt build 自動的に各制約が適用される
21. 21 アジェンダ １．会社概要 ２．クラスメソッドのModern Data Stack 　 ３．dbtと特に仲良しのサービス 　・Fivetran 　・Snowflake ４．最後に
22. 22 発表内容まとめ - dbtはクラスメソッドのModern Data Stackでも中核を担うサービス 特に、FivetranやSnowflakeと仲良し！
23. 23 Modern Data Stackで構築するときの疑問 dbtとSnowflakeを組み合わせると きに注意することは？ dbtとLooker、どう使い分ければい いの…？ Snowflakeのロール管理、 どうやって運用しよう！？ dbt projectのフォルダ構成、 どうすればいいんだろう… Lookerのテンプレートフィルタ、どう使 えばいいの？ Tableauでユーザーに使われる ダッシュボードを作るにはどうすれ ば…？
24. 24 Modern Data Stackで構築するときの疑問 dbtとSnowflakeを組み合わせると きに注意することは？ dbtとLooker、どう使い分ければい いの…？ Snowflakeのロール管理、 どうやって運用しよう！？ dbt projectのフォルダ構成、 どうすればいいんだろう… Lookerのテンプレートフィルタ、どう使 えばいいの？ Tableauでユーザーに使われる ダッシュボードを作るにはどうすれ ば…？ クラスメソッドのプロフェッショナルサービス にお任せください！！
25. 25 宣伝：クラスメソッドのプロフェッショナルサービス - お客様のModern Data Stack導入時のオンボーディングを支援 - 特徴 - トレーニング・週次MTG・チャットでの質疑応答を通し、 お客様自身がModern Data Stackのサービスを使いこなし、 自走することを支援 - 複数サービスを組み合わせたパターンも対応可能！ - dbt×Snowflake、Fivetran×dbt×Snowflake、etc - ぜひ、お問い合わせください！！
26. 26 宣伝：データ関係の職種、積極採用中！ - クラスメソッド、多様なデータ関係の職種で積極採用中です！ - 職種 例 - Modern Data Stackに関するコンサルタント　※さがらの職種 - AWSやGoogle Cloudを基盤とするデータエンジニア・機械学習エンジニア - 各BIツールを用いてダッシュボードを構築するBIエンジニア - データ分析基盤構築に関するプロジェクトマネージャー - カジュアル面談も随時対応中！