dbt_ベストプラクティス_完全に理解した.pdf

Slide 1

Slide 1 text

dbt ベストプラクティス完全に理解した dach@

Slide 2

Slide 2 text

自己紹介 Belong Inc. チキン南蛮エンジニア　 @dach やってることデータ分析基盤入荷検査消去差配中古スマホ Belong blog  Youtube 

Slide 3

Slide 3 text

Agenda 1. dbt の基本要素と動かし方を理解する  2. Layer 構成と責務の分割について理解する  3. テストについて理解する      ※ 所要時間 30 min 程度を想定 (LT...?) 

Slide 4

Slide 4 text

Agenda 1. dbt の基本要素と動かし方を理解する  2. Layer 構成と責務の分割について理解する  3. テストについて理解する      ※ 所要時間 30 min 程度を想定 (LT...?)  近日ブログにて公開予定

Slide 5

Slide 5 text

本編に入る前に... 実は #29 の時に「dbt 完全に理解したい」という内容で話していたことがあった知識 0 状態からアップデートした知見を共有できれば

Slide 6

Slide 6 text

Agenda 1. dbt の基本要素と動かし方を理解する  2. Layer 構成と責務の分割について理解する        ※ 所要時間 30 min 程度を想定 (LT...?) 

Slide 7

Slide 7 text

dbt の基本要素と動かし方を理解する [Section Topic] 1. jaﬄe_shop で学ぶ dbt 2. 抑えておいたほうがいい用語解説 3. 実践 dbt 実装

Slide 8

Slide 8 text

Overview [この章の目的] ● 難しいことはさておき、 dbt について完全に理解する [この章で学べること] ● dbt はどういうツールであるか ● dbt を利用した実装の仕方 ● dbt の基本的な使い方やよく出る用語

Slide 9

Slide 9 text

[データ分析基盤初心者向け補足情報 ] 1. データ分析基盤の全体像 2. ELT(ETL) について 3. dbt とは [本編] 1. jaﬄe_shop で学ぶ dbt 2. 抑えておいたほうがいい用語解説 3. 実践 dbt 実装 Section Topics

Slide 10

Slide 10 text

Slide 11

Slide 11 text

DataSource データ分析基盤の全体像 DWH Source 1 Source 2 Source 3 BI tools アプリ生データ蓄積データ加工抽出抽出完全性チェックデータ保持分析結果算出分析素材

Slide 12

Slide 12 text

データ分析では、様々な DataSource (社内アプリや SaaS など) のデータを利用する必要があります。データ分析ができるように、サイロ化された場所からのデータ移動や加工が必要です。 ELT(ETL) について元のソースからデータを取得することを指します利用される宛先に移動することを指します標準化や整形、など分析が可能な形式にすることを指します Extract (抽出) Load (移動) Transform (変換)

Slide 13

Slide 13 text

dbt は、データ分析の領域における「Transform」を行うためのツールです。 SQL ファーストの変換ワークフローであるため、学習コストが低いことが特徴です。 dbt とは？元のソースからデータを取得することを指します利用される宛先に移動することを指します標準化や整形、など分析が可能な形式にすることを指します Extract (抽出) Load (移動) Transform (変換) T におけるデファクトスタンダード

Slide 14

Slide 14 text

● dbt は、モジュール性、移植性、CI/CD、ドキュメントなどのソフトウェアエンジニアリングのベストプラクティスに従って、チームが分析コードを迅速かつ共同で展開できるようにする SQL ファーストの変換ワークフロー  ● DWH 構築の ELT/ETL 処理における「 T (Transform)」を担当  ● Transform におけるデファクトスタンダードと言っても過言ではない   ● ほとんどの Modern Data Stack との連携が可能       https://www.getdbt.com/product/what-is-dbt/   dbt とは？

Slide 15

Slide 15 text

[データ分析基盤初心者向け補足情報 ] 1. dbt とは？ 2. データ分析基盤の全体像 3. ELT(ETL) について [本編] 1. jaﬄe_shop で学ぶ dbt 2. 抑えておいたほうがいい用語解説 3. 実践 dbt 実装 Section Topics

Slide 16

Slide 16 text

以下のサンプルユースケースを実現するテーブルを作ること ● サンプルユースケース ○ 顧客別にまとまった、最新の注文情報・支払い状況を確認する Section Goal

Slide 17

Slide 17 text

Q. jaffle_shop とは？ A. dbt のチュートリアルで使われる、架空の e コマースストア ● Repo URL ○ https://github.com/dbt-labs/jaffle_shop ● こんな感じのデータが揃っている jaffle_shop で学ぶ dbt

Slide 18

Slide 18 text

リポジトリ開くとこんな感じ jaﬄe_shop で学ぶ dbt

Slide 19

Slide 19 text

Q. サンプルユースケースを実現するために何をすれば良い？ A. 動かせばユースケースを実現するテーブルが勝手に作れます [動かし方] 1. dbt を install 2. 所定の DB に接続するための設定を行う 3. サンプルデータを入れる 4. dbt を実行する jaﬄe_shop で学ぶ dbt

Slide 20

Slide 20 text

出来上がったものがこちら jaﬄe_shop で学ぶ dbt

Slide 21

Slide 21 text

データの流れ（Data Lineage）だとこんな感じ jaﬄe_shop で学ぶ dbt

Slide 22

Slide 22 text

# 接続の確認 % dbt debug # サンプルデータの投入 % dbt seed # テーブルの構築 % dbt run # さっきの図を作る % dbt generate % dbt serve 実際のコマンドだとこんな感じ jaﬄe_shop で学ぶ dbt

Slide 23

Slide 23 text

● dbt で作られたプロジェクトなら、簡単にテーブルを管理できます ● dbt run を実行するだけでテーブルが作られます ● 初めてのときは dbt の install や接続先の設定をする必要があります jaﬄe_shop で学ぶ dbt: まとめ

Slide 24

Slide 24 text

Slide 25

Slide 25 text

今回の LT の中でも登場する dbt の用語にピックアップして説明します ● モデル ○ dbt で行うデータ変換処理を指します ○ ざっくりいうと、「1 SQL ファイル = 1 モデル」です ● マテリアライゼーション（ materialization） ○ dbt においてモデルを保持する方法の選択肢のことです ○ v1.5.x 時点で選択肢は 4つあります ○ 後で説明します抑えておいたほうがいい用語解説

Slide 26

Slide 26 text

Slide 27

Slide 27 text

dbt の実装は至ってシンプルですクエリを書く！！具体的なモデルを見ていきます実践 dbt 実装

Slide 28

Slide 28 text

「顧客別にまとまった、最新の注文情報・支払い状況を確認する」を実現しているモデル実践 dbt 実装

Slide 29

Slide 29 text

[要素] ref ● 事前定義されているマクロ ● 定義済みモデルを参照する ● Data Lineage 図で紐づくだけじゃなくて、環境差分とかもいい感じに解消してくれる ● e.g. dev-dach-test -> prod-dach-test 実践 dbt 実装データを引っ張ってくる関心毎に分けて集計集計結果を結合

Slide 30

Slide 30 text

● クエリを書く ● 管理ができるように関心事で処理を分ける実践 dbt 実装: まとめ

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Layer 構成と責務の分割について理解する [Section Topic] 1. materialization を理解する 2. コンサーンでディレクトリを分離する

Slide 33

Slide 33 text

[この章の目的] ● モデルを作るときに気をつけること理解する [この章で学べること] ● モデルの永続化について ● ベストプラクティスに則ったディレクトリ分割 Overview

Slide 34

Slide 34 text

1. materialization を理解する 2. コンサーンでディレクトリを分離する Section Topics

Slide 35

Slide 35 text

全部で4つあります (v1.5.x 時点) これらをモデルに選択することでどのようにモデルを保持するかが決まります。 1. view 2. table 3. ephemeral 4. incremental materialization を理解する

Slide 36

Slide 36 text

1. view a. view テーブル b. 実行ごとに View として再構築される c. 常に最新データが参照可能で、モデルの修正がすぐに反映される d. ただし、参照のたびにクエリコストが発生する 2. table 3. ephemeral 4. incremental materialization を理解する

Slide 37

Slide 37 text

1. view 2. table a. モデルを実体化して持つ b. 実行ごとにデータが再作成される c. 結果を直接参照できるため、分析ツールや macro からの利用が容易 d. 更新が必要な場合には手動で再実行する必要がある 3. ephemeral 4. incremental materialization を理解する

Slide 38

Slide 38 text

1. view 2. table 3. ephemeral a. 実行時に一時テーブルとしてモデルに組み込まれる (CTE) b. = WITH 句 c. クエリの複雑性を分離できる d. デバッグが困難になる可能性がある 4. incremental materialization を理解する

Slide 39

Slide 39 text

1. view 2. table 3. ephemeral 4. incremental a. モデルを実体化して持つ b. 設定した戦略にしたがって増分蓄積する c. 全量蓄積よりもストレージコストが抑えられる d. 変更に弱い materialization を理解する

Slide 40

Slide 40 text

1. view 2. table 3. ephemeral 4. incremental materialization を理解する: まとめ

Slide 41

Slide 41 text

1. materialization を理解する 2. コンサーンでディレクトリを分離する Section Topics

Slide 42

Slide 42 text

3つの Layer で構成されている 1. staging 2. intermediate 3. marts コンサーンでディレクトリを分離する

Slide 43

Slide 43 text

staging ● データのクレンジング、変換、整形を行う ● 各 DataSource ごとにサブディレクトリが切られる ● materialization は view を選択する ● データの結合や集計などは行わないコンサーンでディレクトリを分離する

Slide 44

Slide 44 text

intermeiate ● marts が複雑になった時、ビジネスロジックを分離するために使う ● モデルが少数であったり、複雑でなければ利用しない ● materialization は ephemeral を利用するコンサーンでディレクトリを分離する

Slide 45

Slide 45 text

marts ● 特定のエンティティ(コンセプトとも呼ばれます )を実現する ● ユーザーから唯一参照可能なレイヤー ● view もしくは table を基本的に使う ● 必要に応じて incremental を選択するコンサーンでディレクトリを分離する

Slide 46

Slide 46 text

コンサーンでディレクトリを分離する

Slide 47

Slide 47 text

● モデル実装時には Layer を意識する ● Layer 毎に使うべき materialization が決まっている ● 詳細ルールはベストプラクティスを参照するコンサーンでディレクトリを分離する: まとめ

Slide 48

Slide 48 text

● dbt を使うとデータ変換がいい感じに管理できる ● dbt を使う時はベストプラクティスを参照しようまとめ

Slide 49

Slide 49 text

49  This material is confidential and the property of Belong Inc.   Blog や Youtube も見てね blog  Youtube 