dbt日本コミュニティの立ち上げと 10Xでdbtの実践を行った2022

by 10xinc

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

アジェンダ  ● dbtとは？  ● dbt日本コミュニティの活動  ○ dbt公式Slackコミュニティの#local-tokyoの開設   ○ dbt Tokyo Meetupの開催   ○ dbt入門記事の公開  ● 10Xでdbtを使ってDWHやデータプロダクトを作った話   ○ DWHがなかった状況からDWHを作った   ○ 商品在庫データを作るデータプロダクトをdbtで作った   ○ JDの公開（データプロダクトマネージャーとデータプロダクトエンジニア）   5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

まずdbtとはなんなのか？  - 正式名称は「data build tool」  - dbt Labs社とdbtコミュニティが開発するOSS  - 拡張されたSQLを使い、ソフトウェアエンジニアリングのベストプラクティスを取り入れられる開発ツールであり、データモデリングを信頼性高く、高速に、楽しくしてくれるもの  - ELTにおけるT（データ変換）を担当する 

Slide 8

Slide 8 text

ELTとdbtの関係  - ELTとは、Extract（抽出）、 Load（読み込み）、 Transform（変換）の略  - 高速でかつ安価で運用ができるデータ基盤が台頭し、データ変換をロードしてから行うアプローチ  - データエンジニアリングの領域からアナリストの領域にデータの管理や処理が染み出す 

Slide 9

Slide 9 text

課題のまとめとdbtを使った解決のアプローチ 

Slide 10

Slide 10 text

Slide 11

Slide 11 text

©10X, Inc. All Rights Reserved. dbt公式Slackコミュニティの#local-tokyoの開設  ● 当時観測範囲ではクラスメソッドの玉井さんやUbieの石川さんが先行してウォッチ＆コミットをしていらっしゃった  ● 自分も使っていくなかでもっとこのツールとそのコミュニティ含め広げたいと思い、2021年 11月19日に#local-tokyoが誕生（2022年の話ではない）  ● 今では292人のチャンネルに！（嬉しい   11 dbt日本コミュニティの立ち上げの話

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

©10X, Inc. All Rights Reserved. 2022年前半　戦乱期  ● 個社毎に作ったパイプラインにも問題がで始める 🔥  ● 複雑に入り組むリネージ  ● 同じような処理ロジックが様々なところに＆下流に様々なロジックが混在しやすくなってしまっていた  ● また属人的に開発をする必要が高く、キャッチアップコストも高い状態に   ● 修正をしたりする開発難易度や品質確認のためのQA工数も高くなってしまった   ○ リネージが複雑でデータの流れを追うのが大変だったり、抽象度が荒いので様々なテーブルの確認が必要等  19 10Xでdbtを使ってDWHやデータプロダクトを作った話  

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

©10X, Inc. All Rights Reserved. 5つのレイヤリングに役割を区分しテストで品質を保証  23 10Xでdbtを使ってDWHやデータプロダクトを作った話ソースデータ    ・このデータを様々なところから利用しない   ゲートウェイ    ・ソースデータをクレンジングする処理層   ・データレイクとの入り口を意識した名前       ドメインモデル    ・ビジネスドメインを一定の粒度で集約する   ・ドメインモデル同士は依存させない       ドメインサービス     ・ドメインモデル同士を利用して複雑な処理をするための処理層  ・必ず実装する必要はない      アプリケーション     ・最終的なユースケースに沿った結合処理等を行う     

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©10X, Inc. All Rights Reserved. 来年への抱負  ● dbtのコミュニティに関してはより活用のシーンが広がっていくことを支援したいし、いろんな人や企業の取り組みが共有されるような取り組みをしたい   ● 10XではDWHはもちろん、データプロダクトを作る上でもdbtを活用していますが、よりデータ品質を向上させるためのテストや検知、またアナリティクスエンジニアやデータプロダクトエンジニアがチームで開発するためのナレッジ等を深めて共有していきたい   26