データエンジニアリングやデータ分析のプロセスを効率化するために設計されたOSS • 主にデータウェアハウス上でのETL(Extract, Transform, Load)プロセスの中で、特に 「T(Transform)」の部分を担う • 同じチームの @takimoさん が日本コミュニティーの立ち上げと運営を行っている with hoge as (...), fuga as (...), …. 以後50個くらいのCTE句 1000行くらいの.sql🤮🤮🤮 source_1 source_2 source_3 logical_a logical_b mart_x dbtなら データソースの処 理層 クレンジングや ロジックの処理層 完成品のデータ マート層 - モデルとして関係性を表現(データモデリング)でき、かつモデル感の依存関係も 自動で可視化 - モデルごとにテストを実施し、データやロジックの妥当性の検証も可能 - gitで管理できる 例えば、 関連記事: dbt日本コミュニティの立ち上げと10Xでdbtの実践を行った2022 - SpeakerDeck dbtを使ったELTデータパイプライン構築と運用事例 - SpeakerDeck