dbt na Prática

Transcript

1. dbt na Prática Transformando dados com qualidade, escalabilidade e menos stress
2. 2 Doutorando em IA na USP, apaixonado por criar Dev Tools LinkedIn: @danielbdias Github: @danielbdias Daniel Dias Senior Software Engineer, dbt Labs
3. Um desafio: mudanças de dados em um hospital 3 • Temos um processo de ETL que extrai e transmite dados para o Data Lake do hospital. Isso permite que os analistas gerem relatórios estratégicos. O processo funciona perfeitamente! Cadastro de pacientes Dados contábeis entre planos de saúde e hospital … Bancos locais com exames Extract Transform Load Data Warehouse
4. Um desafio: mudanças de dados em um hospital 4 • Recentemente, um órgão regulador solicitou dados adicionais para relatórios, incluindo Informações de Identificação Pessoal (PII) rastreáveis. Cadastro de pacientes Dados contábeis entre planos de saúde e hospital … Bancos locais com exames Extract Transform Load Data Warehouse
5. Reação dos engenheiros de dados a notícia 5
6. Pontos de tensão no ETL 6 • Como a transformação pode ser feito direto com a extração, precisamos criar outras rotinas de transformação só para os dados novos, passar dias ou semanas rodando a tarefa. Cadastro de pacientes Dados contábeis entre planos de saúde e hospital … Bancos locais com exames Extract Transform Load Data Warehouse
7. Nova reação dos engenheiros de dados a notícia 7
8. Pensando em ETL 8 Cadastro de pacientes Dados contábeis entre planos de saúde e hospital … Bancos locais com exames Extract Transform Load Data Warehouse • O ETL é um processo otimizado para carregar e estruturar dados antes de chegar ao data warehouse. • Porém, pode ter pouca flexibilidade em alguns cenários, gerando mais trabalho para a equipe de dados.
9. E se mudarmos o paradigma desse processo?
10. Entra em cena o ELT ! 10 Fonte: https://www.dio.me/articles/a-importancia-do-elt-e-etl-no-processo-de-engenharia-de-dados
11. 11 Cadastro de pacientes Dados contábeis entre planos de saúde e hospital … Bancos locais com exames Extract & Load Transform Data warehouse Pensando em um novo workflow para o problema
12. Como o ELT pode te ajudar? 12 • Transformação de dados flexível • Custos e tempo de processamento reduzidos • Auditoria e governança de dados facilitadas • Melhor escalabilidade e desempenho
13. Perfeito… Mas o que é o dbt? E como ele se encaixa nesse contexto?
14. O que é o dbt? 14 • O dbt (data build tool) é uma ferramenta open-source, que permite a transformação de dados com boas práticas de engenharia de software. • Atualmente, ela está disponível em duas versões: ◦ dbt Core, sob a licença Apache 2.0: https://github.com/dbt-labs/dbt-core ◦ dbt Fusion, sob a licença Elastic License 2.0: https://github.com/dbt-labs/dbt-fusion
15. Como o dbt interage com ecosistema de dados 15
16. • A transformação no dbt é estruturada através de um projeto com códigos fonte em SQL, Yaml e Python. 16 Como a transformação é feita?
17. • A transformação no dbt é estruturada através de um projeto com códigos fonte em SQL, Yaml e Python. • A tabelas que foram carregadas no processo de Extract & Load são definidas como sources. 17 Como a transformação é feita?
18. • A transformação no dbt é estruturada através de um projeto com códigos fonte em SQL, Yaml e Python. • A tabelas que foram carregadas no processo de Extract & Load são definidas como sources. • A sources começam a ser expostas em modelos, escritos como selects em SQL 18 Como a transformação é feita?
19. • A transformação no dbt é estruturada através de um projeto com códigos fonte em SQL, Yaml e Python. • A tabelas que foram carregadas no processo de Extract & Load são definidas como sources. • A sources começam a ser expostas em modelos, escritos como selects em SQL • Com esses modelos podemos começar a estruturar as regras de negócios da transformação e alterá-las facilmente se necessário 19 Como a transformação é feita?
20. • O código do seu projeto dbt pode ser armazenado em um repositório como o Github 20 Melhores práticas de Engenharia de Software
21. • O código do seu projeto dbt pode ser armazenado em um repositório como o Github • O projeto pode ser testado para garantir que seus dados sejam implantados em produção com segurança 21 Melhores práticas de Engenharia de Software
22. ELT executado via dbt 22
23. Video: VS Code extension na prática 23
24. Video: dbt Platform na prática 24
25. Para saber mais 25 • Visual Studio Code extension: https://marketplace.visualstudio.com/items?ite mName=dbtLabsInc.dbt • dbt Core: https://github.com/dbt-labs/dbt-core • dbt Fusion: https://github.com/dbt-labs/dbt-fusion • Documentação: https://docs.getdbt.com/
26. Obrigado! getdbt.com @danielbdias
27. Workshop workshops.us1.dbt.com/workshop Data Science Summit 2025 Senha: DataScienceSummit2025