PyNordeste - Teste em aplicações de processamento de dados

Transcript

1. TESTES EM APLICAÇÕES DE PROCESSAMENTO DE DADOS Por Mayara Machado
2. SOBRE MIM Bacharel pela Universidade Federal de Sergipe Formada em Sistemas de Informação Engenheira de Dados no Mercado Livre Faço parte da PyLadies Sergipe Dançar é minha paixão Amo pizza
3. O QUE FALAREMOS O que são aplicações de Processamento de Dados? Por que adotar testes em aplicações de dados? Alguns tipos de testes Como aplicar em projetos de dados? Minha aplicação já tem testes e agora?
4. O QUE SÃO APLICAÇÕES DE PROCESSAMENTO DE DADOS? Programas, processos, atividades que realizam transformações em dados. Fazem uso de softwares.
5. Testes garantem que nosso código está executando como esperado. Garantir que as transformações estão sendo feitas de forma como esperada. Escrever testes nos ajudam a estruturar melhor nossas aplicações. Permite evoluir o código, fazendo alterações e melhorias no modo de processar um dado, e garantir a saída esperada. Reduz o Technical Debt e o entendimento de pipelines de processamento de dados anteriores. POR QUE DEVEMOS ADOTAR TESTES EM APLICAÇÕES DE DADOS
6. TIPOS DE TESTES Testes unitários Testes de integração Testes Ponta a Ponta Teste de desempenho
7. NOSSO CASO DE USO DE EXEMPLO Imaginando uma aplicação que define pipelines de forma módular, onde são definidos conectores como Source e SInk. Nossa aplicação descreverá uma pipeline que consome um tópico Kafka como Source, executa etapas de transformação utilizando PySpark, e imprime o seu output no console.
8. O QUE USAREMOS Kafka PySpark Pytest Pytest-coverage
9. CODE TIME
10. MINHA APLICAÇÃO JÁ TEM TESTES, E AGORA? Cuidado com o primo do Technical Debts, o Pipeline Debt. Além dos testes de software também podemos realizar os testes de dados. Ferramentas como Great Expectations possibilitam a garantia da qualidade dos dados que estão sendo processados.
11. CONTATOS in/mayaramachado may.mchdo@gmail.com @mchdax mayaramachado.dev OBRIGADA!