Protótipos na AWS: Uma solução ágil para análise e integração de dados, TDC Recife 2020

Precisávamos integrar os dados de uma empresa externa ao nosso sistema. Esses dados tinham o potencial de trazer diversos insights, mas não tínhamos certezas. Rapidez era essencial, pois tempo custava caro. Para resolver isso, seguimos um caminho inovador dentro do Olist, utilizando tecnologias serverless e de análise de dados da AWS para obter resultados rápidos e tomar decisões acertadas.

O Olist é uma empresa que permite que logistas e marcas vendam seus produtos nos grandes e-commerces brasileiros, e possui uma arquitetura robusta com mais de uma centena de microserviços.

Transcript

1. Protótipos na AWS Uma Solução Ágil para Análise e Integração de Dados Jéssica Bonson Principal Engineer no Olist TDC Recife 2020, Trilha Arquitetura
2. Jéssica Pauli de C Bonson • +-8 anos de exp em pesquisa/desenvolvimento • graduação/mestrado em Ciências da Computação • foco em dev backend, machine learning e big data Jogar RPG Livros Duolingo Hobbies:
3. Maior loja nos principais marketplaces do Brasil. Arquitetura em microsserviços e serverless. Python. Go. PostgreSQL. AWS. Kubernetes. 20+ APIs 120+ serviços 3m+ produtos 30k+ logistas 10m+ anúncios 200k+ pedidos por mês
4. Catálogo
6. Queríamos um catálogo mais inteligente…
7. Queríamos um catálogo mais inteligente… ...mas estávamos sem recursos para fazer isso internamente.
8. Solução: Consumir dados de um parceiro!
9. Solução: Consumir dados de um parceiro!
10. Quais dados?
11. Quais dados? Tipo do produto
12. Quais dados? Tipo do produto Ex.: Quantos livros temos no catálogo?
14. Desafios
15. Passos: 1. Integrar os dados do parceiro aos nossos 2. Permitir análises dos dados 3. Decidir se essa parceria vale a pena
16. Passos: 1. Integrar os dados do parceiro aos nossos 2. Permitir análises dos dados 3. Decidir se essa parceria vale a pena
17. Solução Tradicional
18. Arquitetura Tradicional
19. Problemas em um Cenário Incerto • Não é ágil ◦ PRs, testes, migrações… • Não é fácil de reverter • Só é possível analisar e validar os dados em ambiente de produção • Tomar decisões arquiteturais sem saber o resultado final
20. Solução com Protótipo
21. Arquitetura Dinâmica
22. Vantagens • A arquitetura é independente dos dados • Cerca de uma semana de trabalho • Não afeta nada em produção
23. Vantagens • A arquitetura é independente dos dados • Cerca de uma semana de trabalho • Não afeta nada em produção • E...
24. Solução Híbrida
25. Arquitetura Tradicional & Dinâmica
26. Detalhes AWS
27. AWS Lambda
28. AWS S3
29. AWS Glue
30. Amazon Athena
31. Resultados • Quantos livros? 118 mil, entre 2 milhões de produtos
32. Resultados • Quantos livros? 118 mil, entre 2 milhões de produtos • Tempo de execução da query: 5 mins
33. Resultados • Quantos livros? 118 mil, entre 2 milhões de produtos • Tempo de execução da query: 5 mins • Tempo de desenvolvimento do protótipo: 1 semana
34. Resultados • Quantos livros? 118 mil, entre 2 milhões de produtos • Tempo de execução da query: 5 mins • Tempo de desenvolvimento do protótipo: 1 semana • Arquitetura limpa e flexível
35. Melhorias • Performance ◦ Usar uma ferramenta de ingestão para agrupar os dados ◦ Usar o formato Parquet ao invés de JSON
36. Valeu! @jpbonson
37. Referências https://docs.aws.amazon.com/athena/latest/ug/glue-athena.html https://aws.amazon.com/athena/ https://aws.amazon.com/lambda/ https://aws.amazon.com/glue/ https://aws.amazon.com/s3/ https://www.newgenapps.com/blog/flume-vs-kafka-vs-kinesis-guide-hadoop-ingesti on-tools/