Frete vs Black Friday, TDC São Paulo 2020

A Black Friday estava chegando, e sabíamos que a nossa API de frete não ia dar conta dos milhões de acessos que receberia. Decidimos refazê-la do zero usando Go e serverless. Foi um sucesso. Nessa palestra eu apresentarei a arquitetura para cálculo de frete que construímos no Olist.

O Olist é uma empresa que permite que logistas e marcas vendam seus produtos nos grandes e-commerces brasileiros, e possui uma arquitetura robusta com mais de uma centena de microserviços.

Transcript

1. Frete vs Black Friday Jéssica Bonson Principal Engineer no Olist TDC São Paulo 2020, Trilha Go
2. Jéssica Pauli de C Bonson • +-8 anos de exp em pesquisa/desenvolvimento • graduação/mestrado em Ciências da Computação • foco em dev backend, machine learning e big data Jogar RPG Praticar Canto Ler Lovecraft Hobbies:
3. Maior loja nos principais marketplaces do Brasil. Arquitetura em microsserviços e serverless. Python. Go. PostgreSQL. AWS. Heroku. 20+ APIs 120+ serviços 3m+ produtos 30k+ logistas 10m+ anúncios 200k+ pedidos por mês
4. Cálculo de Frete
7. Desafios • Prazo e preço competitivos • Prazo e preço corretos • Tempo de resposta rápido • Quantidade de requisições • Quantidade de rotas
8. API de Frete
9. Techstack • Python • DRF (Django Rest Framework) • Heroku
10. Problemas • Tempo médio de resposta da API: ~200ms • Cálculo baseado nos Correios • Performance de entrega: ~78% • Mais de 40 milhões de rotas
11. Desafios de Frete na Black Friday
12. Desafios • Prazo e preço competitivos • Prazo e preço corretos • Tempo de resposta rápido • Quantidade de requisições • Quantidade de rotas
13. Desafios na Black Friday • Prazo e preço competitivos • Prazo e preço corretos • Tempo de resposta rápido • Quantidade de requisições • Quantidade de rotas
14. Desafios na Black Friday • Prazo e preço competitivos • Prazo e preço corretos • Tempo de resposta rápido: < 100ms • Quantidade de requisições: 10~15x maior • Quantidade de rotas
15. Desafios na Black Friday • Prazo e preço competitivos • Prazo e preço corretos • Tempo de resposta rápido: < 100ms • Quantidade de requisições: 10~15x maior • Quantidade de rotas Sendo que… ...dia normal ...só B2W ~60k RPM
16. Nova API de Frete!
17. Nova Techstack • Golang • Serverless • AWS ◦ Lambda ◦ API Gateway ◦ RDS
19. Por que serverless?
20. Por que serverless? Escalabilidade Gerenciamento & Disponibilidade AWS Lambda + API Gateway
21. Por que serverless? Escalabilidade Gerenciamento & Disponibilidade AWS Lambda + API Gateway AWS Serverless Application Model (SAM)
22. Lambda + Go
23. template.yaml
24. api.yaml
25. helloworld/main.go
26. helloworld/utils.go
27. helloworld/handler.go
28. Organização de Código • Package ◦ Regras de negócio ◦ Model / Repository / Service • API ◦ Enxuta ◦ Trata o evento e repassa para o recurso no package ◦ Sem regras de negócio ◦ Cria a conexão com o BD e repassa para o package ◦ Validações
29. Resultado Final
30. Resultado Final Tempo médio de resposta: ~45ms
31. Resultado Final Tempo médio de resposta: ~45ms Obs.: Sem goroutines, ainda dá para melhorar!
32. Valeu! @jpbonson
33. Referências https://docs.aws.amazon.com/lambda/latest/dg/lambda-golang.html https://docs.aws.amazon.com/lambda/latest/dg/golang-handler.html https://docs.aws.amazon.com/lambda/latest/dg/services-apigateway-template.html https://docs.aws.amazon.com/apigateway/latest/developerguide/set-up-lambda-pro xy-integrations.html#api-gateway-simple-proxy-for-lambda-input-format https://github.com/awslabs/serverless-application-model/blob/master/HOWTO.md https://medium.com/@eminetto/clean-architecture-using-golang-b63587aa5e3f https://runbook.cloud/blog/posts/how-we-massively-reduced-our-aws-lambda-bill-wi th-go/