Sobrevivendo à enxurrada de requisições na nuvem — TDC Porto Alegre

Como arquitetar sistemas na nuvem para suportar picos e enxurradas de requisições: auto scaling, filas, cache, balanceamento e resiliência. Apresentado no TDC Porto Alegre (2019) por Flávio Pimenta.

Transcript

1. Cloud Aguentando uma enxurrada de requisições com API Gateway + lambda + Kinesis Flávio Pimenta Arquiteto de Soluções na Sensedia
2. Problema: atender todo mundo !!
3. Arquitetura na época
4. Problemas 01 Autoscaling alguns picos durante o dia 02 Banco de dados sobrecarga e lentidão 03 Perda de dados erros 50x (500, 502,504) 04 Custo min 5 e máx de 20 EC2
5. Ideias para nova solução 01 Autoscaling serverless 02 Banco de dados "gravar devagar" 03 Perda de dados "represar" Custo usar mais serviços sob demanda em vez de EC2 04
6. Nova solução
7. API Gateway Monitoramento Performance Rate limit (req/s)
8. Lambda Escalabilidade Performance Python (cold start) Custo por requisição
9. Queue vs Stream
10. Kinesis Stream de dados Escala com shards Alta Performance (~1000 rps/shard) Baixo custo
11. Worker Java como task no ECS Consome Kinesis Grava em lote no DB Migrado para docker Deploy 1 task no ECS
12. Nova solução
13. Ferramenta para testes de performance: • https://github.com/locustio/locust • Utiliza Python ! • Escalável
14. Escrita do teste
15. Execução locust -f locustfile.py --host=endpoint-aplicacao http://localhost:8089
17. Monitoramento API Gateway
18. Uso em 1 dia, acumulado por hora
19. Fonte de exemplos!! https://github.com/awslabs
20. Participe do AWS User Group Campinas!!
21. sensedia.com Flávio Pimenta flavio@pimenta.dev github.com/flap