GDG DataFest 2018

Palestra do GDG DataFest 2018 sobre dados, processamento e arquiteturas orientadas a dados na nuvem. Apresentado por Flávio Pimenta na comunidade Google Developer Group.

Transcript

1. Aguentando uma enxurrada de requisições com API Gateway + Lambda + Kinesis Flávio Pimenta Arquiteto Cloud na Assertiva
2. Minha jornada
3. Java Linux banco de dados infra devops
4. Problema: atender todo mundo !!
5. Arquitetura anterior
6. Problemas 01 Autoscaling alguns picos durante o dia 02 Banco de dados sobrecarga e lentidão 03 Perda de dados erros 50x (500, 502,504) 04 Custo min 5 e máx de 20 EC2
7. Ideias para nova solução 01 Autoscaling serverless 02 Banco de dados "gravar devagar" 03 Perda de dados "represar" em uma fila Custo usar mais serviços sob demanda em vez de EC2 04
8. Nova solução
9. API Gateway Monitoramento Performance Cache Rate limit (req/s)
10. Lambda Escalabilidade Performance Python (cold start) Custo por requisição
11. Kinesis Stream de dados Escala com shards Alta Performance (~1000 rps/shard) Baixo custo
12. Worker Java como task no ECS Consome Kinesis Grava em lote no DB Migrado para docker Deploy 1 task no ECS
13. Nova solução
14. Validando performance Ferramenta para testes de performance: • https://github.com/locustio/locust • Utiliza Python ! • Escalável
15. Escrevendo o teste
16. Execução do locust locust -f locustfile.py --host=endpoint-aplicacao http://localhost:8089
18. Uso atual - monitoramento API Gateway
19. Uso atual - 1 dia, acumulado por hora
21. Flávio Pimenta flaviopimenta@gmail.com github.com/flap