¿Cómo manejar 100K conexiones simultáneas en AWS?

En esta presentación vamos a ver progresivamente como manejar hasta 100K cien mil conexiones simultáneas en una arquitectura serverless en AWS.

Miraremos una arquitectura básica
Los límites en cada servicio
Como hacer cargas masivas
Como visualizar y entender resultados
Soluciones propuestas a problemas de concurrencia
Y, la mejores prácticas.

Transcript

2. Serverless y … Escalando sin Límites ¿Como manejar 100K conexiones simultáneas en AWS? Fernando Paz fernandopaz.com
3. Fernando Paz@laptop ~ $ whoami_ • Software builder 15+ years of experience ◦ Developer, Cloud and On-premises Software Architect and PO. • Agile practitioner • Certs: ◦ AWS Solutions Architect Certified Professional, PostgreSQL DBA Certified and Scrum P,M,D Certified fernandopaz.com
4. ¿Cómo manejar 100K conexiones simultáneas en mi aplicación?
5. … depende • De tu arquitectura. • De tu carga de trabajo. • De tu presupuesto. • De tu política de tiempo de procesamiento del servidor. • … etc.
6. ¿Cómo manejar 100K conexiones simultáneas en mi Aplicación Web Serverless en AWS? …refinando la pregunta
7. Serverless es … Es un paradigma de Arquitectura de Software, que funciona en la nube, y que libera a los desarrolladores de la gestión de la infraestructura, permitiéndoles enfocarse en la lógica de negocio.
8. Serverless en AWS Cómputo Integración de Aplicaciones Almacenamiento de Datos
9. Aplicación Web Serverless
10. ¿Les gusta el fútbol?
11. Les presento a betOnAWS una Aplicación Web Serverless en AWS
12. escalemos betOnAWS de 10 a 1K conexiones simultáneas
13. … ok, pero ¿cómo hacemos eso? • Pruebas de carga al API Gateway https://gyvd9xt7b9.execute-api.us-east-1.amazonaws.com/test/stats?wi nner=playas método GET • 3 repeticiones de cada caso ◦ resultados más confiables • Ordenador exclusivo para pruebas ◦ conectadas con cable • Analizando resultados de JMeter • Analizando los datos de “Monitoreo” AWS ◦ en cada servicio Serverless
14. ¿Cómo se ve una corrida con JMeter?
15. Resultado betOnAWS de 10 a 1K conexiones simultáneas
16. escalemos betOnAWS a 10K conexiones simultáneas
17. Resultado betOnAWS: 10K conexiones simultáneas
18. Veamos que pasó en betOnAWS con 10K conexiones simultáneas https://docs.aws.amazon.com/lambda/latest/dg/API_Invoke.html#API_Invoke_Errors
19. Analizando betOnAWS con 10K conexiones simultáneas API Gateway
20. AWS Lambda Analizando betOnAWS con 10K conexiones simultáneas
21. In service-oriented architectures and distributed systems, limiting the rate at which API calls are processed by various service components is called throttling Some degree of throttling is not necessarily a problem for your application, but persistent throttling of a latency-sensitive part of your data workflow can negatively impact user experience and reduce the overall efficiency of the system. Amazon DynamoDB Analizando betOnAWS con 10K conexiones simultáneas
22. … ajustando para 10K Amazon DynamoDB
23. Resultado betOnAWS: 10K conexiones simultáneas
24. escalemos betOnAWS a 50K conexiones simultáneas
25. Resultado betOnAWS: 50K conexiones simultáneas
26. Analizando betOnAWS con 50K conexiones simultáneas
27. API Gateway Analizando betOnAWS con 50K conexiones simultáneas
28. AWS Lambda Analizando betOnAWS con 50K conexiones simultáneas
29. Amazon DynamoDB Analizando betOnAWS con 50K conexiones simultáneas
30. … ajustando para 50K Amazon DynamoDB
31. Veamos que pasó en betOnAWS con 50K conexiones simultáneas Amazon DynamoDB
32. Resultado betOnAWS: 50K conexiones simultáneas
33. …antes después… Analizando betOnAWS con 50K conexiones simultáneas
34. … ajustando para 50K Amazon DynamoDB
35. Resultado betOnAWS: 50K conexiones simultáneas
36. escalemos betOnAWS a 100K conexiones simultáneas
37. Resultado betOnAWS: 100K conexiones simultáneas
38. Analizando betOnAWS con 100K conexiones simultáneas
39. API Gateway Analizando betOnAWS con 100K conexiones simultáneas
40. AWS Lambda Analizando betOnAWS con 100K conexiones simultáneas
41. Amazon DynamoDB Analizando betOnAWS con 100K conexiones simultáneas
42. … ajustando para 100K Amazon DynamoDB
43. Resultado betOnAWS con 100K conexiones simultáneas
44. ¡Lo logramos! betOnAWS a 100K conexiones simultáneas
45. ¡Lo logramos! betOnAWS a 100K conexiones simultáneas ¿lo logramos…?
46. Ok, pero… ¿Qué pasa con el Método POST?
47. escalemos betOnAWS a 100K conexiones simultáneas Versión POST URL: https://gyvd9xt7b9.execute-api.us-east-1.amazonaws.com/test { "winner": "both", "mount": 1 }
48. Resultado betOnAWS con 100K conexiones simultáneas POST
49. Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST Amazon DynamoDB
50. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
51. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
52. Amazon DynamoDB No Auto Scale Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
53. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
54. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
55. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
56. Amazon DynamoDB Algoritmo backoff adicional Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
57. Ajustando WCU en betOnAWS Con 100K conexiones simultáneas POST Amazon DynamoDB { "winner": "both", "mount": 1 }
58. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
59. escalemos betOnAWS a 100K conexiones simultáneas Versión POST URL: https://gyvd9xt7b9.execute-api.us-east-1.amazonaws.com/test { "winner": "both", "mount": 1 } { "winner": "ballenita", "mount": 1 } { "winner": "playas", "mount": 1 }
60. Ajustando WCU en betOnAWS Con 100K conexiones simultáneas POST Amazon DynamoDB
61. Amazon DynamoDB Ajustando WCU en betOnAWS con 100K conexiones simultáneas POST
62. Resultado betOnAWS con 100K conexiones simultáneas POST
63. ¡Lo logramos! betOnAWS a 100K conexiones simultáneas ¡AHORA SI!
64. Diseccionar la aplicación Una aplicación que deba soportar es cantidad de conexiones simultáneas debe ser diseccionada. El diseño es clave El diseño de la aplicación va a ser clave para soportar la carga esperada. Conocer las tecnologías Conocer profundamente las tecnologías serverless es la diferencia de este caso de uso. Pensar en los costos El control de costos es esencial y es un tema ha hablar con los stakeholders. Medir, Aprender y Mejorar Es importante aprender a utilizar herramientas de monitoreo y logging para entender dónde está el problema y mejorarlo continuamente. Pensamientos finales
65. Feedback por favor Preguntas y Respuestas https://fernandopaz.com https://forms.gle/YJ6XZ6vea8QphrFS8