Innovación en la Escala de AWS

En esta sesión presentaremos una mirada atrás de bambalinas de las innovaciones que hacen única la nube de AWS. Mostraremos ejemplos de innovación en las redes basadas en la interregionalidad de AWS, pasando a lo largo de los routers y pilas de red personalizada, llegando en servidores individuales. Mostraremos a partir de ejemplos y características de hardware, almacenamiento y energía hasta la parte superior de la pila, el streaming y el procesamiento de datos a gran escala. También profundizaremos las innovaciones en las bases de datos donde AWS está redefiniendo los límites de la escalabilidad y el rendimiento, reduciendo los costos y la eliminación de gran parte de las tareas administrativas. Únete a esta sesión y sal con una comprensión más profunda de las innovaciones detrás de la nube.

Transcript

1. Innovación en la Escala de AWS Julio M. Faerman @jmfaerman
2. Más rápido y más rápido! •  Transformaciones de Escala –  Sólo con claros beneficios económicos –  Mainframes vs. UNIX Super Servers –  UNIX Super Servers vs. x86 Servers •  Está sucediendo de nuevo –  Data centers, para a nuvem –  Transiciones anteriores tomaron décadas –  La diferencia está en el ritmo de la innovación! •  Mayores beneficios mueven cambios más rápidos
3. Crecimiento de AWS
4. Todos los días , AWS añade la capacidad suficiente para cumplir con el equivalente de Amazon.com cuando era una empresa de facturación de $ 7 mil millones
5. Costos y complexidad de red •  El costo relativo de las redes es cada vez mayor –  Precio servidores y almacenamiento de caer –  Los costos de red tienden a dominar •  Menos innovación Redes –  Costos integrados –  Margens pequeñas •  Soluções da AWS: –  Reds personalizadas (H&S&P) –  Links privados gerenciados 57%   8%   18%   13%   4%   Servers   Networking   Equipment   Power  Distribu>on   &  Cooling   Power   Other   Infrastructure   Costos  de  3yr  server  &  10  yr  infrastructure  amor6za6on  
6. AWS Worldwide Network Backbone
7. Exemplo de Região AWS AZ AZ AZ AZ AZ Transit Transit Latency across AZs << 2ms 25Tbps peak inter-AZs traffic
8. ¿Por AWS ofrece AZS? •  La replicación síncrona o asíncrona? •  Dilema en caso de fallo: –  Failover y perda de transaciones –  No failover y perda de disponibilidad •  Utilice las zonas de disponibilidad –  Latency << 2ms –  Replicación Syncrona! 74ms
9. Ejemplo de Zona Disponilidade AZ AZ AZ AZ AZ Transit Transit
10. Ejemplo de Centro de Datos AWS
11. Rack, Server & NIC
12. Redes de latencia y variabilidad
13. Proyectos personalizados de Almacenamiento y Servidores •  Servidores OEM –  Diseño general para una variedad de propósitos –  Red de distribución en todo el mundo –  “Sin ahorro” •  Servidores de AWS –  Servidores optimizados para fines específicos –  Las implementaciones de hardware básico común –  Procesadores Intel personalizados –  DC , servidores , redes, almacenamiento diseñados con especificaciones integrados
14. La diferencia en las bases de datos •  Dificil de manejar y escalar •  Imposible de reemplazar •  " NoSQL " mejor escala y alivia algunas dificultades –  MongoDB, Neo4J, Cassandra, … •  Nube NoSQL escala ilimitada y no requiere la administración –  e.g., Amazon DynamoDB
15. Amazon DynamoDB •  NoSQL otimizado para latência e escala •  Crescimiento de 3x en ultimo año –  Respuesta en uno dígito de ms –  Latencia baja y constante •  Features –  JSON –  400KB items –  GSI –  Streams –  Lambdas –  Replication
16. Administración de Bases de Datos •  Fácil de usar, difícil de manejar •  RDBMS son el núcleo de muchas aplicaciones •  Asimismo, la mayor fuente de fracaso, dolores de cabeza y pérdida •  RDS ayuda la administración –  Instalación, configuración , seguridad, copias de seguridad , redundancia , réplicas ... –  Amazon RDS MySQL, Oracle, SQL Server, & PostgreSQL •  No resuelve las limitaciones de DBMS
17. 26% 40% 25% 30% 35% 40% Multi-AZ RDS % of all RDS RDS Multi-AZ Secondary Secondary Secondary DB Synchronous Replication Primary DB AZ1 AZ2 Application
18. Amazon Aurora •  Storage Engine Personalizado –  Features “Enterprise” –  Precios “Cloud” –  Compatible con MySQL 5.6 •  Tres AZS sin interrupciones en caso de fallo de un DC •  Incluso la pérdida hipotética de dos AZs no causan pérdidas •  Replicación Síncrona SQL Txns Caching Store Store Store Store AZ 1 AZ 2 Store Store AZ 3
19. •  MySQL actual con el nuevo gestor de almacenamiento –  3x write performance (sysbench) –  5x read performance •  Soporta hasta 16 réplicas (RDS mySQL: 5) •  400x minos lag (2,000ms vs 5ms) •  Tablas hasta 64TB (RDS/MySQL: 3TB) •  Failover instantáneo (no database crash recovery time) •  Recuperación automática en caso de fallo •  Sin impacto operativo Amazon Aurora Performance
20. Amazon Redshift Parallel SQL Data Warehouse •  Hasta 128 servidores en paralelo •  Columnar DW / OLAP •  Costo disruptiva : $ 1.000 / TB / Año •  Aprovisionamiento, cambiar el tamaño y otras tareas automatizadas •  Escala masiva: –  DW1: HDD; scale from 2TB to 2PB –  DW2: SSD; scale from 160GB to 326TB Full 10Gbps Links Ingestion, Backup, & Restore SQL Clients/BI Tools 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores S3 / EMR / DynamoDB / SSH Customer VPC Internal VPC JDBC/ODBC Leader Node Compute Node Compute Node Compute Node
21. Amazon EBS •  Provisioned IOPS (SSD) –  Max volume to 16TB (From:1TB) –  Max I/O rate to 20,000 IOPS (From:4k IOPS) –  Max throughput to 320MB/s (From:180MB/s) •  General Purpose (SSD) –  Max volume size to 16TB (From:1TB) –  Max I/O rate to 10,000 IOPS (From:3k IOPS) –  Max throughput to 160MB/s (From:128 MB/s) EBS
22. Desafios Internos Medições da AWS •  Milões docenas de registros / s •  TB / hora •  100,000 de fuentes internas •  Escalable y de bajo costo , auditable , con alertas en tiempo real Amazon Kinesis: •  Los productores llaman put() •  Número de Secuencia volvió •  Datos distribuidos entre shards •  Escalable por shard: 1 MB / s y 1.000 TPS
23. Infraestructura Energética •  Algunos centros de datos con su propia subestación •  Acuerdos de intercambio de energía •  Firmware aparamenta personalizada •  3 piezas 100 % de carbono neutrales: –  US West (Oregon) –  AWS GovCloud (US) –  EU (Frankfurt)
24. 2011 82 159 2012 280 2013 516 2014 Ritmo Innovación en AWS 2015 +234* * As of April 30, 2015
29. Random Forest 1.50 Kaggle Top 0.38 Amazon Machine Learning 0.63
31. ¡Gracias! ¿Preguntas? Julio M. Faerman @jmfaerman