Inovação na Escala da AWS

Transcript

1. São Paulo
2. Inovação em Escala na Amazon Web Services Julio M. Faerman @jmfaerman
3. Cada vez mais rápido! •  Transformações em escala –  Apenas com claros benefícios econômicos –  Mainframes vs. UNIX Super Servers –  UNIX Super Servers vs. x86 Servers •  Está acontecendo novamente –  Data centers, para a nuvem, para a nuvem* –  Transições anteriores levaram décadas –  A diferença está no ritmo de inovação! •  Maiores benefícios movem transformações mais rápidas
4. Crescimento da AWS
5. Escala em Perspectiva Todo dia, a AWS adiciona capacidade suficiente para atender o equivalente à Amazon.com quando já era uma empresa de faturamento de $7 Bilhões
6. Tire as redes do caminho •  O custo relativo de redes está aumentando –  Preço de servidores e storage caindo –  Custos de redes tendem a dominar •  Menos inovação em Networking –  Custos verticais integrados –  Margens indefensáveis •  Soluções da AWS: –  Redes personalizadas (H&S&P) –  Links privados gerenciados 57%   8%   18%   13%   4%   Servers   Networking   Equipment   Power  Distribu>on   &  Cooling   Power   Other   Infrastructure   Custos  Típicos   3yr  server  &  10  yr  infrastructure  amor4za4on  
7. AWS Worldwide Network Backbone
8. Exemplo de Região AWS AZ AZ AZ AZ AZ Transit Transit Latência entre AZs << 2ms 25Tbps peak inter-AZs traffic
9. Por quê a AWS oferece AZs? •  Replicação Síncrona ou Assíncrona? •  Escritas em SSD levam ~ 1 a 2ms •  LA pra New York = 74ms •  Dilema em caso de falhas: •  Failover e perda de transações •  Não failover e perda de disponibilidade •  Use as AZs! •  <2ms permite replicação síncrona •  Pode ser combinado com replicação regional assíncrona 74ms
10. Exemplo de Zona de Disponilidade AZ AZ AZ AZ AZ Transit Transit
11. Exemplo de AWS Data Center
12. Rack, Server & NIC
13. Latência e Variabilidade em Redes
14. Projetos de Storage e Servidores Personalizados •  Servidores OEM –  Projeto geral para uma propósitos diversos –  Rede mundial de distribuição –  “Não econômicos” •  Servidores AWS –  Servidores otimizados para fins específicos –  Implementações em hardware de núcleos comuns –  Processadores Intel com desempenho exclusivo –  DCs, servers, networking, storage projetados sob especificações integradas
15. A diferença em bancos de dados •  Tradicionalmente dominado pelos “Big 3” –  Oracle, SQL Server, & DB2 •  Difíceis de administrar e escalar •  Impossíveis de substituir •  “NoSQL” escala melhor e alivia algumas dificuldades –  MongoDB, Neo4J, Cassandra, … •  Cloud NoSQL escala ilimitadamente e não exige administração –  e.g., Amazon DynamoDB
16. Amazon DynamoDB •  NoSQL otimizado para latência e escala •  3x requisições no último ano –  Resposta em um dígito de ms –  Latência baixa e constante –  4x storage no mesmo período •  Funcionalidades principais –  Suporte a JSON –  Itens de 400KB –  Índices Secundários Globais –  Fluxos –  Replicação entre regiões
17. Administração de Bancos Relacionais •  Fáceis de usar, difíceis de administrar •  SGBDRs são o núcleo de muitas aplicações •  Também a maior fonte de falhas, dores de cabeça e perdas •  RDS MySQL alivia a administração –  Instalação, Configuração, Segurança, Backups, Redundância, Réplicas… –  Amazon RDS MySQL, Oracle, SQL Server, & PostgreSQL •  Não resolve as limitações dos SGBDs
18. 26% 40% 25% 30% 35% 40% Multi-AZ RDS % of all RDS RDS Multi-AZ Second ary Second ary Secondary DB Synchronous Replication Primary DB AZ1 AZ2 Application •  Dificilmente se atinge mais de 3 noves em um único data center –  Replicação Síncrona Multi-AZ •  Não é novidade –  EMC SRDF/S & Oracle Fast Start Failover –  Custo de versões “enterprise” •  RDS MySQL Multi-AZ –  Mais “noves” e horas de sono!
19. Amazon Aurora •  Storage Engine Personalizado –  Funcionalidades “Enterprise” –  Preços “Cloud” –  Compatível com MySQL 5.6 –  Storage Desacoplado •  Três AZs sem pausas em casos de falha de um DC •  Mesmo a perda hipotética de dois DCs não causa perdas –  Replicação Síncrona SQL Txns Caching Store Store Store Store AZ 1 AZ 2 Store Store AZ 3
20. •  MySQL atual com novo gerenciador de storage –  3x write performance (sysbench) –  5x read performance •  Suporta até 16 read replicas (RDS mySQL: 5) •  400x menos lag (2,000ms vs 5ms) •  Tabelas de até 64TB (RDS/MySQL: 3TB) •  Failover instantâneo (no database crash recovery time) •  Recuperação automática em caso de falhas –  Sem impacto operacional Amazon Aurora Performance
21. Amazon Redshift Parallel SQL Data Warehouse •  Até 128 servidores em paralelo –  DW Colunar / OLAP •  Custo disruptivo: $1,000/TB/Year –  Serviço de maior crescimento –  1000s de clientes –  Clientes de muitos PB em produção •  Provisionamento, Redimensionamento e demais tarefas automatizadas •  Escala Massiva: –  DW1: HDD; scale from 2TB to 2PB –  DW2: SSD; scale from 160GB to 326TB Full 10Gbps Links Ingestion, Backup, & Restore SQL Clients/BI Tools 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores S3 / EMR / DynamoDB / SSH Customer VPC Internal VPC JDBC/ODBC Leader Node Compute Node Compute Node Compute Node
22. Amazon EBS a 20,000 IOPS •  Provisioned IOPS (SSD) –  Max volume to 16TB (From:1TB) –  Max I/O rate to 20,000 IOPS (From:4k IOPS) –  Max throughput to 320MB/s (From:180MB/s) •  General Purpose (SSD) –  Max volume size to 16TB (From:1TB) –  Max I/O rate to 10,000 IOPS (From:3k IOPS) –  Max throughput to 160MB/s (From:128 MB/s) EBS
23. Desafios Internos Medições da AWS •  Dezenas de milões de registros/s •  TBs/hora •  100,000s de fontes internas •  Escalável, baixo custo, auditável, com alertas em tempo real Amazon Kinesis: •  Produtores chamam put() •  Número sequencial retornado •  Dados distribuídos entre shards •  Escalável por shard: 1 MB/s & 1000 TPS
24. Infraestrutura de Energia •  Alguns datacenters com subestações próprias –  Menor custo e construção mais rápida •  Acordos de intercâmbio de energia •  Firmware switchgear personalizado •  3 regiões 100% neutras em carbono: –  US West (Oregon) –  AWS GovCloud (US) –  EU (Frankfurt)
25. 2011 82 159 2012 280 2013 516 2014 Ritmo de inovação na AWS AWS anunciou 1,407 novas funcionalidades ou seviços desde 2006 2015 +234* * As of April 30, 2015
30. Random Forest 1.50 Kaggle Top 0.38 Amazon Machine Learning 0.63
31. Por onde começar? Comunidade no Brasil http://www.awshub.com.br Laboratórios Gratuitos http://aws.amazon.com/training/intro_series/ Nível de Uso Gratuito http://aws.amazon.com/free/ Treinamentos Presenciais http://aws.amazon.com/training/ Canal do YouTube https://www.youtube.com/user/AmazonWebServices
32. E depois? Documentações dos Serviços http://aws.amazon.com/documentation Guias de Soluções http://aws.amazon.com/whitepapers Centrais de Arquitetura http://aws.amazon.com/architecture Programa de Startups http://aws.amazon.com/start-ups
33. MK33BR2015
34. Obrigado! Perguntas? Julio M. Faerman @jmfaerman