TDC Floripa 2016 - Arquitetura

1. Escalando  para  os  primeiros   milhões  de  usuários Julio  M.  Faerman @jmfaerman TDC  Florianópolis 2016
2. Como  escalar do  usuário  1  ao  10M? OBS:  Sem  desperdícios!
3. Em  quanto  tempo?
4. ~3  Dias ~3500 instâncias ?
5. 1997 -­ Reed  Hastings  and  fellow  software  executive  Marc  Randolph  co-­found  Netflix  to  offer  online  movie   rentals.   1999 -­ Netflix  launches  the  subscription  service,  offering  unlimited  rentals  for  one  low  monthly  subscription.   2000 -­ Netflix  launches  the  personalized  movie  recommendation  system that  uses  Netflix  members’   ratings  to  accurately  predict  choices  for  all  Netflix  members.   2002 -­ Netflix  makes  its  initial  public  offering (IPO  on  Nasdaq  under  the  ticker  “NFLX”  with  600,000   members  in  the  US.)   2005 -­ The  number  of  Netflix  members  rises  to  4.2  million. 2007  -­ Netflix  introduces  streaming,  which  allows  members  to  instantly  watch  television  shows and  movies  on  their  personal  computers.   2008 -­ Netflix  partners  with  consumer  electronics  companies  to  stream  on  the  Xbox  360,  Blu-­ray  disc  players  and  TV set-­top  boxes.   2009 -­ Netflix  partners  with  consumer  electronics  companies  to  stream  on  the  PS3,  Internet  connected  TVs  and   other  Internet  connected  devices.   2010 -­ Netflix  is  available  on  the  Apple  iPad,  iPhone  and  iPod  Touch,  the  Nintendo  Wii,  and  other  Internet  connected devices.  Netflix  launches  its  service  in  Canada.   2011 -­ Netflix  launches  throughout   Latin  America and  the  Caribbean.   2012 -­ Netflix  became  available  in  Europe  including  the  United  Kingdom,  Ireland  and  in  the  Nordic  Countries.  Netflix wins  its  first  Primetime  Emmy  Engineering  Award.   2013 -­ Netflix  expanded  to  the  Netherlands.  Netflix  garners  31  primetime  Emmy  nominations  including  outstanding   drama  series,  comedy  series  and  documentary  or  nonfiction  special  for  “House  of  Cards”,  “Orange  is  the  new  black”, and  “The  Square”  respectively.  House  of  Cards  won  three  Primetime  Emmy  Awards.  Netflix  was  the  first  internet  TV network  nominated  for  the  primetime  Emmy.   2014  -­ In  2014  Netflix  launched  in  6  new  countries  in  Europe  (Austria,  Belgium,  France,  Germany,  Luxembourg  and   Switzerland).  Netflix  wins  7  creative  Emmy  Awards  for  House  of  Cards  and  Orange  is  the  New  Black.  Netflix  now   has  over   50  million  members  globally https://pr.netflix.com/WebClient/loginPageSalesNetWorksAction.do?contentGroupId=10477
6. A  escalabilidade  é  gerenciada   pela    AWS  ou  pelo  cliente?
8. A  escalabilidade  é  gerenciada  pela   AWS  ou  pelo  cliente? Global AWS Amazon  CloudFront,  Amazon   Route53, Amazon  IAM Region AWS Amazon  S3,  Amazon   DynamoDB,  Amazon  ELB* Availability   Zone Compartilhada Amazon  EC2,  Amazon   ElastiCache**,  Amazon  RDS***
9. Qual  é  o  mínimo?
10. Uma  primeira arquitetura… • Primeira Instância [t2.micro] – Aplicação Web – Banco de  Dados – Ferramentas Administrativas – … • Um  Elastic  IP • DNS  no  Amazon  Route  53 Amazon Route 53 Usuário == 1 Instance Elastic IP
11. Escalabilidade Vertical • Abordagem mais simples • Familias  de  Instâncias   – High  I/O   – High  Memory – High  CPU – High  storage – Cluster  Compute – Dense  Storage
12. Características da  Primeira Arquitetura • Até  centenas  de  usuários • Ponto  único de  falhas • Sem redundância ou alta disponibilidade • Concorrência,  Contenção e  Carga
14. Segunda  arquitetura,  User  >  10 Diferenças  de  Escalabilidade: • Banco  de  Dados  Relacional – Escalabilidade   Vertical • Aplicação – Escalabilidade   Horizontal Amazon Route 53 Usuário Web Elastic IP DB
15. É melhor começar com   SQL  ou NoSQL?
16. Prefira  começar  com  SQL!
17. Por que começar com  SQL? • Tecnologia estabelecida e  madura • Muito código,  comunidade,  livros,  ferramentas,... • Padrões  difundidos  de  escalabilidade Você provavelmente*  não vai “quebrar  o  banco” nos primeiros 10M  usuários.
19. http://yourdatafitsinram.com Instância vCPU RAM Storage Cost* t2.nano 5%+ 0.5 EBS $0.0065 t2.large 2*60%+ 8 EBS $0.104 m4.large 2 6.5 EBS $0.12 m4.4xlarge 16 64 EBS $0.958 c4.4xlarge 16 30 EBS $0.958 m4.10xlarge 40 160 EBS $2.394 g2.8xlarge 32+GPU 60 240 SSD $2.60 r3.8xlarge 32 244 640G SSD $2.66 d2.4xlarge 16 122 24T  HDD $2.76 d2.8xlarge 36 116 48T HDD $5.52 i2.8xlarge 32 244 6.4T SSD $6.82 x1.??? 100+ 2TB ??? ???
20. O  que  precisaria  começar  com  NoSQL? • Dados  não  relacionais  (grafos,  documentos,…) • Baixa*  latência (<10ms) • Requer  (!=  deseja)  banco  de  dados  sem   schema • Grande*  (>  10s  TBs)  volume  de  dados • Ingestão de  eventos complexos em tempo  real
21. Terceira  Arquitetura,  User  >100 Simplifique  a  administração  do   banco  de  dados  com  o  Amazon   Relational  Database  Service • MySQL • PostgresSQL • Oracle • MS  SQL • Amazon  Aurora Amazon Route 53 Usuário Web Elastic IP Amazon RDS
22. Quarta Arquitetura,  User  >  1000 Alta  Disponibilidade • Elastic  Load  Balancer • Instância Web   Redundante – Em outra Availability   Zone • RDS  Multi-­AZ sa-east-1a sa-east-1b Elastic Load Balancing Usuário s Web Web RDS DB Mestre RDS DB Secundário
23. Esta arquitetura pode suportar até 10K-­100K   usuários sa-east-1a sa-east-1b Elastic Load Balancing Usuário s Web Web RDS DB Mestre RDS DB Secundário
24. 5a Arquitetura:  Lendo de  Réplicas sa-east-1a sa-east-1b Elastic Load Balancing Usuários Web Web Web Web RDS DB Mestre RDS DB Secundário RDS DB Replica RDS DB Replica Web Web Web Web RDS DB Replica RDS DB Replica INSERT SELECT SYNC ASYNC
25. Disponibilidade e   Tolerância a  Falhas Eficiência e  Desempenho
26. Aliviar a  carga do  servidor de  aplicações e  de  banco de  dados: a. Armazenar o  conteúdo estático no  Amazon  S3 b. Mover  as  sessões HTTP  no  Amazon  ElastiCache ou Amazon  DynamoDB c. Distribuir o  conteúdo estático e  dinâmico pelo Amazon  CloudFront Sexta Arquitetura:  
27. 6a.  Conteúdo Estático no  S3 Instâncias RDS DB Mestre Elastic Load Balancing superapp.js player34/avatar.jpg api/leaderboard
28. Conteúdo Estático no  S3 Instâncias RDS DB Mestre Elastic Load Balancing superapp.js player34/avatar.jpg api/leaderboard App Cliente html/js/css Dados de Usuários
29. http://improve.dk/pushing-­the-­limits-­of-­amazon-­s3-­upload-­performance/
30. Amazon  ElastiCache • Memcached e  Redis como serviço • Auto-­recuperação (Self-­healing) • Baixíssima latência • Caches  locais com  Memcached • Caches  replicados e  persistentes com  Redis • O  AWS  Auto  Discovery  client    simplifica o   redimensionamento do  cluster  sem impacto para a  aplicação
31. 6b.  Cache  em Memória Instâncias RDS DB Mestre Elastic Load Balancing App Cliente html/js/css Dados de Usuários ElastiCache * HTTP Sessions * SELECT name FROM Planet
32. Amazon  DynamoDB • Serviço de  Banco de  Dados  NoSQL • Gerenciado pela AWS • Vazão provisionada • Latência baixa (~<  9ms)  e  previsível • Tolerante à falhas • Documentos em JSON • Items  de  até 400KB
33. Cache  em Memória Instâncias RDS DB Mestre Elastic Load Balancing App Cliente html/js/css Dados de Usuários ElastiCache DynamoDB * HTTP Sessions • Votes, Activities, … • CQRS
34. Distribuição  de  Conteúdo ?????
35. Menor latência  E menor custo! Usuário
36. Distribuição de  Conteúdo • Cache  “na borda”  para entrega rápida • Reduz carga na origem • Streaming  de  video • Custo mais baixo para tráfego interno • Otimizações para Amazon  EC2,  Amazon  S3,  ELB  e  Amazon  Route  53
37. Sexta Arquitetura: Instâncias RDS DB Mestre ELB App Cliente html/js/css Dados de Usuários ElastiCache DynamoDB CloudFront
38. E  o  Auto  Scaling?!?
39. Domingo Segunda Terça Quarta Quinta Sexta Sábado Semana Típica no  Amazon.com
40. Domingo Segunda Terça Quarta Quinta Sexta Sábado Semana Típica no  Amazon.com Capacidade Provisionada?
41. Novembro Novembro no  Amazon.com
42. Capacidade? Novembro Novembro no  Amazon.com
43. Novembro no  Amazon.com 76% 24% Capacidade Provisionada Novembro
44. Novembro no  Amazon.com Novembro
45. Sétima Arquitetura: Região Zona de Disponibilidade Zona de Disponibilidade DNS HTTP STATIC DYNAMIC SQL NoSQL CACHE ALARM
46. Lambda Backend SNS Cognito Kinesis Dynamo S3 Mobile   SDK API  Gateway
47. Arquitetura[s]  Serverless Região STATIC Lambda Function API  Gateway DynamoDB Table S3 Bucket CloudFront Distribution Route53 Hosted  Zone DYNAMIC
48. Automatize  TUDO! • Implantação de  novos ambientes • Lançamentos • Testes  A/B • Implantação Blue/Green • Rollback  de  versões • Gerenciamento de  contas AWS • Automação de  configuração • Análise de  logs
50. Serviços de  Gerenciamento de  Aplicações Alto  Nível de  Abstração Faça Você Mesmo AWS Elastic  Beanstalk AWS OpsWorks AWS CloudFormation Amazon  EC2
52. User  >500k+ • Assegure monitoramento, metricas e  logging • Avalie  qualitativamente  a  experiência  do  usuário • Entenda as  características de  desempenho de   cada componente
53. Métricas do Host Métricas Agregadas Análise de Log Percepção de   Desempenho
54. Decomposição e   Desacoplamento
55. http://martinfowler.com/articles/microservices.html
56. http://techblog.netflix.com/2013/01/announcing-­ribbon-­tying-­netflix-­mid.html
57. Redução de  acoplamento • Componentes Independentes • Projete como “caixas pretas” • Interações desacopladas • Favoreça serviços gerenciados Serviço A Serviço B Serviço A Serviço B RPC Filas
58. Serviços para Aplicações • Email • Queuing • Transcoding • Search • Databases • Monitoring • Metrics • Logging Amazon   CloudSearch Amazon  SQS Amazon  SNS Amazon   Elastic   Transcoder Amazon  SWF Amazon  SES Serviços gerenciados para funcionalidades comums:
59. User  >1mil+ • Multi-­AZ++ • Elastic  Load  Balancer  entre  camadas • Auto  Scaling  com  diversos grupos e  alarmes • Service  Oriented  Architecture  e  Microservices • Distribuição eficiente de  conteúdo • Cache  de  consultas frequentes
60. Oitava??? RDS  DB  Instance Active  (Multi-­AZ) Availability  Zone Elastic  Load Balancer RDS  DB  Instance   Read  Replica RDS  DB  Instance   Read  Replica Web   Instance Web   Instance Web   Instance Web   Instance Amazon   Route  53 User Amazon  S3 Amazon   Cloudfront DynamoDB Amazon  SQS ElastiCache Worker Instance Worker Instance Amazon   CloudWatch Internal  App Instance Internal  App Instance Amazon  SES
61. Etapas Seguintes
62. 5M  >  User  <  10M Contenção  de  escrita  em   bancos  de  dados  relacionais • Federation  ~  separar  os  bancos  por  função • Sharding ~  separar os bancos por nós • Bancos  de  Dados  Não  Relacionais (Grafos,  Documentos,  Chave-­Valor,  …)
63. Federação de  Dados • Separação por função • Dificulta consultas entre   funções • Posterga a  necessidade de   sharding ou NoSQL • Não resolve  problemas de   volume ForumsDB UsersDB ProductsDB
64. Shards  Horizontais • Mais complexidade para a   aplicação • ORM  pode ajudar • Sem limites para escalabilidade • Operação complexa • Separação por função ou chave • SGBDR  ou NoSQL User ShardID 002345 A 002346 B 002347 C 002348 B 002349 A Shard  C Shard  B Shard  A
65. Adotando NoSQL • Escalabilidade e/ou Abstração • Avaliação Quantitativa • Serviços Gerenciados (DynamoDB) • Casos de  uso: – Rankings,  Leaderboards  e  Dashboards – Ingestão de  dados  em tempo  real – Dados  temporários – Tabelas problemáticas – Tabelas de  metadados
66. Revisão
67. Revisão Rápida • Redundância  Multi-­AZ,  em  todas  camadas • Serviços Gerenciados -­ ELB,  Amazon  S3,  Amazon   SNS,  Amazon  SQS,  Amazon  SWF,  Amazon  SES  e  outros. • Prefira  começar  com  SQL • Otimize caches  dentro e  fora de  sua infraestrutura • Automatize  Tudo
68. Revisão Rápida • Mantenha boas  métricas,  monitoramento e  logs • Decomponha camadas em serviços menores • Use  AutoScaling quando for  adequado • Aproveite os serviços gerenciados • Adote NoSQL  se  e  quando for  necessário • Reinvente seu negócio,  não a  roda
71. Obrigado!  Preguntas? Julio  M.  Faerman @jmfaerman