$30 off During Our Annual Pro Sale. View Details »

Movendo 15 Tb de dados de um estado para outro

Movendo 15 Tb de dados de um estado para outro

Movemos 15 Tb de dados durante uma troca de datacenter do Rio Grande do Sul para São Paulo, 2 meses antes da Black Friday de 2021. Esta operação foi planejada com meses de antecedência, para que na hora da virada nada desse errado. De fato, a virada foi feita em apenas três horas, com apenas alguns momentos de downtime durante este período. Como planejamos e executamos esta tarefa? Como essa montanha de dados foi movimentada entre três dataceters? Como nossos servidores Postgres se comportaram na Black Friday seguinte?

Rodrigo de Avila

August 27, 2022
Tweet

More Decks by Rodrigo de Avila

Other Decks in Technology

Transcript

  1. Movendo 15 Tb de dados de um estado para outro

  2. Agenda • Como estava, e como deveria ficar? • Fase

    1: Planejamento • Fase 2: Movimentação de servidores e dados • Fase 3: Alteração de rotas • Fase 4: Troca de datacenter • Fase 5: Transporte dos demais servidores • Comportamento na Black Friday
  3. RODRIGO DE AVILA https://rda.run

  4. TL;DR

  5. TL;DR: replicações! Servidor primário, RS Servidor secundário, SP

  6. Como estava, e como deveria ficar?

  7. Como estava POA01 Dell PowerEdge R740xd 96 threads 512Gb RAM

    3Tb NVME 8 Tb SSD psql 9.6.23 POA01 psql prim psql sec
  8. SP02 SP01 SP01 10Gb SP02 Como deveria ficar

  9. Fase 1: Planejamento

  10. SP01 SP02 POA01 psql prim psql sec Planejamento

  11. SP01 SP02 POA01 psql prim psql sec Planejamento

  12. SP01 SP02 POA01 Novos secundários Planejamento

  13. Fase 2: Movimentação de servidores e dados

  14. Movimentação de dados SP01 SP02 POA01 Secundários transportados 1 Gb

  15. Movimentação de dados SP01 SP02 POA01 Secundários temporários em VM

    1 Gb 10 Gb
  16. Fase 3: Alteração de rotas

  17. Alteração de rotas SP01 SP02 POA01 1 Gb 10 Gb

    Rota original
  18. Alteração de rotas SP01 SP02 POA01 1 Gb 10 Gb

    Rota via SP
  19. Fase 4: Troca de datacenter

  20. Troca de datacenter SP01 SP02 POA01 1 Gb 10 Gb

    Bloqueio de acessos
  21. Troca de datacenter SP01 SP02 POA01 1 Gb 10 Gb

  22. Troca de datacenter SP01 SP02 POA01 1 Gb 10 Gb

  23. Troca de datacenter POA01 Configura PgBouncer e aplicações em SP

    SP01 10Gb SP02
  24. Troca de datacenter POA01 SP01 10Gb SP02 Liberação de acessos

  25. Fase 5: Transporte dos demais servidores

  26. Transporte de servidores POA01 SP01 10Gb SP02 Transporte de servidores

  27. Transporte de servidores POA01 SP01 10Gb SP02

  28. Transporte de servidores POA01 SP01 10Gb SP02 Troca de secundários

  29. Comportamento na Black Friday

  30. Comportamento na Black Friday Nosso termômetro de sucesso/fracasso do projeto

    seria a próxima Black Friday, em Novembro de 2021. 0 Incidentes Nenhum incidente registrado durante toda a semana da Black Friday 3x Tráfego Comparado com histórico anterior, nosso tráfego aumentou bastante. Este foi uma prova de fogo para a nova arquitetura ∞ Aprendizado Muitas situações novas, tempo para organizar a plataforma, mudar automações, ver novas possibilidades
  31. None
  32. Muito obrigado! Baixe esta apresentação em https://rda.run/pgconf.brasil-2022