Movendo 15 Tb de dados de um estado para outro

Movemos 15 Tb de dados durante uma troca de datacenter do Rio Grande do Sul para São Paulo, 2 meses antes da Black Friday de 2021. Esta operação foi planejada com meses de antecedência, para que na hora da virada nada desse errado. De fato, a virada foi feita em apenas três horas, com apenas alguns momentos de downtime durante este período. Como planejamos e executamos esta tarefa? Como essa montanha de dados foi movimentada entre três dataceters? Como nossos servidores Postgres se comportaram na Black Friday seguinte?

Transcript

1. Movendo 15 Tb de dados de um estado para outro
2. Agenda • Como estava, e como deveria ficar? • Fase 1: Planejamento • Fase 2: Movimentação de servidores e dados • Fase 3: Alteração de rotas • Fase 4: Troca de datacenter • Fase 5: Transporte dos demais servidores • Comportamento na Black Friday
3. RODRIGO DE AVILA https://rda.run
4. TL;DR
5. TL;DR: replicações! Servidor primário, RS Servidor secundário, SP
6. Como estava, e como deveria ficar?
7. Como estava POA01 Dell PowerEdge R740xd 96 threads 512Gb RAM 3Tb NVME 8 Tb SSD psql 9.6.23 POA01 psql prim psql sec
8. SP02 SP01 SP01 10Gb SP02 Como deveria ficar
9. Fase 1: Planejamento
10. SP01 SP02 POA01 psql prim psql sec Planejamento
11. SP01 SP02 POA01 psql prim psql sec Planejamento
12. SP01 SP02 POA01 Novos secundários Planejamento
13. Fase 2: Movimentação de servidores e dados
14. Movimentação de dados SP01 SP02 POA01 Secundários transportados 1 Gb
15. Movimentação de dados SP01 SP02 POA01 Secundários temporários em VM 1 Gb 10 Gb
16. Fase 3: Alteração de rotas
17. Alteração de rotas SP01 SP02 POA01 1 Gb 10 Gb Rota original
18. Alteração de rotas SP01 SP02 POA01 1 Gb 10 Gb Rota via SP
19. Fase 4: Troca de datacenter
20. Troca de datacenter SP01 SP02 POA01 1 Gb 10 Gb Bloqueio de acessos
21. Troca de datacenter SP01 SP02 POA01 1 Gb 10 Gb
22. Troca de datacenter SP01 SP02 POA01 1 Gb 10 Gb
23. Troca de datacenter POA01 Configura PgBouncer e aplicações em SP SP01 10Gb SP02
24. Troca de datacenter POA01 SP01 10Gb SP02 Liberação de acessos
25. Fase 5: Transporte dos demais servidores
26. Transporte de servidores POA01 SP01 10Gb SP02 Transporte de servidores
27. Transporte de servidores POA01 SP01 10Gb SP02
28. Transporte de servidores POA01 SP01 10Gb SP02 Troca de secundários
29. Comportamento na Black Friday
30. Comportamento na Black Friday Nosso termômetro de sucesso/fracasso do projeto seria a próxima Black Friday, em Novembro de 2021. 0 Incidentes Nenhum incidente registrado durante toda a semana da Black Friday 3x Tráfego Comparado com histórico anterior, nosso tráfego aumentou bastante. Este foi uma prova de fogo para a nova arquitetura ∞ Aprendizado Muitas situações novas, tempo para organizar a plataforma, mudar automações, ver novas possibilidades
32. Muito obrigado! Baixe esta apresentação em https://rda.run/pgconf.brasil-2022