Movendo 15 Tb de dados de um estado para outro

Movemos 15 Tb de dados durante uma troca de datacenter do Rio Grande do Sul para São Paulo, 2 meses antes da Black Friday de 2021. Esta operação foi planejada com meses de antecedência, para que na hora da virada nada desse errado. De fato, a virada foi feita em apenas três horas, com apenas alguns momentos de downtime durante este período. Como planejamos e executamos esta tarefa? Como essa montanha de dados foi movimentada entre três dataceters? Como nossos servidores Postgres se comportaram na Black Friday seguinte?

Transcript

1. Movendo 15 Tb de dados
   de um estado para outro
   

   View Slide

2. Agenda
   • Como estava, e como deveria ficar?
   • Fase 1: Planejamento
   • Fase 2: Movimentação de servidores e dados
   • Fase 3: Alteração de rotas
   • Fase 4: Troca de datacenter
   • Fase 5: Transporte dos demais servidores
   • Comportamento na Black Friday
   

   View Slide

3. RODRIGO DE AVILA
   https://rda.run
   

   View Slide

4. TL;DR
   

   View Slide

5. TL;DR: replicações!
   Servidor primário, RS Servidor secundário, SP
   

   View Slide

6. Como estava,
   e como deveria ficar?
   

   View Slide

7. Como estava
   POA01
   Dell PowerEdge R740xd
   96 threads
   512Gb RAM
   3Tb NVME
   8 Tb SSD
   psql 9.6.23
   POA01
   psql
   prim
   psql
   sec
   

   View Slide

8. SP02
   SP01
   SP01
   10Gb
   SP02
   Como deveria ficar
   

   View Slide

9. Fase 1:
   Planejamento
   

   View Slide

10. SP01 SP02
    POA01
    psql
    prim
    psql
    sec
    Planejamento
    

    View Slide

11. SP01 SP02
    POA01
    psql
    prim
    psql
    sec
    Planejamento
    

    View Slide

12. SP01 SP02
    POA01
    Novos secundários
    Planejamento
    

    View Slide

13. Fase 2:
    Movimentação de
    servidores e dados
    

    View Slide

14. Movimentação
    de dados
    SP01 SP02
    POA01
    Secundários
    transportados
    1 Gb
    

    View Slide

15. Movimentação
    de dados
    SP01 SP02
    POA01
    Secundários
    temporários em
    VM
    1 Gb 10 Gb
    

    View Slide

16. Fase 3:
    Alteração de rotas
    

    View Slide

17. Alteração
    de rotas
    SP01 SP02
    POA01
    1 Gb 10 Gb
    Rota original
    

    View Slide

18. Alteração
    de rotas
    SP01 SP02
    POA01
    1 Gb 10 Gb
    Rota via SP
    

    View Slide

19. Fase 4:
    Troca de datacenter
    

    View Slide

20. Troca
    de datacenter
    SP01 SP02
    POA01
    1 Gb 10 Gb
    Bloqueio de acessos
    

    View Slide

21. Troca
    de datacenter
    SP01 SP02
    POA01
    1 Gb 10 Gb
    

    View Slide

22. Troca
    de datacenter
    SP01 SP02
    POA01
    1 Gb 10 Gb
    

    View Slide

23. Troca
    de datacenter
    POA01
    Configura PgBouncer e
    aplicações em SP
    SP01
    10Gb
    SP02
    

    View Slide

24. Troca
    de datacenter
    POA01 SP01
    10Gb
    SP02
    Liberação de acessos
    

    View Slide

25. Fase 5:
    Transporte dos
    demais servidores
    

    View Slide

26. Transporte
    de servidores
    POA01 SP01
    10Gb
    SP02
    Transporte de servidores
    

    View Slide

27. Transporte
    de servidores
    POA01 SP01
    10Gb
    SP02
    

    View Slide

28. Transporte
    de servidores
    POA01 SP01
    10Gb
    SP02
    Troca de secundários
    

    View Slide

29. Comportamento na Black Friday
    

    View Slide

30. Comportamento
    na Black Friday
    Nosso termômetro de sucesso/fracasso do
    projeto seria a próxima Black Friday, em
    Novembro de 2021.
    0
    Incidentes Nenhum incidente registrado durante
    toda a semana da Black Friday
    3x
    Tráfego Comparado com histórico anterior,
    nosso tráfego aumentou bastante. Este
    foi uma prova de fogo para a nova
    arquitetura
    ∞
    Aprendizado Muitas situações novas, tempo para
    organizar a plataforma, mudar
    automações, ver novas possibilidades
    

    View Slide

31. View Slide

32. Muito obrigado!
    Baixe esta apresentação em
    https://rda.run/pgconf.brasil-2022
    

    View Slide