Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Movendo 15 Tb de dados de um estado para outro

Movendo 15 Tb de dados de um estado para outro

Movemos 15 Tb de dados durante uma troca de datacenter do Rio Grande do Sul para São Paulo, 2 meses antes da Black Friday de 2021. Esta operação foi planejada com meses de antecedência, para que na hora da virada nada desse errado. De fato, a virada foi feita em apenas três horas, com apenas alguns momentos de downtime durante este período. Como planejamos e executamos esta tarefa? Como essa montanha de dados foi movimentada entre três dataceters? Como nossos servidores Postgres se comportaram na Black Friday seguinte?

Rodrigo de Avila

August 27, 2022
Tweet

More Decks by Rodrigo de Avila

Other Decks in Technology

Transcript

  1. Movendo 15 Tb de dados
    de um estado para outro

    View Slide

  2. Agenda
    • Como estava, e como deveria ficar?
    • Fase 1: Planejamento
    • Fase 2: Movimentação de servidores e dados
    • Fase 3: Alteração de rotas
    • Fase 4: Troca de datacenter
    • Fase 5: Transporte dos demais servidores
    • Comportamento na Black Friday

    View Slide

  3. RODRIGO DE AVILA
    https://rda.run

    View Slide

  4. TL;DR

    View Slide

  5. TL;DR: replicações!
    Servidor primário, RS Servidor secundário, SP

    View Slide

  6. Como estava,
    e como deveria ficar?

    View Slide

  7. Como estava
    POA01
    Dell PowerEdge R740xd
    96 threads
    512Gb RAM
    3Tb NVME
    8 Tb SSD
    psql 9.6.23
    POA01
    psql
    prim
    psql
    sec

    View Slide

  8. SP02
    SP01
    SP01
    10Gb
    SP02
    Como deveria ficar

    View Slide

  9. Fase 1:
    Planejamento

    View Slide

  10. SP01 SP02
    POA01
    psql
    prim
    psql
    sec
    Planejamento

    View Slide

  11. SP01 SP02
    POA01
    psql
    prim
    psql
    sec
    Planejamento

    View Slide

  12. SP01 SP02
    POA01
    Novos secundários
    Planejamento

    View Slide

  13. Fase 2:
    Movimentação de
    servidores e dados

    View Slide

  14. Movimentação
    de dados
    SP01 SP02
    POA01
    Secundários
    transportados
    1 Gb

    View Slide

  15. Movimentação
    de dados
    SP01 SP02
    POA01
    Secundários
    temporários em
    VM
    1 Gb 10 Gb

    View Slide

  16. Fase 3:
    Alteração de rotas

    View Slide

  17. Alteração
    de rotas
    SP01 SP02
    POA01
    1 Gb 10 Gb
    Rota original

    View Slide

  18. Alteração
    de rotas
    SP01 SP02
    POA01
    1 Gb 10 Gb
    Rota via SP

    View Slide

  19. Fase 4:
    Troca de datacenter

    View Slide

  20. Troca
    de datacenter
    SP01 SP02
    POA01
    1 Gb 10 Gb
    Bloqueio de acessos

    View Slide

  21. Troca
    de datacenter
    SP01 SP02
    POA01
    1 Gb 10 Gb

    View Slide

  22. Troca
    de datacenter
    SP01 SP02
    POA01
    1 Gb 10 Gb

    View Slide

  23. Troca
    de datacenter
    POA01
    Configura PgBouncer e
    aplicações em SP
    SP01
    10Gb
    SP02

    View Slide

  24. Troca
    de datacenter
    POA01 SP01
    10Gb
    SP02
    Liberação de acessos

    View Slide

  25. Fase 5:
    Transporte dos
    demais servidores

    View Slide

  26. Transporte
    de servidores
    POA01 SP01
    10Gb
    SP02
    Transporte de servidores

    View Slide

  27. Transporte
    de servidores
    POA01 SP01
    10Gb
    SP02

    View Slide

  28. Transporte
    de servidores
    POA01 SP01
    10Gb
    SP02
    Troca de secundários

    View Slide

  29. Comportamento na Black Friday

    View Slide

  30. Comportamento
    na Black Friday
    Nosso termômetro de sucesso/fracasso do
    projeto seria a próxima Black Friday, em
    Novembro de 2021.
    0
    Incidentes Nenhum incidente registrado durante
    toda a semana da Black Friday
    3x
    Tráfego Comparado com histórico anterior,
    nosso tráfego aumentou bastante. Este
    foi uma prova de fogo para a nova
    arquitetura

    Aprendizado Muitas situações novas, tempo para
    organizar a plataforma, mudar
    automações, ver novas possibilidades

    View Slide

  31. View Slide

  32. Muito obrigado!
    Baixe esta apresentação em
    https://rda.run/pgconf.brasil-2022

    View Slide