Slide 1

Slide 1 text

Управление резервным копированием PostgreSQL Смолкин Григорий ведущий инженер инфраструктуры

Slide 2

Slide 2 text

Функции резервного копирования 2 1. Disaster recovery 2. Data recovery 3. Staging provision 4. Archive standby provision 5. SOX compliance

Slide 3

Slide 3 text

Динамика production

Slide 4

Slide 4 text

Production растет 2021 г. 4 35 61 163 201 0 50 100 150 200 250 Jan Jul Oct Feb Суммарный размер всех БД в TB (masters only)

Slide 5

Slide 5 text

Production растет 2021 г. 5 221 547 706 1300 0 200 400 600 800 1000 1200 1400 Jan Jul Oct Feb Суммарная скорость генерации WAL MB/s

Slide 6

Slide 6 text

Архитектура (total size of incremental backups for 14d / total size of full backups for 14d) 6 ― Ansible ― pg_probackup ― wal-g + pg_mediator (python-обвязка) ― x3 железный сервер для pg_probackup (73TB) ― x3 Ceph кластер для wal-g

Slide 7

Slide 7 text

pg_mediator (total size of incremental backups for 14d / total size of full backups for 14d) 7 ― backoff ― таймауты Ceph и wal-g ― DC-affinity ― борьба с archive lag ― борьба с пропусками в таймлайне при failover ― Быстрый shutdown

Slide 8

Slide 8 text

Восстановление (total size of incremental backups for 14d / total size of full backups for 14d) 8 ― pg_probackup доставляет файлы БД ― wal-g доставляет WAL

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

Текущая схема бэкапирования 10 текст текст DC3 PG DC2 PG DC1 PG ceph2 ceph3 ceph1 PBK PBK

Slide 11

Slide 11 text

В планах 11 1. Уход с ansible на hyper-dog 2. Развитие архитектуры резервного копирования в рамках концепции PostgreSQL-as-Service 3. Поддержка S3 в pg_probackup

Slide 12

Slide 12 text

Смолкин Григорий Спасибо за внимание! [email protected], [email protected]