Slide 1
Slide 1 text
Управление резервным
копированием PostgreSQL
Смолкин Григорий
ведущий инженер инфраструктуры
Slide 2
Slide 2 text
Функции резервного копирования
2
1. Disaster recovery
2. Data recovery
3. Staging provision
4. Archive standby provision
5. SOX compliance
Slide 3
Slide 3 text
Динамика production
Slide 4
Slide 4 text
Production растет
2021 г.
4
35
61
163
201
0
50
100
150
200
250
Jan Jul Oct Feb
Суммарный размер всех БД в TB (masters only)
Slide 5
Slide 5 text
Production растет
2021 г.
5
221
547
706
1300
0
200
400
600
800
1000
1200
1400
Jan Jul Oct Feb
Суммарная скорость генерации WAL
MB/s
Slide 6
Slide 6 text
Архитектура
(total size of incremental backups for 14d / total size of full backups for 14d)
6
― Ansible
― pg_probackup
― wal-g + pg_mediator (python-обвязка)
― x3 железный сервер для pg_probackup (73TB)
― x3 Ceph кластер для wal-g
Slide 7
Slide 7 text
pg_mediator
(total size of incremental backups for 14d / total size of full backups for 14d)
7
― backoff
― таймауты Ceph и wal-g
― DC-affinity
― борьба с archive lag
― борьба с пропусками в таймлайне при failover
― Быстрый shutdown
Slide 8
Slide 8 text
Восстановление
(total size of incremental backups for 14d / total size of full backups for 14d)
8
― pg_probackup доставляет файлы БД
― wal-g доставляет WAL
Slide 9
Slide 9 text
No content
Slide 10
Slide 10 text
Текущая схема бэкапирования
10
текст
текст
DC3
PG
DC2
PG
DC1
PG
ceph2 ceph3
ceph1
PBK PBK
Slide 11
Slide 11 text
В планах
11
1. Уход с ansible на hyper-dog
2. Развитие архитектуры резервного копирования в
рамках концепции PostgreSQL-as-Service
3. Поддержка S3 в pg_probackup