Григорий Смолкин-Управление резервным копированием PostgreSQL

Transcript

1. Управление резервным копированием PostgreSQL Смолкин Григорий ведущий инженер инфраструктуры
2. Функции резервного копирования 2 1. Disaster recovery 2. Data recovery 3. Staging provision 4. Archive standby provision 5. SOX compliance
3. Динамика production
4. Production растет 2021 г. 4 35 61 163 201 0 50 100 150 200 250 Jan Jul Oct Feb Суммарный размер всех БД в TB (masters only)
5. Production растет 2021 г. 5 221 547 706 1300 0 200 400 600 800 1000 1200 1400 Jan Jul Oct Feb Суммарная скорость генерации WAL MB/s
6. Архитектура (total size of incremental backups for 14d / total size of full backups for 14d) 6 ― Ansible ― pg_probackup ― wal-g + pg_mediator (python-обвязка) ― x3 железный сервер для pg_probackup (73TB) ― x3 Ceph кластер для wal-g
7. pg_mediator (total size of incremental backups for 14d / total size of full backups for 14d) 7 ― backoff ― таймауты Ceph и wal-g ― DC-affinity ― борьба с archive lag ― борьба с пропусками в таймлайне при failover ― Быстрый shutdown
8. Восстановление (total size of incremental backups for 14d / total size of full backups for 14d) 8 ― pg_probackup доставляет файлы БД ― wal-g доставляет WAL
10. Текущая схема бэкапирования 10 текст текст DC3 PG DC2 PG DC1 PG ceph2 ceph3 ceph1 PBK PBK
11. В планах 11 1. Уход с ansible на hyper-dog 2. Развитие архитектуры резервного копирования в рамках концепции PostgreSQL-as-Service 3. Поддержка S3 в pg_probackup
12. Смолкин Григорий Спасибо за внимание! gsmolkin@ozon.ru, g.smolkin@postgrespro.ru