Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Григорий Смолкин-Управление резервным копированием PostgreSQL
Search
Ozon Tech
February 28, 2022
Technology
0
4.7k
Григорий Смолкин-Управление резервным копированием PostgreSQL
Ozon Tech
February 28, 2022
Tweet
Share
More Decks by Ozon Tech
See All by Ozon Tech
Анна Мария Попова (Х5 Tech) – Фантастический техпис: может ли опыт создания художественных книг помочь в написании документации
ozontech
0
120
Александр Мачулин (Gramax) – Справочник фантастических тварей из Docs as Code
ozontech
0
24
Мария Смирнова – Дзен и искусство работы с документацией: как использовать принципы буддизма в работе техписа
ozontech
0
23
Сергей Кузнецов – «Эксперименты с нейросетями в рекомендациях»
ozontech
0
51
Артём Нургалиев – «MLOps, автоматизированное обучение и доставка моделей»
ozontech
0
35
Артём Панин – «Автоматическое управление рекламой в Ozon»
ozontech
0
56
Дмитрий Андросов – «Персональные поисковые подсказки»
ozontech
0
67
Константин Ожерельев – CI/CD для проектов, разрабатываемых в конфигураторе
ozontech
0
72
Юрий Гуреев – 5 продвинутых приемов работы с EDT и Git
ozontech
0
61
Other Decks in Technology
See All in Technology
SREとその組織類型
tatsuo48
8
1.5k
シン・Kafka / shin-kafka
oracle4engineer
PRO
7
2.7k
Algyan イベント振り返り
linyixian
0
190
0→1開発における技術選定において一番大切なこと
bicstone
1
330
Janus
bkuhlmann
1
490
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
220
「共通基盤」を超えよ! 今、Platform Engineeringに取り組むべき理由
jacopen
25
5.9k
「手動オペレーションに定評がある」と言われた私が心がけていること / phpcon_odawara2024
blue_goheimochi
2
320
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
330
小さな開発会社がWebサービスを作る理由
polidog
PRO
1
160
スタートアップの技術顧問を3年間続けて発生した事と気付き
biwakonbu
0
160
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
sakaitakeshi
1
300
Featured
See All Featured
Web development in the modern age
philhawksworth
202
10k
Producing Creativity
orderedlist
PRO
336
39k
Bootstrapping a Software Product
garrettdimon
PRO
301
110k
Practical Orchestrator
shlominoach
181
9.7k
Music & Morning Musume
bryan
41
5.6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
How to name files
jennybc
64
92k
Making Projects Easy
brettharned
108
5.5k
BBQ
matthewcrist
80
8.7k
What's in a price? How to price your products and services
michaelherold
237
11k
We Have a Design System, Now What?
morganepeng
42
6.7k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
Transcript
Управление резервным копированием PostgreSQL Смолкин Григорий ведущий инженер инфраструктуры
Функции резервного копирования 2 1. Disaster recovery 2. Data recovery
3. Staging provision 4. Archive standby provision 5. SOX compliance
Динамика production
Production растет 2021 г. 4 35 61 163 201 0
50 100 150 200 250 Jan Jul Oct Feb Суммарный размер всех БД в TB (masters only)
Production растет 2021 г. 5 221 547 706 1300 0
200 400 600 800 1000 1200 1400 Jan Jul Oct Feb Суммарная скорость генерации WAL MB/s
Архитектура (total size of incremental backups for 14d / total
size of full backups for 14d) 6 ― Ansible ― pg_probackup ― wal-g + pg_mediator (python-обвязка) ― x3 железный сервер для pg_probackup (73TB) ― x3 Ceph кластер для wal-g
pg_mediator (total size of incremental backups for 14d / total
size of full backups for 14d) 7 ― backoff ― таймауты Ceph и wal-g ― DC-affinity ― борьба с archive lag ― борьба с пропусками в таймлайне при failover ― Быстрый shutdown
Восстановление (total size of incremental backups for 14d / total
size of full backups for 14d) 8 ― pg_probackup доставляет файлы БД ― wal-g доставляет WAL
None
Текущая схема бэкапирования 10 текст текст DC3 PG DC2 PG
DC1 PG ceph2 ceph3 ceph1 PBK PBK
В планах 11 1. Уход с ansible на hyper-dog 2.
Развитие архитектуры резервного копирования в рамках концепции PostgreSQL-as-Service 3. Поддержка S3 в pg_probackup
Смолкин Григорий Спасибо за внимание!
[email protected]
,
[email protected]