PostgreSQL High Availability in 2019

Slides from my talk at RIT conference 2019, Moscow

1. Обзор решений для PostgreSQL High Availability Лесовский Алексей
2. О докладчике Linux system administrator PostgreSQL DBA Data Egret, 2014 – now 2
3. PostgreSQL HA: что выбрать в 2019 3
4. Чего НЕ будет в докладе Инструкций по установке Инструкций по использованию Примеров конфигов 4
5. High availability Отказ узла ≠ отказ сервиса (Быстрое) восстановление после отказа 5
6. High availability: Postgres В идеале: • Мультимастер • Запись в разные дата-центры • OLTP low latency • Autofailover, self-recovery, rebalancing, ... 6
7. High availability: Postgres На деле имеем: • Мультимастер имеет ограничения • Запись в мастер, чтение с реплик • Масса ручной работы • Регулярные тестовые переключения • Нужна экспертиза 7
8. High availability: Postgres https://wiki.postgresql.org/wiki/High_Availability https://wiki.postgresql.org/wiki/Replication,_Clustering,_and_Connection_Pooling 8
9. Postgres HA: варианты? Bucardo • Мультимастер • Морально устарела • Use-cases есть, но... 9
10. Postgres HA: варианты? Pgpool-II • Все плохо с производительностью • Неоптимальный пулинг • Хрупкий сам по себе • Чувствителен к проблемам сети 10
11. Postgres HA: варианты? Postgres-XC/XL • Непростая эксплуатация • Много компонентов 11
12. Postgres HA: варианты? Велосипеды: • Shell-скрипты • Ansible • Комбинации разных инструментов: haproxy, keepalived, pgbouncer, dns, etc... 12
13. Postgres HA: варианты? Велосипеды: • кастомизация • которая превращается в ад • и может ломаться в неподходящий момент 13
14. Postgres HA: Итого • Дорого обслуживать • Отсутствие гибкости • Сложно масштабировать • Сложно управлять 14
15. Что есть сейчас • Repmgr • Patroni • Stolon • PAF • pg_auto_failover 15
16. Repmgr • 2ndQuadrant • 2010-12-05 — First public release • https://repmgr.org/ • Python, C • Cluster management 16
17. Patroni • Zalando • 2015-03-15 — First commit • https://github.com/zalando/patroni • Python • Cluster Management 17
18. Stolon • Sorintlab • 2015-09-07 — Initial commit • https://github.com/sorintlab/stolon • Golang • Cluster Management 18
19. PAF • Dalibo → ClusterLabs • 2016-02-03 — Initial commit • https://github.com/ClusterLabs/PAF • Perl • Autofailover (Pacemaker, Corosync) 19
20. pg_auto_failover • Citus Data (Microsoft) • 2019-05-02 — public release • https://github.com/citusdata/pg_auto_failover • Pure C • Autofailover (PostgreSQL extension) 20
21. PostgreSQL HA High Availability вцелом Управление кластером 21
22. PostgreSQL HA • Repmgr • Patroni • Stolon • PAF • pg_auto_failover 22
23. Сравнение • Обзор архитектур • Варианты установки и запуска • Управление кластером • Обеспечение HA • Итоги 23
24. Сравнение • Обзор архитектур • Варианты установки и запуска • Управление кластером • Обеспечение HA • Итоги 24
25. Цели архитектуры • Устранение угроз, смягчение последствий – Network split → Split-brain – Node failure → Service interruption • Кворум как реализация (источник истины) 25
26. Архитектура Repmgr
28. repmgrd process repmgrd process repmgrd process
29. Архитектура Repmgr Switchover без дополнительных компонентов Repmgrd для Autofailover Поддержка Witness–сервера 29
30. Архитектура Repmgr Switchover без дополнительных компонентов Repmgrd для Autofailover Поддержка Witness–сервера Минимум компонентов, всё просто 30
31. Архитектура Patroni
33. patroni process Distributed Configuration Storage patroni process patroni process
34. Архитектура Patroni Autofailover из коробки DCS как источник истины 34
35. Архитектура Patroni Autofailover из коробки DCS как источник истины DCS – обязательный компонент 35
36. Архитектура Stolon
37. 37 https://github.com/sorintlab/stolon/raw/master/doc/architecture_small.png
38. Архитектура Stolon Autofailover из коробки DCS как источник истины Клиенты работают с БД через proxy 38
39. Архитектура Stolon Autofailover из коробки DCS как источник истины Клиенты работают с БД через proxy DCS – обязательный компонент 39
40. Patroni vs. Stolon Концепции похожи, но дъявол в деталях 40
41. Сравнение • Обзор архитектур • Варианты установки и запуска • Управление кластером • Обеспечение HA • Итоги 41
42. Установка и запуск • Standby cluster • Установка на рабочем кластере 42
43. Standby cluster 43
44. Standby cluster 44
45. Standby cluster 45 Repmgr : ДА Patroni: ДА Stolon: ДА
46. Hard way deploy 46 Repmgr : ДА Patroni: ДА Stolon: НЕТ
47. Установка и запуск 47 bootstrap on-fly standby Repmgr no yes yes Patroni yes yes yes Stolon yes no yes
48. Сравнение • Обзор архитектур • Варианты установки и запуска • Управление кластером • Обеспечение HA • Итоги 48
49. Управление кластером • Добавление новых узлов • Управление конфигурацией PG • Синхронная репликация • Дебаг и траблшутинг 49
50. Добавление узлов Резервное копирование с мастера Кастомизация: • Копирование с реплики • С резервных копий (wal-g, barman, backrest) • С помощью кастомного скрипта 50
51. Добавление узлов Repmgr • Автоматически "repmgr standby clone" • Инициализация с реплик — ДА • Резервные копии — только Barman • Кастомное восстановление — ДА 51
52. Добавление узлов Patroni • Автоматический процесс • Инициализация с реплик — ДА • Резервные копии — ДА • Кастомное восстановление — ДА 52
53. Добавление узлов Stolon • Автоматический процесс • Инициализация с реплик — НЕТ • Резервные копии — только при bootstrap • Кастомное восстановление — НЕТ 53
54. Добавление узлов 54 Repmgr Patroni Stolon Автоматически yes yes yes Инициализация с реплик yes yes no С резервных копий yes* yes yes** Кастомная инициализация yes yes no * - только Barman ** - только при bootstrap
55. Управление кластером • Добавление новых узлов • Управление конфигурацией PG • Синхронная репликация • Дебаг и траблшутинг 55
56. Управление конфигурацией Repmgr — надстройка над PG Patroni/Stolon — init-система для PG 56
57. Repmgr • Пользователь имеет полный контроль над конфигурацией • postgresql.conf, postgresql.auto.conf • pg_hba.conf • recovery.conf 57 Управление конфигурацией
58. Patroni • Частично под контролем Patroni • Параметры репликации • postgresql.conf vs. postgresql.base.conf 58 Управление конфигурацией
59. Stolon • Полностью под контролем Stolon • Одинаковая конфигурация для всех узлов • Часть настроек неизменяема вообще* • postgresql.auto.conf → /dev/null 59 Управление конфигурацией * - https://github.com/sorintlab/stolon/blob/master/doc/postgres_parameters.md https://github.com/sorintlab/stolon/blob/master/cmd/keeper/cmd/keeper.go#L213
60. Управление кластером • Добавление новых узлов • Управление конфигурацией PG • Синхронная репликация • Дебаг и траблшутинг 60
61. Синхронная репликация Repmgr — настраивается руками Patroni — ДА (patronictl) Stolon — ДА (stolonctl) • Нельзя ANY, FIRST • Количество синх.реплик регулируется через параметры Stolon 61
62. Управление кластером • Добавление новых узлов • Управление конфигурацией PG • Синхронная репликация • Дебаг и траблшутинг 62
63. Дебаг и траблшутинг • Repmgr — свои логи • Patroni — свои логи, journald • Stolon — stdout, log-level, journald • Логи Postgres • Status-команды в cli-утилитах 63
64. Сравнение • Обзор архитектур • Варианты установки и запуска • Управление кластером • Обеспечение HA • Итоги 64
65. Обеспечение HA • Автофайловер, Свитчовер • Кастомизация • Фенсинг • Восстановление сбойных узлов • Требования к приложениям 65
66. Автофайловер • Repmgr — как опция • Patroni — из коробки • Stolon — из коробки 66
67. Свитчовер • Repmgr — из коробки • Patroni — из коробки • Stolon — нет, но есть workaround 67
68. Обеспечение HA • Автофайловер, Свитчовер • Кастомизация • Фенсинг • Восстановление сбойных узлов • Требования к приложениям 68
69. Кастомизация • Pre actions • Post actions • On role change actions 69
70. Кастомизация Repmgr Event notifications: • event_notification_command • Один user-defined-скрипт • Работает асинхронно 70
71. Кастомизация Patroni Callbacks: • Набор user-defined-скриптов • Работают асинхронно 71
72. Кастомизация Stolon 72
73. Обеспечение HA • Автофайловер, Свитчовер • Кастомизация • Фенсинг • Восстановление сбойных узлов • Требования к приложениям 73
74. Фенсинг в Repmgr Его нет Кастомизация через promote_command 74
75. Фенсинг в Patroni Patroni: Linux Watchdog DCS: перезапуск в Read-Only Существующие соединения обрываются 75
76. Фенсинг в Stolon Stolon: Удаление узла из clusterview DCS: Proxy перестает слушать интерфейс Существущие соединения обрываются Новые соединение не принимаются 76
77. Обеспечение HA • Автофайловер, Свитчовер • Кастомизация • Фенсинг • Восстановление сбойных узлов • Требования к приложениям 77
78. Восстановление Repmgr • Только ручное восстановление • repmgr node rejoin • pg_rewind 78
79. Восстановление Patroni, Stolon • full reinit, base backup, clone, etc… • pg_rewind • В худшем случае — руками 79
80. Обеспечение HA • Автофайловер, Свитчовер • Кастомизация • Фенсинг • Восстановление сбойных узлов • Требования к приложениям 80
81. Требования к приложению • Самостоятельный поиск мастера/реплик • Обработка ошибок доступа к БД • Переустановка соединений к БД 81
82. Требование к приложению Repmgr — предоставляет ничего Patroni — авторегистрация сервисов в Consul (Consul DNS) Stolon — ручная регистрация сервисов в Consul (c 0.14) 82
83. Сравнение • Обзор архитектур • Варианты установки и запуска • Управление кластером • Обеспечение HA • Итоги 83
84. Итого Repmgr • Автофайловер как опция • Полная свобода в конфигурировании PG • Нет фенсинга • Event notifications • Baremetal setup 84
85. Итого Patroni • Автофайловер из коробки • Много продвинутых функций • Фенсинг в том числе • Baremetal, Cloud setup 85
86. Итого Stolon • Автофайловер из коробки • Есть фенсинг • Если у вас нет существенных требований к кастомизации • Cloud setup 86
87. Вопросы 87 Алексей Лесовский, lesovsky@gmail.com