Дмитрий Логовский – «Как заставить вашу базу-данных держать 20K RPS, варианты масштабирования и их минусы»

Transcript

1. Как заставить вашу БД держать 20K RPS: варианты масштабирования и их минусы Дмитрий Логовский, руководитель группы разработки «Оформление заказа»
2. 2 Предыстория Мы столкнулись с проблемой роста нагрузки из-за роста продаж по схеме доставки rFBS 2
3. 3 rFBS (Real Fulfillment by Seller) RFBS Схема работы, при которой продавец сам отвечает за хранение и доставку товара
4. 4 Когда Ozon строит свой фулфилмент, мы можем легко прогнозировать примерный объём товаров и доставок В случае rFBS прогнозы делать сложнее, здесь возможен кратный рост товаров и доставок за короткий промежуток (что и произошло) Слабым местом оказалась БД, и нам в срочном порядке пришлось думать, как держать такую нагрузку
5. 5 Репликация Этап 1
6. 6 Что такое репликация данных и как это работает? Репликация — это дублирование данных, когда данные с одного сервера полностью повторяются на других
7. Что такое репликация данных и как это работает? 7 Приложения пишут данные в одну базу данных, а изменения автоматически синхронизируются на другие базы Репликация используется для достижения двух целей : Повышение отказоустойчивости Если один из серверов выйдет из строя, то остальные продолжат работу Повышение производительности Распределение данных по серверам в разных частях страны или мира повышает скорость доступа к данным для местных пользователей
8. 8 Что такое репликация данных и как это работает? Write-Ahead Log (WAL)
9. Потоковая репликация 9 • Работает из коробки • Годами обкатанная технология • Низкое потребление ресурсов, так как никакой логики при репликации нет, изменения выполняются в том же порядке, что и на мастере • Простота конфигурации, настроил и забыл, простое побайтовое копирование через WAL Плюсы
10. Потоковая репликация 10 • Работает из коробки • Годами обкатанная технология • Низкое потребление ресурсов, так как никакой логики при репликации нет, изменения выполняются в том же порядке, что и на мастере • Простота конфигурации, настроил и забыл, простое побайтовое копирование через WAL Плюсы
11. Потоковая репликация 11 • Работает из коробки • Годами обкатанная технология • Низкое потребление ресурсов, так как никакой логики при репликации нет, изменения выполняются в том же порядке, что и на мастере • Простота конфигурации, настроил и забыл, простое побайтовое копирование через WAL Плюсы
12. Потоковая репликация 12 • Работает из коробки • Годами обкатанная технология • Низкое потребление ресурсов, так как никакой логики при репликации нет, изменения выполняются в том же порядке, что и на мастере • Простота конфигурации, настроил и забыл, простое побайтовое копирование через WAL Плюсы
13. Потоковая репликация 13 • Реплицируется весь кластер целиком • Реплицируются все операции, включая ошибки • Изменения применяются в один поток • Работа только в рамках одной мажорной версии • Слейвы read only Минусы
14. Потоковая репликация 14 • Реплицируется весь кластер целиком • Реплицируются все операции, включая ошибки • Изменения применяются в один поток • Работа только в рамках одной мажорной версии • Слейвы read only Минусы
15. Потоковая репликация 15 • Реплицируется весь кластер целиком • Реплицируются все операции, включая ошибки • Изменения применяются в один поток • Работа только в рамках одной мажорной версии • Слейвы read only Минусы
16. Потоковая репликация 16 • Реплицируется весь кластер целиком • Реплицируются все операции, включая ошибки • Изменения применяются в один поток • Работа только в рамках одной мажорной версии • Слейвы read only Минусы
17. Потоковая репликация 17 • Реплицируется весь кластер целиком • Реплицируются все операции, включая ошибки • Изменения применяются в один поток • Работа только в рамках одной мажорной версии • Слейвы read only Минусы
18. Логическая репликация 18 • Тоже основана на WAL • Мастер и слейв могут иметь разные представления данных на диске, разные архитектуры процессора, разные структуры таблиц (при условии совместимости схем), разные конфигурации и расположение файлов данных • Частичная репликация, можно реплицировать только необходимые данные Плюсы
19. Логическая репликация 19 • Тоже основана на WAL • Мастер и слейв могут иметь разные представления данных на диске, разные архитектуры процессора, разные структуры таблиц (при условии совместимости схем), разные конфигурации и расположение файлов данных • Частичная репликация, можно реплицировать только необходимые данные Плюсы
20. Логическая репликация 20 • Тоже основана на WAL • Мастер и слейв могут иметь разные представления данных на диске, разные архитектуры процессора, разные структуры таблиц (при условии совместимости схем), разные конфигурации и расположение файлов данных • Частичная репликация, можно реплицировать только необходимые данные Плюсы
21. Логическая репликация 21 • Необходимо повысить уровень логирования, гораздо больше информации необходимо писать в транзакционный лог • Только DML • Нельзя менять объекты (схему, название) • Работает только с версии PostgreSQL 10+ Минусы
22. Логическая репликация 22 • Необходимо повысить уровень логирования, гораздо больше информации необходимо писать в транзакционный лог • Только DML • Нельзя менять объекты (схему, название) • Работает только с версии PostgreSQL 10+ Минусы
23. Логическая репликация 23 • Необходимо повысить уровень логирования, гораздо больше информации необходимо писать в транзакционный лог • Только DML • Нельзя менять объекты (схему, название) • Работает только с версии PostgreSQL 10+ Минусы
24. Логическая репликация 24 • Необходимо повысить уровень логирования, гораздо больше информации необходимо писать в транзакционный лог • Только DML • Нельзя менять объекты (схему, название) • Работает только с версии PostgreSQL 10+ Минусы
25. 25 Синхронная репликация Асинхронная репликация VS
26. Идеальный набор репликации 26 Master Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация
27. Какие подводные камни? 27 Нужно избегать обильного чтения с мастера и по возможности с синхронной реплики ! Базовое правило — в мастер пишем, читаем только из слейвов !
28. 28 Партиционирование Этап 2
29. 29 Что такое партиционирование и как это работает? Партиционирование — это метод разделения больших (исходя из количества записей, а не столбцов) таблиц на много маленьких
30. Что такое партиционирование и как это работает? 30
31. Что такое партиционирование и как это работает? 31 • На каждый insert/update перестраиваем индексы, чем больше таблица, тем дороже перестройка индекса • Если много удаляем/апдейтим записи в базе, то vacuum может быть проблемой, update=delete+insert • Селекты делать только по индексам, чем больше индексов, тем больнее каждый insert/update Проблемы больших таблиц
32. Что такое партиционирование и как это работает? 32 • На каждый insert/update перестраиваем индексы, чем больше таблица, тем дороже перестройка индекса • Если много удаляем/апдейтим записи в базе, то vacuum может быть проблемой, update=delete+insert • Селекты делать только по индексам, чем больше индексов, тем больнее каждый insert/update Проблемы больших таблиц
33. Что такое партиционирование и как это работает? 33 • На каждый insert/update перестраиваем индексы, чем больше таблица, тем дороже перестройка индекса • Если много удаляем/апдейтим записи в базе, то vacuum может быть проблемой, update=delete+insert • Селекты делать только по индексам, чем больше индексов, тем больнее каждый insert/update Проблемы больших таблиц
34. Что такое репликация данных и как это работает? 34 Один из вариантов, как избежать проблем больших таблиц — это партиционировать их на несколько более мелких Таким образом индексы будут намного меньше, и все наши проблемы больших таблиц будут в N раз меньше
35. Какой эффект можно получить от партиционирования таблиц? 35
36. 36 Предыстория Какие подводные камни? 36
37. Что такое партиционирование и как это работает? 37 • Очень внимательно относиться к количеству партиций, идеально не больше 100-200 • Не нагружать БД проверками, которые можем сделать на клиентах • Не использовать встроенные системы автовычисления партиций на БД • Не использовать триггеры для автоматического создания партиций
38. Что такое партиционирование и как это работает? 38 • Очень внимательно относиться к количеству партиций, идеально не больше 100-200 • Не нагружать БД проверками, которые можем сделать на клиентах • Не использовать встроенные системы автовычисления партиций на БД • Не использовать триггеры для автоматического создания партиций
39. Что такое партиционирование и как это работает? 39 • Очень внимательно относиться к количеству партиций, идеально не больше 100-200 • Не нагружать БД проверками, которые можем сделать на клиентах • Не использовать встроенные системы автовычисления партиций на БД • Не использовать триггеры для автоматического создания партиций
40. Что такое партиционирование и как это работает? 40 • Очень внимательно относиться к количеству партиций, идеально не больше 100-200 • Не нагружать БД проверками, которые можем сделать на клиентах • Не использовать встроенные системы автовычисления партиций на БД • Не использовать триггеры для автоматического создания партиций
41. 41 Шардирование Этап 3
42. 42 Шардинг Шардирование — это стратегия горизонтального масштабирования кластера, при которой части одной базы данных размещаются на разных шардах
43. 43 Шардинг Мы выбираем одно или несколько свойств атомарного объекта в наборе и называем его ключом шардирования shard key. От него зависит физический адрес данных
44. Шардинг 44 Master master_shard_0 master_shard_1 master_shard_2 master_shard_3
45. Шардинг 45 Существуют готовые инструменты для шардинга. Например: 
 Citus Greenplum
46. Шардинг 46 Шардирование не сложно сделать самостоятельно, при условии, что вы можете полностью разделить данные между физическими серверами. То есть вам не нужны: • Multi shard join • Распределенные транзакции • Автоматический решардинг
47. 47 Предыстория О чем нужно обязательно подумать при шардинге ? 47
48. Логическая репликация 48 • Система кратно усложняется в обслуживании, вместо 1 сервера у вас становится много точек отказа • Нужно заранее продумать логику будущего решардинга, даже если сейчас вам кажется, что шардов вам хватит • Нужно оборачивать запросы в доп логику, высчитывать нужный шард, держать множество коннектов Проблемы, которые возникают после шардирования
49. Логическая репликация 49 • Система кратно усложняется в обслуживании, вместо 1 сервера у вас становится много точек отказа • Нужно заранее продумать логику будущего решардинга, даже если сейчас вам кажется, что шардов вам хватит • Нужно оборачивать запросы в доп логику, высчитывать нужный шард, держать множество коннектов Проблемы, которые возникают после шардирования
50. Логическая репликация 50 • Система кратно усложняется в обслуживании, вместо 1 сервера у вас становится много точек отказа • Нужно заранее продумать логику будущего решардинга, даже если сейчас вам кажется, что шардов вам хватит • Нужно оборачивать запросы в доп логику, высчитывать нужный шард, держать множество коннектов Проблемы, которые возникают после шардирования
51. Идеальный набор репликации 51 Master Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация
52. Идеальный набор репликации и шардирования 52 Maste_shard_0 Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация Maste_shard_1 Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация Maste_shard_2 Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация Maste_shard_3 Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация Maste_shard_4 Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация Maste_shard_5 Асинхронная репликация Асинхронная репликация Асинхронная репликация Cинхронная репликация
53. dlogovskiy@ozon.ru Спасибо за внимание Дмитрий Логовский, руководитель группы разработки «Оформление заказа»