Евгений Фирстов - PostgreSQL: Under Pressure

Как правильно спроектировать масштабируемое хранилище для нагруженной системы с использованием PostgreSQL и эффективно импортировать в него гигабайты данных? Какова тёмная сторона Entity Framework-а? В докладе - ультратехнологичные механизмы для работы с большим количеством данных в PostgreSQL.

Transcript

1. PostgreSQL Under Pressure Евгений Фирстов
2. Приложение: биллинг для звонков колл-центра Звонков – миллионы! 2
3. Приложение: биллинг для звонков колл-центра Звонков – миллионы! Конвейерная обработка 3
4. Приложение: биллинг для звонков колл-центра Звонков – миллионы! Конвейерная обработка Нужно промежуточное хранилище 4
5. Приложение: биллинг для звонков колл-центра Звонков – миллионы! Конвейерная обработка Нужно промежуточное хранилище 5
6. Содержание Чем нас не устроил Entity Framework? 6
7. Содержание Чем нас не устроил Entity Framework? Вставка через хранимые процедуры (функции) 7
8. Содержание Чем нас не устроил Entity Framework? Вставка через хранимые процедуры (функции) Лучший вариант импорта 8
9. Модель 9
10. Таблица 10
11. Вставка через Entity Framework 11
12. Rows Time (ms)
13. Rows Time (ms) 13
14. Какое самое очевидное решение? 14
15. Не изобретать велосипед 15
16. Неоптимальный SQL 16
17. Разбор каждого INSERT`а 17
18. Разбор каждого INSERT`а 18
19. Разбор каждого INSERT`а 19
20. Разбор каждого INSERT`а 20
21. Разбор каждого INSERT`а 21
24. Процедура (функция) в PostgreSQL 24
25. Композитный тип 25
30. Rows Time (ms)
31. Обсуждение Быстрая вставка – проблема решена 31
32. Обсуждение Быстрая вставка – проблема решена На других RDBMS можно также 32
33. Обсуждение Быстрая вставка – проблема решена На других RDBMS можно также Но есть и минус: Много, много кода 33
36. Бинарный импорт 36
37. В коде с использованием Npgsql 37
38. В коде с использованием Npgsql 38
39. Структура заголовка 39
40. Структура области данных 40
41. Rows Time (ms)
43. Тем временем на куче Entity Framework 10K rows Composite types 10K rows Binary import 10K rows 20 Mb 21 Mb 43
44. Тем временем на куче Entity Framework 10K rows Composite types 10K rows Binary import 10K rows 130 Mb 20 Mb 21 Mb 44
46. Всё – ради генерации SQL 46
47. Large objects heap (!) 47
48. Сравнение Entity Framework Composite types Binary import Скорость - + + Память - + + Простота кода + - +- 48
49. Сравнение Entity Framework Composite types Binary import Скорость - + + Память - + + Простота кода + - +- 49
50. Почему вставка в большие таблицы – медленная? 50
51. SWAP CPU full-time выполняет задачи высокого приоритета 51
52. SWAP CPU full-time выполняет задачи высокого приоритета CPU активен 90-100% времени 52
53. SWAP CPU full-time выполняет задачи высокого приоритета CPU активен 90-100% времени Износ систем охлаждения 53
54. Партиционирование 54
55. Партиционирование – удобно! 55
56. Партиционирование – удобно! 56
57. Партиционирование – удобно! 57
58. Главное – правильно выбрать ключ! По значению столбца 58
59. Главное – правильно выбрать ключ! По значению столбца По диапазону значений 59
60. Главное – правильно выбрать ключ! По значению столбца По диапазону значений По хешу 60
61. Главное – правильно выбрать ключ! По значению столбца По диапазону значений По хешу 61
62. С COPY - проблемка  Партицию нужно указать явно 62
63. Postgres 12 B-Tree занимает меньше памяти (<40%) Таблицы с тысячами партиций работают быстрее COPY можно нацелить в основную таблицу: 63
64. Решает проблему громоздкого кода https://github.com/UGeneF/Copy Библиотека на гитхабе 64
65. Было много кода 65
66. Сделали лаконично и удобно 66
68. Если что – пишите: @ugenef Контакты 68