Call of Postgres: Advanced Operations. Part IV.

Slides from my tutorial at PgDay 2017 St.Petersburg, Russia

Transcript

1. Call of Postgres: Advanced Operations Alexey Lesovsky lesovsky@gmail.com
2. Troubleshooting: теория 04
3. План 04 dataegret.com Какие есть инструменты. Обнаружение проблем. Исследование проблем.
4. Инструменты 04 dataegret.com Инструменты бывают: • Сторонние. • Встроенные. • Самодельные.
5. Инструменты 04 dataegret.com Инструменты бывают: • Сторонние. • Встроенные. • Самодельные. Большая часть основана на встроенной статистике.
6. Инструменты 04 dataegret.com Сторонние инструменты: • Консольные. • Web. • Плагины для систем мониторинга. • https://wiki.postgresql.org/wiki/Monitoring
7. Инструменты 04 dataegret.com Встроенные инструменты: • Системные функции и представления. • Contrib-модули. • Утилиты в комплекте (pgbench, pg_waldump, pg_test_fsync, etc.)
8. Инструменты 04 dataegret.com Самодельные инструменты: • Запросы к системным функциями и представлениям. • Ad-hoc скрипты на shell/perl/python/… • Системы управления конфигурациями.
9. Статистика 04 dataegret.com Как правило, всё основано на встроенной статистике: • pg_stat_database, pg_stat_database_conflicts; • pg_stat_replication, pg_stat_subscription, pg_replication_slots; • pg_stat_user_tables, pg_stat_user_indexes; • pg_statio_user_tables, pg_statio_user_indexes; • pg_stat_activity, pg_locks; • pg_stat_bgwriter, pg_stat_archiver, pg_stat_progress_vacuum; • pg_stat_statements, pg_buffercache, pg_stat_kcache. • …
10. Статистика 04 dataegret.com
11. Статистика 04 dataegret.com pg_stat_database, pg_stat_database_conflicts: • Операции commit/rollback, read/insert/update/delete; • Чтение из кэша/диска; • deadlock'и, временные файлы, конфликты при восстановлении.
12. Статистика 04 dataegret.com pg_stat_replication, pg_stat_subscription, pg_replication_slots: • Статус standby-узлов, слотов репликации; • Лаг репликации; • Возраст запросов на standby-узлах.
13. Статистика 04 dataegret.com pg_stat_user_tables, pg_stat_user_indexes, pg_statio_user_tables, pg_statio_user_indexes: • Количество операций доступа к таблице/индексу; • Количество IUD операций по таблицам; • Количество операций vacuum/analyze над таблицей; • Количество IO операций над таблицей/индексом.
14. Статистика 04 dataegret.com pg_stat_activity, pg_locks; • Текущая клиентская активность; • Вредная активность (idle/long transactions, waitings); • Информация о блокировках.
15. Статистика 04 dataegret.com pg_stat_bgwriter, pg_stat_archiver, pg_stat_progress_vacuum: • Checkpointer, Bgwriter, WAL Archiver; • Статус (auto)vacuum операций.
16. Статистика 04 dataegret.com pg_stat_statements, pg_buffercache, pg_stat_kcache: • Информация о выполненных запросах; • Лайтовое профилирование shared buffers; • Сколько «потрачено» на выполнении запросов.
17. Обнаружение проблем. 04 dataegret.com План: • Типы проблем. • Обнаружение источников.
18. Типы проблем 04 dataegret.com Использование ресурсов
19. Типы проблем 04 dataegret.com Использование ресурсов: • Неоптимальное выполнение запросов.
20. Типы проблем 04 dataegret.com Использование ресурсов: • Неоптимальное выполнение запросов. • Нагрузка от фоновых процессов.
21. Типы проблем 04 dataegret.com Использование ресурсов: • Неоптимальное выполнение запросов. • Нагрузка от фоновых процессов. • Накопившиеся проблемы.
22. Типы проблем 04 dataegret.com Использование ресурсов: • Неоптимальное выполнение запросов. • Нагрузка от фоновых процессов. • Накопившиеся проблемы. • Потенциально опасные ситуации «здесь и сейчас».
23. Типы проблем 04 dataegret.com Ошибки.
24. Типы проблем 04 dataegret.com Ошибки: • Клиентские ошибки.
25. Типы проблем 04 dataegret.com Ошибки: • Клиентские ошибки. • Сервисные ошибки.
26. Поиск и определение 04 dataegret.com Определение узкого места: • Список процессов (бэкенды vs. фоновые процессы); • Отчеты по запросам; • Отчеты по фоновым процессам; • Периодические отчеты; • postgresql.log; • Профилирование на коленке; • Профилирование (perf, systemtap, gdb, coredump, etc.).
27. Поиск и определение 04 dataegret.com Список процессов: • Только если вы хорошо знаете свой ворклоад; • pg_stat_activity; • pg_stat_statements; • pg_stat_functions.
28. Поиск и определение 04 dataegret.com Отчеты по запросам: • log_min_duration_statements + postgres log; • pg_stat_statements, pg_stat_kcache; • Log analyzers. • EXPLAIN
29. Поиск и определение 04 dataegret.com Отчеты по фоновым процессам: • pg_stat_bgwriter; • Autovacuum – postgres log, pg_stat_activity, pg_stat_progress_vacuum.
30. Поиск и определение 04 dataegret.com Периодические отчеты: • Отчеты об ошибках; • Неиспользуемые индексы; • Изменение размеров таблиц и индексов; • Bloat; • ...
31. Поиск и определение 04 dataegret.com postgresql.log: • Второе место куда следует заглянуть, если что-то пошло не так; • Никакая детализация по-умолчанию. • log_line_prefix = '%m %p %u@%d from %h [vxid:%v txid:%x] [%i] '
32. Поиск и определение 04 dataegret.com Профилирование: • Если вдруг «подземный стук»; • Strace, Perf, SystemTap, BPF, etc... • Придется писать bug репорт в pgsql-hackers (как правило); • Проблема не решается быстро.
33. Резюме 04 dataegret.com Может показаться что инструментов много – но это не так. Все инструменты крутятся вокруг встроенной статистики. Нужно иметь представление о том что есть в статистике.
34. Вопросы? dataegret.com lesovsky@gmail.com