Готовим тестовые данные и сервируем отчёт по тестированию производительности

Тезисы

Рассказ об особенностях подготовки тестовых данных для тестов производительности новых микросервисов в банке. Поделюсь наработками по генерации тестовых данных в PostgreSQL и их влиянии на результат тестирования. Обсудим, что включить в отчёт по тестированию производительности и без чего в нем не обойтись. Также расскажу о наработках по сбору метрик в InfluxDB и их визуализации в Grafana.

Аудитория и уровень

Доклад будет интересен инженерам по тестированию производительности, начинающим и опытным. Тем, кто ставит задачи по тестированию производительности, пригодится информация о затратах на подготовку тестовых данных и их сокращении. А тем, кто получает результат от этой увлекательной работы в виде отчётов и дефектов, будет полезно узнать, что же может быть в отчёте по тестированию.

Доклад готовился для
CodeFest Online 2020, который прошел в формате Online-мероприятия

Transcript

1. Готовим тестовые данные и сервируем отчет по тестированию Рассказ о данных для нагрузочных тестов, об отчетах и метриках Вячеслав Смирнов Эксперт по тестированию Райффайзенбанк
2. Ускоряю Raiffeisen Business Platform 2
3. Готовим тестовые данные 3 Методика Профиль нагрузки, требования Подготовка данных и стенда Изучение работы с системой Разработка тестов и заглушек Запуск тестов Анализ метрик и логов Отчёт и инструкции
4. Готовим тестовые данные: найдем 40% багов 4 Методика Профиль нагрузки, требования Подготовка данных и стенда Изучение работы с системой Разработка тестов и заглушек Запуск тестов Анализ метрик и логов Отчёт и инструкции
5. Сервируем отчет по тестированию 5 Методика Профиль нагрузки, требования Изучение работы с системой Разработка тестов и заглушек Запуск тестов Анализ метрик и логов Отчёт и инструкции Отчёт и инструкции Подготовка данных и стенда
6. Сервируем отчет по тестированию: минус день 6 Методика Профиль нагрузки, требования Изучение работы с системой Разработка тестов и заглушек Запуск тестов Анализ метрик и логов Отчёт и инструкции Отчёт и инструкции Подготовка данных и стенда
7. Содержание 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности 7 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
8. Содержание 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности 8 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
9. Содержание 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности 9 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
10. Содержание 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности 10 Данные для сервисов
11. Подготовка данных для микросервисов Особенности подготовки данных для новых микросервисов: • для новых микросервисов тестовые данные взять неоткуда; • для тестов производительности данных должно быть много; • тестовые данные должны быть корректными, идеальными; • нужно генерировать данные для нескольких систем. 11 Данные для сервисов
12. Подготовка данных для микросервисов Особенности подготовки данных для новых микросервисов: • для новых микросервисов тестовые данные взять неоткуда; • для тестов производительности данных должно быть много; • тестовые данные должны быть корректными, идеальными; • нужно генерировать данные для нескольких систем. 12 Данные для сервисов
13. Данных для теста изначально нет 13 Данные для сервисов
14. Данных для теста изначально нет 14 Микросервис Данные для сервисов
15. Данных для теста изначально нет 15 Микросервис База данных (пустая) Данные для сервисов
16. 16 Данных должно быть много, будет много Данные для сервисов
17. 17 Микросервис Микросервис вырастет, в будущем Данные для сервисов
18. 18 База данных увеличится, в будущем Данные для сервисов База данных
19. Её наполнят пользователи, в будущем 19 Данные для сервисов
20. А пока пользователи не работают 20 Данные для сервисов
21. И загрузить готовые данные неоткуда 21 Данные для сервисов
22. Но можно сгенерировать тестовые данные 22 Данные для сервисов
23. Используя генераторы тестовых данных 23 Генератор данных через API Генератор данных через SQL Данные для сервисов
24. И работать с большой тестовой базой 24 Данные для сервисов
25. Подготовка данных для микросервисов Особенности подготовки данных для новых микросервисов: • для новых микросервисов тестовые данные взять неоткуда; • для тестов производительности данных должно быть много; • тестовые данные должны быть корректными, идеальными; • нужно генерировать данные для нескольких систем. 25 Данные для сервисов
26. Генерировать через API надежно, но долго 26 Данные для сервисов
27. Со стороны API подаются JSON-файлы 27 Данные для сервисов
28. Наполнять БД со стороны БД быстрее 28 Данные для сервисов
29. Импортируя подготовленные CSV-файлы 29 Данные для сервисов
30. Слабо нагружая сервер импортом из CSV 30 Данные для сервисов
31. Пример запроса импорта CSV-файла COPY table_name [ ( column_name [, ...] ) ] FROM 'filename' [ [ WITH ] [ DELIMITER [ AS ] 'delimiter_character' ] [ NULL [ AS ] 'null_string' ] [ CSV [ HEADER ] [ QUOTE [ AS ] 'quote_character' ] [ ESCAPE [ AS ] 'escape_character' ] [ FORCE NOT NULL column_name [, ...] ] ] ] https://www.postgresql.org/docs/current/sql-copy.html 31 Данные для сервисов
32. Или выполняя хранимые процедуры (SP) 32 Данные для сервисов
33. Сильно нагружая сервер выполнением SP 33 Данные для сервисов
34. С SP места на диске надо меньше, чем с CSV 34 Данные для сервисов
35. Генерация данных с SP — мой выбор 35 мой выбор Данные для сервисов
36. 1. Генерация основных больших данных с SP 36 Данные для сервисов
37. 2. Сложные порции данных загружаю из CSV 37 Электронные подписи Хеши паролей Данные для сервисов
38. 3. И лишь самые сложные через API 38 Балансы Выписки Данные для сервисов
39. Подготовка данных для микросервисов Особенности подготовки данных для новых микросервисов: • для новых микросервисов тестовые данные взять неоткуда; • для тестов производительности данных должно быть много; • тестовые данные должны быть корректными, идеальными; • нужно генерировать данные для нескольких систем. 39 Данные для сервисов
40. Если микросервис не новый и БД уже есть 40 Данные для сервисов
41. И тестовому стенду тоже нужна БД 41 Данные для сервисов
42. То, кажется, можно скопировать данные 42 Данные для сервисов
43. Выполнив деперсонализацию данных 43 Данные для сервисов
44. Деперсонализация работает на уровне SQL 44 Данные для сервисов SQL
45. Данные проверяются с разной точностью 45 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
46. Интерфейс: выпадающие списки значений 46 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
47. Интерфейс: выпадающие списки значений, очень сложно ошибиться в данных 47 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
48. Уровень API: проверка бизнес-логики 48 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
49. Уровень API: проверка бизнес-логики, сложно ошибиться в данных 49 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
50. Уровень SQL: только проверка целостности 50 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
51. Уровень SQL: только проверка целостности, легко ошибиться в данных 51 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
52. Допустить ошибку очень легко 52 Данные для сервисов
53. Деперсонализация ломает данные 53 Оригинал Деперсонализация Смирнов Вячеслав a7bbdd21b633c836027023642f8f0240b Райффайзенбанк Организация Москва 1$s9 *( owasp@yandex.ru 091823098120398109812 Данные для сервисов
54. Деперсонализация ломает данные 54 Оригинал Деперсонализация Смирнов Вячеслав a7bbdd21b633c836027023642f8f0240b Райффайзенбанк Организация Москва 1$s9 *( owasp@yandex.ru 091823098120398109812 Данные для сервисов
55. Деперсонализация ломает данные 55 Оригинал Деперсонализация Смирнов Вячеслав a7bbdd21b633c836027023642f8f0240b Райффайзенбанк Организация Москва 1$s9 *( owasp@yandex.ru 091823098120398109812 Данные для сервисов
56. Деперсонализация ломает данные 56 Оригинал Деперсонализация Смирнов Вячеслав a7bbdd21b633c836027023642f8f0240b Райффайзенбанк Организация Москва 1$s9 *( owasp@yandex.ru 091823098120398109812 Данные для сервисов
57. Деперсонализация ломает данные 57 Оригинал Деперсонализация Смирнов Вячеслав a7bbdd21b633c836027023642f8f0240b Райффайзенбанк Организация Москва 1$s9 *( owasp@yandex.ru 091823098120398109812 Данные для сервисов
58. А данные ломать нельзя Проверка формата: • ФИО • email • номера банковского счёта • кода страны, валюты, операции • номера ИНН, КПП, ОГРН, СНИЛС, ... 58 Данные для сервисов
59. Сломанные данные могут не отображаться на уровне интерфейса и вызывать ошибки 59 Уровень Язык Тщательность проверок Интерфейс JavaScript Выпадающие списки Сервер приложений Java, Scala Бизнес-правила Хранение данных SQL Constraint Целостность Данные для сервисов
60. В результатах будут постоянные ошибки 60 Постоянные ошибки
61. Качественная деперсонализация сложна 61 Данные для сервисов
62. Качественную генерацию сделать проще 62 Данные для сервисов
63. Подготовка данных для микросервисов Особенности подготовки данных для новых микросервисов: • для новых микросервисов тестовые данные взять неоткуда; • для тестов производительности данных должно быть много; • тестовые данные должны быть корректными, идеальными; • нужно генерировать данные для нескольких систем. 63 Данные для сервисов
64. Так как микросервисы взаимосвязаны 64 Данные для сервисов
65. Данные должны быть взаимосвязаны 65 Данные для сервисов
66. Random для идентификаторов запрещён 66 RANDOM Данные для сервисов
67. Нужно высчитывать идентификаторы 67 F(number) Данные для сервисов
68. Создать компании 68 Компания № 1 Данные для сервисов
69. Создать клиентов, соответствующих 69 Клиенты компании № 1 Данные для сервисов
70. Создать документы, соответствующие 70 Документы клиентов компании № 1 Данные для сервисов
71. Random для идентификаторов запрещён 71 Документы клиентов компании № 77777 Данные для сервисов Клиенты компании № 22222 Компания № 11111
72. Нужно высчитывать идентификаторы 72 F(number) Данные для сервисов F(number) F(number)
73. Подготовка данных для микросервисов 1. Для новых сервисов тестовые данные генерируются. 2. Основа генерации больших данных — хранимые процедуры, а импорт из CSV и работа с API лишь помогают. 3. Для старых микросервисов данные тоже генерируются, деперсонализация дорога и сложна. 4. Для генерации согласованных и предсказуемых данных не используется Random, используется числовой идентификатор объекта и математические преобразование. 73 Данные для сервисов
74. Подготовка данных для микросервисов 1. Для новых сервисов тестовые данные генерируются. 2. Основа генерации больших данных — хранимые процедуры, а импорт из CSV и работа с API лишь помогают. 3. Для старых микросервисов данные тоже генерируются, деперсонализация дорога и сложна. 4. Для генерации согласованных и предсказуемых данных не используется Random, используется числовой идентификатор объекта и математические преобразование. 74 Данные для сервисов
75. Подготовка данных для микросервисов 1. Для новых сервисов тестовые данные генерируются. 2. Основа генерации больших данных — хранимые процедуры, а импорт из CSV и работа с API лишь помогают. 3. Для старых микросервисов данные тоже генерируются, деперсонализация дорога и сложна. 4. Для генерации согласованных и предсказуемых данных не используется Random, используется числовой идентификатор объекта и математические преобразование. 75 Данные для сервисов
76. Подготовка данных для микросервисов 1. Для новых сервисов тестовые данные генерируются. 2. Основа генерации больших данных — хранимые процедуры, а импорт из CSV и работа с API лишь помогают. 3. Для старых микросервисов данные тоже генерируются, деперсонализация дорога и сложна. 4. Для генерации согласованных и предсказуемых данных не используется Random, используется числовой идентификатор объекта и математические преобразование. 76 Данные для сервисов
77. Подготовка данных для микросервисов 1. Для новых сервисов тестовые данные генерируются. 2. Основа генерации больших данных — хранимые процедуры, а импорт из CSV и работа с API лишь помогают. 3. Для старых микросервисов данные тоже генерируются, деперсонализация дорога и сложна. 4. Для генерации согласованных и предсказуемых данных не используется Random, используется числовой идентификатор объекта и математические преобразование. 77 Данные для сервисов
78. Содержание 78 Данные для сервисов Данные для нагрузки 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности
79. Подготовка данных для нагрузки Особенности тестов производительности: • тесты должны быть атомарными; • данные должны быть одноразовыми; • данные не должны пересекаться между двумя агентами; • тесты надо проводить часто, данные нужно готовить быстро. 79 Данные для сервисов Данные для нагрузки
80. Подготовка данных для нагрузки Особенности тестов производительности: • тесты должны быть атомарными; • данные должны быть одноразовыми; • данные не должны пересекаться между двумя агентами; • тесты надо проводить часто, данные нужно готовить быстро. 80 Данные для сервисов Данные для нагрузки
81. 81 Данные для сервисов Данные для нагрузки
82. 82 Вход с верным паролем Данные для сервисов Данные для нагрузки
83. 83 Попытка входа с неверным паролем Данные для сервисов Данные для нагрузки
84. 84 Сброс пароля Данные для сервисов Данные для нагрузки
85. Разделяем тесты на сценарии 85 Сценарий Почтовый домен Login @ok.ru Try_fail_password @fail.ru Reset_password @pass.ru Данные для сервисов Данные для нагрузки
86. Выделяем маркеры тестовых данных 86 Сценарий Почтовый домен Login @ok.ru Try_fail_password @fail.ru Reset_password @pass.ru Данные для сервисов Данные для нагрузки
87. Разделяем данные по сценариям и маркерам 87 Сценарий Шаблоны Количество Login loadUser{N}@ok.ru users 100k history 300k Try_fail_password incorrect{N}@fail.ru users 50k history 50k Reset_password u{N}reset@pass.ru users 10k history 50k Данные для сервисов Данные для нагрузки
88. Просчитываем количество данных 88 Сценарий Шаблоны Количество Login loadUser{N}@ok.ru users 100k history 300k Try_fail_password incorrect{N}@fail.ru users 50k history 50k Reset_password u{N}reset@pass.ru users 10k history 50k Данные для сервисов Данные для нагрузки
89. Фиксируем профиль данных в методике 89 Сценарий Шаблоны Количество Login loadUser{N}@ok.ru users 100k history 300k Try_fail_password incorrect{N}@fail.ru users 50k history 50k Reset_password u{N}reset@pass.ru users 10k history 50k Методика тестирования Данные для сервисов Данные для нагрузки
90. Подготовка данных для нагрузки Особенности тестов производительности: • тесты должны быть атомарными; • данные должны быть одноразовыми; • данные не должны пересекаться между двумя агентами; • тесты надо проводить часто, данные нужно готовить быстро. 90 Данные для сервисов Данные для нагрузки
91. Дважды войти с паролем Passw можно 91 Сценарий Описание Login Вход по логину и паролю Данные для сервисов Данные для нагрузки
92. Дважды ошибиться с паролем pASSW можно 92 Сценарий Описание Login Вход по логину и паролю Try_fail_password Попытка входа с неверным паролем Данные для сервисов Данные для нагрузки
93. Дважды сбросить пароль можно 93 Сценарий Описание Login Вход по логину и паролю Try_fail_password Попытка входа с неверным паролем Reset_password Сброс пароля Данные для сервисов Данные для нагрузки
94. Дважды сменить пароль Passw нельзя 94 Сценарий Описание Login Вход по логину и паролю Try_fail_password Попытка входа с неверным паролем Reset_password Сброс пароля Change_password Смена пароля Данные для сервисов Данные для нагрузки
95. Дважды сделать первый вход нельзя 95 Сценарий Описание Login Вход по логину и паролю Try_fail_password Попытка входа с неверным паролем Reset_password Сброс пароля Change_password Смена пароля First_Login Первый вход в систему Данные для сервисов Данные для нагрузки
96. Данные должны быть одноразовыми Иначе не получится протестировать: 1. Если начать менять изменённый пароль, то будет ошибка. 2. Если повторно зайти пользователем, которого ждут шаги первого входа, то сценарий не выполнится. 3. ... 96 Данные для сервисов Данные для нагрузки
97. Подготовка данных для нагрузки Особенности тестов производительности: • тесты должны быть атомарными; • данные должны быть одноразовыми; • данные не должны пересекаться между двумя агентами; • тесты надо проводить часто, данные нужно готовить быстро. 97 Данные для сервисов Данные для нагрузки
98. Распределённый запуск нагрузки 98 Данные для сервисов Данные для нагрузки
99. Тесты берутся из системы контроля версий 99 Данные для сервисов Данные для нагрузки
100. Одинаковые сценарии подают нагрузку 100 Данные для сервисов Данные для нагрузки
101. Агенты не должны мешать друг-другу 101 Данные для сервисов Данные для нагрузки Работа без конфликтов и блокировок
102. Как обеспечить уникальность данных агентов 102 Данные для сервисов Данные для нагрузки ?
103. JDBC API для получения данных 103 Данные для сервисов Данные для нагрузки
104. HTTP API для получения данных 104 Данные для сервисов Данные для нагрузки
105. HTTP Simple Table Server из Apache.JMeter 105 Данные для сервисов Данные для нагрузки
106. Virtual Table Server (VTS) из HP LoadRunner 106 Данные для сервисов Данные для нагрузки
107. AMQP API для получения данных 107 Данные для сервисов Данные для нагрузки
108. Разные CSV-файлы для разных агентов 108 Данные для сервисов Данные для нагрузки
109. ReadOnly CSV-файлы для разных агентов 109 Данные для сервисов Данные для нагрузки
110. Каждый агент читает свой CSV-файл 110 Данные для сервисов Данные для нагрузки
111. Выбирая имя файла по текущему имени хоста 111 Имя файла = Имя агента Данные для сервисов Данные для нагрузки
112. Поэтому имя хоста не должно меняться 112 Нужны постоянные агенты Данные для сервисов Данные для нагрузки
113. CSV-файлы — максимально просто и быстро 113 Мой выбор: • просто • быстро Данные для сервисов Данные для нагрузки
114. Подготовка данных для нагрузки Особенности тестов производительности: • тесты должны быть атомарными; • данные должны быть одноразовыми; • данные не должны пересекаться между двумя агентами; • тесты надо проводить часто, данные нужно готовить быстро. 114 Данные для сервисов Данные для нагрузки
115. За часовой тест меняется малая часть данных 115 Данные для сервисов Данные для нагрузки
116. За часовой тест меняется малая часть данных 116 100 000 объектов в тесте всего 1 000 000 объектов в БД Данные для сервисов Данные для нагрузки
117. За часовой тест меняется малая часть данных 117 10 000 объектов в тесте изменено 1 000 000 объектов в БД Данные для сервисов Данные для нагрузки
118. За часовой тест меняется малая часть данных 118 1% объектов БД изменен Данные для сервисов Данные для нагрузки 1 000 000 объектов в БД
119. Ресурсы для восстановления 119 Восстановление Длительность Место Сгенерировать заново 1 неделя мало Восстановить full backup 1 день немного Откатить журнал транзакций 1 час много Обновить изменённые 1 час мало Данные для сервисов Данные для нагрузки
120. Сгенерировать заново 120 Данные для сервисов Данные для нагрузки
121. Восстановить из полного бекапа 121 Данные для сервисов Данные для нагрузки
122. Восстановить по журналу транзакций 122 Данные для сервисов Данные для нагрузки
123. Обновить изменённые записи 123 Данные для сервисов Данные для нагрузки
124. Обновить изменённые записи — проще всего 124 Восстановление Длительность Место Сгенерировать заново 1 неделя Восстановить full backup 1 день немного Откатить журнал транзакций 1 час много Обновить изменённые 1 час мало Данные для сервисов Данные для нагрузки
125. Подготовка данных для нагрузки 1. Для каждого сценария в тесте производительности должен быть отдельный пул тестовых данных. 2. Пул тестовых данных должен быть без повторного использования. И читать данные из CSV быстрее всего. 3. SQL UPDATE — самый простой способ восстановления данных, при экономии места на дисках. 125 Данные для сервисов Данные для нагрузки
126. Подготовка данных для нагрузки 1. Для каждого сценария в тесте производительности должен быть отдельный пул тестовых данных. 2. Пул тестовых данных должен быть без повторного использования. И читать данные из CSV быстрее всего. 3. SQL UPDATE — самый простой способ восстановления данных, при экономии места на дисках. 126 Данные для сервисов Данные для нагрузки
127. Подготовка данных для нагрузки 1. Для каждого сценария в тесте производительности должен быть отдельный пул тестовых данных. 2. Пул тестовых данных должен быть без повторного использования. И читать данные из CSV быстрее всего. 3. SQL UPDATE — самый простой способ восстановления данных, при экономии места на дисках. 127 Данные для сервисов Данные для нагрузки
128. Содержание 128 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности Данные для сервисов Данные для нагрузки Генерация с Postgres
129. Генерация данных с PostgreSQL 129 Данные для сервисов Данные для нагрузки Генерация с Postgres Особенности генерации данных с PostgreSQL: • структура генератора данных; • подходы для генерации значений; • ускорение вставки значений.
130. Шаблоны и количество передаются через в хранимую процедуру генерации 130 load_fill_database_{scenario} load_fill_database load_get_name, load_get_password, … Данные для сервисов Данные для нагрузки Генерация с Postgres
131. Функция верхнего уровня просто передаёт параметры 131 load_fill_database_{test} • login • try_fail_password • reset_password • change_password • ... Данные для сервисов Данные для нагрузки Генерация с Postgres
132. Помним: параметры берутся из методики 132 Сценарий Шаблоны Количество Login loadUser{N}@ok.ru users 100k history 300k Try_fail_password incorrect{N}@fail.ru users 50k history 50k Reset_password u{N}reset@pass.ru users 10k history 50k Методика тестирования Данные для сервисов Данные для нагрузки Генерация с Postgres
133. Функция генерации данных запускает циклы генерации объектов 133 load_fill_database_{scenario} load_fill_database load_get_name, load_get_password, … Данные для сервисов Данные для нагрузки Генерация с Postgres
134. Функция генерации данных запускает циклы генерации данных 134 load_fill_database: FOR i IN iStart..iEnd LOOP • вычисление полей • INSERT INTO ... • INSERT INTO ... Данные для сервисов Данные для нагрузки Генерация с Postgres
135. В циклах вызываются функции вычисления полей, поля вычисляются без RUNDOM() 135 load_fill_database_{scenario} load_fill_database load_get_name, load_get_password, … Данные для сервисов Данные для нагрузки Генерация с Postgres
136. Помним: нужно высчитывать идентификаторы 136 F(index) F(index) F(index) Данные для сервисов Данные для нагрузки Генерация с Postgres
137. Подходы для генерации значений 137 Объект – функция от параметров и номера FOR index IN "indexStart".."indexEnd" LOOP value = function(index, params) Использование value для вставки в таблицы Данные для сервисов Данные для нагрузки Генерация с Postgres
138. Генерация данных с PostgreSQL 138 Данные для сервисов Данные для нагрузки Генерация с Postgres Особенности генерации данных с PostgreSQL: • структура генератора данных; • подходы для генерации значений; • ускорение вставки значений.
139. [0; N-1] = Остаток от деления на N 139 timeDiffMinutes = i % 80000 Данные для сервисов Данные для нагрузки Генерация с Postgres
140. Функция format для шаблонных строк 140 nick_name = format('user%sname', i::text) user123name Данные для сервисов Данные для нагрузки Генерация с Postgres
141. Комбинации format и остатка от деления для IPv4 141 format('106.%s.%s.%s', (((ip_index / 250) / 250) % 250)::text, ((ip_index / 250) % 250)::text, (1 + ip_index % 250)::text ) 106.0.1.2 15 625 000 значений Данные для сервисов Данные для нагрузки Генерация с Postgres
142. GUID = md5 от имени таблицы, теста и номера 142 guid = md5('users ' || test_name || lpad(i::text, 12, '0'))::uuid faf154aa-54d1-0b07-3c8e-fe8921f96 c45 Данные для сервисов Данные для нагрузки Генерация с Postgres
143. GUID = код(имени таблицы), код(теста) и номер, для отсортированных GUID 143 guid = ('22-33-44-55' || 'aa-bb-cc-dd-ee-ff' || lpad(i::text, 12, '0'))::uuid 22334455-aabb-ccdd-eeff-00000000 0001 Данные для сервисов Данные для нагрузки Генерация с Postgres
144. Выбор из словаря по номеру для имён, фамилий, отчеств 144 array[ 1 + mod(abs("Index"), arrayLenght) ] предел 1 ГБайт, тестировал 10 МБайт, использую 64 кБайт Данные для сервисов Данные для нагрузки Генерация с Postgres
145. Выбор из словаря по номеру для имён, фамилий, отчеств 145 array[ 1 + mod( abs("Index"), arrayLenght ) ] Данные для сервисов Данные для нагрузки Генерация с Postgres
146. Выбор из сгенерированной тестовой таблицы 146 1. Генерация CSV на java 2. Загрузка СSV в таблицу 3. SELECT из таблицы Данные для сервисов Данные для нагрузки Генерация с Postgres
147. Генерация данных с PostgreSQL 147 Данные для сервисов Данные для нагрузки Генерация с Postgres Особенности генерации данных с PostgreSQL: • структура генератора данных; • подходы для генерации значений; • ускорение вставки значений.
148. Ускорение вставки значений в базу данных 148 Данные для сервисов Данные для нагрузки Генерация с Postgres
149. Ускорение вставки значений в базу данных 149 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после Данные для сервисов Данные для нагрузки Генерация с Postgres
150. Ускорение вставки значений в базу данных 150 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после UPDATE pg_index SET indisready=false WHERE indexrelid = ( SELECT oid FROM pg_class WHERE relname in ('таблица1', 'таблица2') ); Данные для сервисов Данные для нагрузки Генерация с Postgres
151. Ускорение вставки значений в базу данных 151 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после ALTER TABLE public.таблица1 DISABLE TRIGGER ALL; ALTER TABLE public.таблица2 DISABLE TRIGGER ALL; Данные для сервисов Данные для нагрузки Генерация с Postgres
152. Ускорение вставки значений в базу данных 152 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после ALTER TABLE public.таблица1 DROP CONSTRAINT таблица1_pkey; ALTER TABLE public.таблица2 DROP CONSTRAINT таблица2_pkey; Данные для сервисов Данные для нагрузки Генерация с Postgres
153. Ускорение вставки значений в базу данных 153 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после SELECT load_fill_database_test1( 1, 1000000 ); SELECT load_fill_database_test2( 1000001, 2000000 ); Данные для сервисов Данные для нагрузки Генерация с Postgres
154. Ускорение вставки значений в базу данных 154 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после ALTER TABLE public.таблица1 ADD CONSTRAINT таблица1_pkey PRIMARY KEY(id); ALTER TABLE public.таблица2 ADD CONSTRAINT таблица2_pkey PRIMARY KEY(id); Данные для сервисов Данные для нагрузки Генерация с Postgres
155. Ускорение вставки значений в базу данных 155 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после ALTER TABLE public.таблица1 ENABLE TRIGGER ALL; ALTER TABLE public.таблица2 ENABLE TRIGGER ALL; Данные для сервисов Данные для нагрузки Генерация с Postgres
156. Ускорение вставки значений в базу данных 156 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после UPDATE pg_index SET indisready=true WHERE indexrelid = ( SELECT oid FROM pg_class WHERE relname in ('таблица1', 'таблица2') ); Данные для сервисов Данные для нагрузки Генерация с Postgres
157. Ускорение вставки значений в базу данных 157 1. Сохранить схему БД 2. Отключить индексы 3. Отключить триггеры 4. Удалить ключи 5. Сгенерировать данные 6. Создать ключи 7. Включить триггеры 8. Включить индексы 9. Переиндексировать 10. Сравнить схему до и после REINDEX public.таблица1; REINDEX public.таблица2; Данные для сервисов Данные для нагрузки Генерация с Postgres
158. Генерация данных с PostgreSQL 158 Данные для сервисов Данные для нагрузки Генерация с Postgres 1. Основа генератора — параметризированная хранимая процедура с циклами создания объектов. 2. На SQL можно вычислять числа, шаблонные строки, GUID-ы, выбирать значения из массивов и таблиц. 3. Для ускорения вставки рекомендуется отключать индексы и удалять ключи, а потом их восстанавливать.
159. Генерация данных с PostgreSQL 159 Данные для сервисов Данные для нагрузки Генерация с Postgres 1. Основа генератора — параметризированная хранимая процедура с циклами создания объектов. 2. На SQL можно вычислять числа, шаблонные строки, GUID-ы, выбирать значения из массивов и таблиц. 3. Для ускорения вставки рекомендуется отключать индексы и удалять ключи, а потом их восстанавливать.
160. Генерация данных с PostgreSQL 160 Данные для сервисов Данные для нагрузки Генерация с Postgres 1. Основа генератора — параметризированная хранимая процедура с циклами создания объектов. 2. На SQL можно вычислять числа, шаблонные строки, GUID-ы, выбирать значения из массивов и таблиц. 3. Для ускорения вставки рекомендуется отключать индексы и удалять ключи, а потом их восстанавливать.
161. Генерация данных с PostgreSQL 161 Данные для сервисов Данные для нагрузки Генерация с Postgres 1. Основа генератора — параметризированная хранимая процедура с циклами создания объектов. 2. На SQL можно вычислять числа, шаблонные строки, GUID-ы, выбирать значения из массивов и таблиц. 3. Для ускорения вставки рекомендуется отключать индексы и удалять ключи, а потом их восстанавливать.
162. Содержание 162 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python
165. 165 Просто • создать Person
166. 166 Просто • создать Person Не очень сложно • сгенерировать отчество
169. 169 Просто • создать Person с male
170. 170 Транслитерация • тоже просто с Python
171. 171 Убрать дубли • одной строкой
172. 172 Обновить колонки • массово • просто • магия Pandas
173. 173 Экспорт в формат • XLS (Excel) • CSV (таблица) • HTML • ...
174. Генерация данных с Python 174 Данные для сервисов Данные для нагрузки Генерация с Postgres 1. Генерировать псевдо-персональные данные легко. 2. Работать со списками значений легко с Pandas. 3. Сохранять наборы данных в Excel/CSV легко. Генерация с Python
175. Содержание 175 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности
176. Если генерируете данные со стороны API 176 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов
177. Переиспользуйте структуры данных сервиса 177 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов
178. Так легче всего получить валидный JSON/XML 178 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов
179. Разработчики уже всё написали и структуры данных и код валидации 179 • Data Transfer Object • Model • XSD Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов
180. Генерация данных с сериализацией классов 180 Данные для сервисов Данные для нагрузки Генерация с Postgres 1. Разработчики уже написали DTO, Model, XSD, ... 2. Можно генерировать связанные объекты. 3. Можно генерировать сложные объекты. 4. Можно ставить точки останова. 5. Легко получить JSON и XML. Генерация с Python Сериализац ия классов
181. Содержание 181 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности
182. Влияние данных на результат тестирования 182 Данные для сервисов Данные для нагрузки 1. Нет ошибок вызываемых некоректными данными. 2. Плюс 40% новых важных дефектов производительности. 3. Можно легко находить ошибки потери и повреждения данных, это до 7% всех ошибок нагруженной системы. 4. Можно легко находить медленные запросы, это до 35% всех ошибок нагруженной системы. Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
183. Сгенерированы только корректные данные 183 Данные для сервисов Данные для нагрузки 1. Созданы только корректные данные 2. Система работает 3. Смотрим лог ошибок: ◦ все ошибки значимы ◦ ошибок должно быть 0 ◦ просто заводить баги SELECT load_fill_database_test1( 1, 1000000 ); SELECT load_fill_database_test2( 1000001, 2000000 ); Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
184. Сгенерированы только корректные данные 184 1. Созданы только корректные данные 2. Система работает 3. Смотрим лог ошибок: ◦ все ошибки значимы ◦ ошибок должно быть 0 ◦ просто заводить баги Пишет лог: app.log ElasticSearch GrayLog ... Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
185. Сгенерированы только корректные данные 185 1. Созданы только корректные данные 2. Система работает 3. Смотрим лог ошибок: ◦ все ошибки значимы ◦ ошибок должно быть 0 ◦ просто заводить баги grep "ERROR" ./app.log Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
186. Влияние данных на результат тестирования 186 Данные для сервисов Данные для нагрузки 1. Нет ошибок вызываемых некоректными данными. 2. Плюс 40% новых важных дефектов производительности. 3. Можно легко находить ошибки потери и повреждения данных, это до 7% всех ошибок нагруженной системы. 4. Можно легко находить медленные запросы, это до 35% всех ошибок нагруженной системы. Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
187. Выявление дефектов производительности 187 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
188. Плюс 40% дефектов производительности 188 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
189. Влияние данных на результат тестирования 189 Данные для сервисов Данные для нагрузки 1. Нет ошибок вызываемых некоректными данными. 2. Плюс 40% новых важных дефектов производительности. 3. Можно легко находить ошибки потери и повреждения данных, это до 7% всех ошибок нагруженной системы. 4. Можно легко находить медленные запросы, это до 35% всех ошибок нагруженной системы. Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
190. Корректность данных: количество строк 190 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
191. При генерации создаётся 1 000 000 записей 191 1. Создаётся N записей 2. Система работает 3. Сверяем числа: ◦ количество записей ◦ строки в отчете ◦ статистика SELECT load_fill_database_test1( 1, 1000000 ); SELECT load_fill_database_test2( 1000001, 2000000 ); Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
192. Система работает, меняет данные 192 1. Создаётся N записей 2. Система работает 3. Сверяем числа: ◦ количество записей ◦ строки в отчете ◦ статистика UPDATE ... SELECT ... SELECT ... UPDATE ... INSERT ... INSERT ... SELECT ... DELETE ... UPDATE ... SELECT ... SELECT ... Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
193. Проверяем наличие 1 000 000 записей 193 1. Создаётся N записей 2. Система работает 3. Сверяем числа: ◦ количество записей ◦ строки в отчете ◦ статистика SELECT count(*) FROM public.таблица1 GROUP BY name; SELECT count(*) FROM public.таблица2 GROUP BY title; Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
194. Проверяем наличие 1 000 000 записей 194 1. Создаётся N записей 2. Система работает 3. Сверяем числа: ◦ количество записей ◦ строки в отчете ◦ статистика -- Корректное количество: 1 000 000 -- Запись потерялась: 999 999 -- Две записи потеряны: 999 998 -- Дублирование: 2 000 000 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
195. Влияние данных на результат тестирования 195 Данные для сервисов Данные для нагрузки 1. Нет ошибок вызываемых некоректными данными. 2. Плюс 40% новых важных дефектов производительности. 3. Можно легко находить ошибки потери и повреждения данных, это до 7% всех ошибок нагруженной системы. 4. Можно легко находить медленные запросы, это до 35% всех ошибок нагруженной системы. Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
196. Большие данные: медленные запросы 196 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
197. При генерации создаётся много записей 197 1. Создаётся много записей 2. Система работает 3. Смотрим на мониторинг ◦ pg_stat_statements 4. Изучаем план запроса 5. Добавляем индексы 6. Переписываем запросы SELECT load_fill_database_test1( 1, 1000000 ); SELECT load_fill_database_test2( 1000001, 2000000 ); Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
198. Система работает, ей тяжело, данных много 198 1. Создаётся много записей 2. Система работает 3. Смотрим на мониторинг ◦ pg_stat_statements 4. Изучаем план запроса 5. Добавляем индексы 6. Переписываем запросы UPDATE ... SELECT ... SELECT ... UPDATE ... INSERT ... INSERT ... SELECT ... DELETE ... UPDATE ... SELECT ... SELECT ... Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
199. Смотрим статистику выполнения запросов 199 1. Создаётся много записей 2. Система работает 3. Смотрим на мониторинг ◦ pg_stat_statements 4. Изучаем план запроса 5. Добавляем индексы 6. Переписываем запросы SELECT query, calls, total_time, mean_time FROM pg_stat_statements ORDER BY total_time DESC Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
200. Изучаем планы медленных запросов 200 1. Создаётся много записей 2. Система работает 3. Смотрим на мониторинг ◦ pg_stat_statements 4. Изучаем план запроса 5. Добавляем индексы 6. Переписываем запросы BEGIN; EXPLAIN ANALYZE ...; ROLLBACK; Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
201. Добавляем индексы, смотрим на план 201 1. Создаётся много записей 2. Система работает 3. Смотрим на мониторинг ◦ pg_stat_statements 4. Изучаем план запроса 5. Добавляем индексы 6. Переписываем запросы CREATE INDEX ...; CREATE INDEX ...; BEGIN; EXPLAIN ANALYZE ...; ROLLBACK; Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
202. Смотрим на планы изменённых запросов 202 1. Создаётся много записей 2. Система работает 3. Смотрим на мониторинг ◦ pg_stat_statements 4. Изучаем план запроса 5. Добавляем индексы 6. Переписываем запросы BEGIN; EXPLAIN ANALYZE ...; ROLLBACK; BEGIN; EXPLAIN ANALYZE ...; ROLLBACK; BEGIN; EXPLAIN ANALYZE ...; ROLLBACK; Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
203. Влияние данных на результат тестирования 203 Данные для сервисов Данные для нагрузки 1. Нет ошибок вызываемых некоректными данными. 2. Плюс 40% новых важных дефектов производительности. 3. Можно легко находить ошибки потери и повреждения данных, это до 7% всех ошибок нагруженной системы. 4. Можно легко находить медленные запросы, это до 35% всех ошибок нагруженной системы. Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат
204. Содержание 204 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности Микроотчет
205. Микроотчет по тестам производительности 205 Данные для сервисов Данные для нагрузки 1. Структура и стоимость отчета по тестам производительности 2. Применимость отчета по тестам производительности 3. Структура и стоимость микроотчета Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
206. Микроотчет по тестам производительности 206 Данные для сервисов Данные для нагрузки 1. Структура и стоимость отчета по тестам производительности 2. Применимость отчета по тестам производительности 3. Структура и стоимость микроотчета Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
207. Самый главный совет 207 Данные для сервисов Данные для нагрузки Записывать всё, все результаты и детали Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
208. Самый главный совет 208 Данные для сервисов Данные для нагрузки Записывать всё, все результаты и детали, например, в отчет по тестированию Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
209. Микроотчет по тестам производительности 209 Данные для сервисов Данные для нагрузки 1. Структура и стоимость отчета по тестам производительности 2. Применимость отчета по тестам производительности 3. Структура и стоимость микроотчета Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
210. Отчет по нагрузке читать не будут 210 Данные для сервисов Данные для нагрузки Коллеги уже перегружены информацией Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
211. Отчет нужен только самому инженеру 211 Данные для сервисов Данные для нагрузки • Для истории • Для отчетности в бухгалтерию • Обязательный артефакт тестирования Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
212. Отчет полезен на презентации результатов 212 Данные для сервисов Данные для нагрузки Если нужно донести информацию из отчета, то можно собрать совещание, и рассказать о результатах Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
213. Презентации результатов полезны 213 Данные для сервисов Данные для нагрузки В больших распределённых командах, при долгих циклах тестирования, если вы — внешний сотрудник Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
214. Презентации и большой отчет не нужны 214 Данные для сервисов Данные для нагрузки В малых локальных командах, с короткими циклами тестирования, если вы внутренний сотрудник компании Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
215. Микроотчет по тестам производительности 215 Данные для сервисов Данные для нагрузки 1. Структура и стоимость отчета по тестам производительности 2. Применимость отчета по тестам производительности 3. Структура и стоимость микроотчета Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
216. Результаты НТ сервиса AAAA версии 1.2.3 216 Данные для сервисов Данные для нагрузки Кому: Разработчик, Администратор, Менеджер, Команда Тестирование нагрузки прошло успешно. Деградации производительности нет. Ссылки на результаты запуска: • отчет инструмента тестирования • утилизация ресурсов и метрики • статистика по логам системы Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
217. Результаты НТ сервиса AAAA версии 1.2.4 217 Данные для сервисов Данные для нагрузки Кому: Разработчик, Администратор, Менеджер, Команда Тестирование нагрузки прошло успешно. Деградация производительности 40%, чинится настройками. Администратор, нужно применить рекомендации для прода: • ссылка на рекомендации для продуктива Ссылки на результаты запуска: • ... Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
218. Результаты НТ сервиса AAAA версии 1.2.5 218 Данные для сервисов Данные для нагрузки Кому: Разработчик, Администратор, Менеджер, Команда Тестирование нагрузки прошло неуспешно. Деградация производительности 100%. Разработчик, оформлены дефекты производительности: • ссылки на дефекты производительности Ссылки на результаты запуска: • ... Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
219. Результаты НТ сервиса AAAA версии 1.2.6 219 Данные для сервисов Данные для нагрузки Кому: Разработчик, Администратор, Менеджер, Команда Тестирование нагрузки прошло успешно. Производительность системы восстановлена и улучшена. Менеджер, дефекты производительности исправлены и проверены: • ссылки на дефекты производительности Администратор, нужно применить рекомендации для прода: • ссылка на рекомендации для продуктива Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
220. Микроотчет по тестам производительности 220 Данные для сервисов Данные для нагрузки 1. Большой отчет пишется от 1 дня и включает версию, описание стенда, профиль нагрузки, профиль данных, результаты, ссылки на метрики, графики, таблицы 2. Большой отчет нужен инженеру для презентации 3. Микроотчет пишется в email, кратко, со ссылками на детали Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет
221. Содержание 221 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности Микроотчет Метрики
222. Самый главный совет 222 Данные для сервисов Данные для нагрузки Записывать всё, все результаты и детали Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
223. Самый главный совет 223 Данные для сервисов Данные для нагрузки Записывать всё, все результаты и детали, например, автоматически в Time Series Data Base Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
224. Сбор и визуализация метрик 224 Данные для сервисов Данные для нагрузки 1. InfluxDB может хранить большую часть результатов 2. В InfluxDB есть retention policy, без которой база переполнится 3. В Grafana есть снимки досок, на которые удобно ссылаться Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
225. InfluxDB может хранить почти все результаты 225 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
226. Telegraf собирает метрики по 100 видам систем 226 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
227. Сбор и визуализация метрик 227 Данные для сервисов Данные для нагрузки 1. InfluxDB может хранить большую часть результатов 2. В InfluxDB есть retention policy, без которой база переполнится 3. В Grafana есть снимки досок, на которые удобно ссылаться Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
228. ∞ Retention policy с именем auto в InfluxDB 228 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
229. ∞ База данных растёт, становится медленной 229 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
230. ∞ И перестаёт работать, приходится чистить 230 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
231. • month — на месяц, default • year — на год • year10 — на 10 лет Retention policy на месяц, год и 10 лет 231 Данные для сервисов Данные для нагрузки Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
232. Сбор и визуализация метрик 232 Данные для сервисов Данные для нагрузки 1. InfluxDB может хранить большую часть результатов 2. В InfluxDB есть retention policy, без которой база переполнится 3. В Grafana есть снимки досок, на которые удобно ссылаться Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
236. Результаты НТ сервиса AAAA версии 1.2.3 236 Данные для сервисов Данные для нагрузки Кому: Разработчик, Администратор, Менеджер, Команда Тестирование нагрузки прошло успешно. Деградации производительности нет. Ссылки на результаты запуска: • отчет инструмента тестирования • утилизация ресурсов и метрики • статистика по логам системы Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
237. Сбор и визуализация метрик 237 Данные для сервисов Данные для нагрузки 1. InfluxDB может хранить большую часть результатов 2. В InfluxDB есть retention policy, без которой база переполнится 3. В Grafana есть снимки досок, на которые удобно ссылаться Генерация с Postgres Генерация с Python Сериализац ия классов Влияние на результат Микроотчет Метрики
238. Содержание 1. Подготовка данных для микросервисов 2. Подготовка данных для тестов производительности 3. Генерация данных c PostgreSQL 4. Генерация данных с Python 5. Генерация данных с сериализацией классов 6. Влияние данных на результат тестирования 7. Микроотчёт по тестированию производительности 8. Сбор и визуализация метрик производительности 238
239. polarnik Вячеслав Смирнов Эксперт по тестированию Райффайзенбанк Вопросы? @smirnovqa @qa_load owasp@ya.ru