Вылавливаем бизнес-ценность из океана тест-кейсов: как Аналитик помогает QA сделать тесты легкими и ценными

Константин Семенов
Ведущий аналитик, EPAM Systems
SECR 2019

В этом докладе мы рассмотрим методы и инструменты взаимодействия, когда аналитик помогает QA-инженерам составить пакеты Smoke, регрессионных, нагрузочных и приемочных тестов, как автоматизированных, так и мануальных, основанных на пользе приносимой приложением, чтобы проверить самые важные потоки ценности для пользователей.

Transcript

1. Вылавливаем бизнес-ценность из океана тест-кейсов Как аналитик помогает QA сделать тесты легкими и ценными Константин Семенов
2. Времени на всё - нет никогда Ручные тест-кейсы Как быстро их исполняют Я же не могу жить на работе! 2
3. Вы кто такие? Я вас не знаю! Где пригодились бы ценные пакеты тестов? Кто конкретно пользуется системой у заказчика? Как часто они пользуются системой? Что эти люди там делают? Нагрузочное тестирование Какие данные им нужны для работы? 3
4. Эй, ты жива там? Где пригодились бы ценные пакеты тестов? Проверка работоспособности окружения Как понять что можно запускать пользователей на окружение? Какой глубины проверки достаточно чтобы считать что приложение имеет достаточно ценности? Как определить что самое важное для пользователей при проверке нового окружения? 4
5. И что мне выбрать?! Где пригодились бы ценные пакеты тестов? Что пользователи считают самым важным в своей работе? Какие сценарии критичны и требуют первоочередной проверки? Какие истории и артефакты связаны со сценариями? Проверка пользовательских сценариев 5
6. Не смотри на меня так, я сама ничего не знаю! Где пригодились бы ценные пакеты тестов? Какие тесты являются самыми важными? Какая группа тестов после автоматизации будет иметь смысл? Что нужно проверять после каждой сборки? Первоочередная автоматизация 6
7. Где нужны ценные пакеты тестов? Подготовка и проверка сценариев для приемки пользователями Подготовка нагрузочных сценариев и данных для них Проверка работоспособности окружений до или после релиза Выбор тестов для первоочередной автоматизации 7
8. Вход в приложение Успешная авторизация Переход к списку животных Создание запроса на перемещение Исполнение Пользовательский сценарий 8
9. Вход в приложение Успешная авторизация Переход к списку животных Создание запроса на перемещение Исполнение Создание запроса на генотипирование Исполнение И еще один пользовательский сценарий 9
10. Вход в приложение Успешная авторизация Переход к списку животных Создание запроса на перемещение Исполнение Создание запроса на генотипирование Исполнение Два совмещенных сценария 10
11. Вход в приложение Успешная авторизация Переход к списку животных Создание запроса на перемещение Исполнение Создание запроса на генотипирование Исполнение Переход к списку запросов Выбор запросов на визирование Визирование Три совмещенных сценария 11
12. Это что? Схема пригородных электричек? Карта совмещенных сценариев 12
13. Коля, как там мышь? Я только получила сообщение. Оля, все хорошо, делать ничего не надо, она уже сдохла! Действительно критичный сценарий? Его невыполнение полностью блокирует персону Последствия от его невыполнения крайне серьезны или необратимы Невыполнение наносит серьезный ущерб 13
14. Карта совмещенных сценариев 14
15. Карта совмещенных сценариев 15
16. Критические Важные Вспомогательные интеграция Инициация Исполнение Результат Соотносим пользовательский сценарий с артефактами аналитика Мешанина какая-то… 16
17. Критические 17
18. Критические Важные 18
19. Критические Важные Вспомогательные 19
20. Критические Важные Вспомогательные интеграция 20
21. Критические Важные Вспомогательные интеграция Инициация Исполнение Результат Соотносим пользовательский сценарий с картой историй Кажется, ситуация проясняется… 21
22. Срез функциональности для Smoke тестирования 22
23. Срез функциональности для Smoke тестирования Вход в приложение Успешная авторизация 23
24. Срез функциональности для Smoke тестирования Вход в приложение Успешная авторизация Переход к списку животных Переход к списку запросов 24
25. Срез функциональности для Smoke тестирования Вход в приложение Успешная авторизация Переход к списку животных Переход к списку запросов 25
26. Срез функциональности для Smoke тестирования Вход в приложение Успешная авторизация Переход к списку животных Переход к списку запросов Теперь понятно! 26
27. Ручные тест-кейсы Так-то лучше. Сейчас я им задам! Как быстро их обрабатывают Времени на всё - нет никогда 27
28. Нагрузочное тестирование Группа самых частых сценариев + количество персон + подготовка данных Срез на совмещенной карте пользовательских сценариев Самые критичные пользовательские сценарии Критичные части самых важных сценариев Что и для чего нам пригодится Smoke-тестирование и подготовка окружений Автоматизация тестов Приемочное тестирование Константин Семенов @davvol