Организация процесса тестирования. Простые и быстрые интеграционные тесты на TestHost

Transcript

1. ASP.NET Core Роман Русаков Александр Прокошев Организация процесса тестирования. Простые и быстрые интеграционные тесты на Testhost
2. С чего всё началось Несколько вопросов, над которыми нужно подумать: 1. Какие есть сложности для написания автотестов? 2. Что такое интеграционные тесты? … углубившись в эти вопросы, мы подготовили несколько статей и доклад...
3. Для чего всё это нужно? (писать автотесты, в частности автоматизировать интеграционные тесты)
4. 1. Сократить петлю обратной связи между обнаружением бага и разработчиком. 2. Ускорить поставку новых фич/релизов. 3. Обеспечить высокое качество наших проектов. К чему мы стремимся?
5. Процесс... … который поможет нам достичь наших стремлений
6. 1. Разработчик убеждается, что его сервис/фича работает (или что ничего не сломал), с помощью автоматических тестов, и передает в тестирование не только сервис/фичу, но тесты с тестовой инфраструктурой. Всё готово!
7. 2. QA, убеждается в наличии необходимой инфраструктуры, ревьюет автоматические тесты от разработчика и дополняет их. При необходимости, запрашивает у разработчика недостающую тестовую инфраструктуру или примеры тестов. Проверено и дополнено!
8. 3. За счёт автоматизации тестирования, QA концентрирует свое внимание на глубоком анализе проекта, понимании бизнес-требований, проработке сложных интеграционных сценариев. Подумали о сложном!
9. 4. В prod сервис/фича выходят с готовыми автоматическими тестами и/или зафиксированными ручными сценариями проверки. Передаем в prod!
10. 5. Для ручных сценариев должны быть определены четкие критерии их запуска (периодичность и условия запуска). Помним о повторении!
11. Чтобы процесс заработал нужно придерживаться некоторых принципов Они могут сделать жизнь чуть проще
12. 1. Тесты должны быть автоматическими. 2. Тесты должны быть стабильными. 3. Тесты должны быть простыми. 4. Тесты должны быть обоснованными (приносить пользу, а не страдания). Принципы
13. 1. Стремление создавать тесты в контролируемом окружении, чтобы тесты были стабильны. 2. Минимально достаточное количество тестов в неконтролируемом окружении. 3. Готовая инфраструктура для тестов из наших "кубиков". 4. Есть связь между автоматическими тестами и тестовыми сценариями. Что нам может помочь?
14. 1. Нужно стремиться, чтобы тесты захватывали только ту часть системы, которые они проверяют, но не забывать, что тесты должны оставаться простыми. 2. Если вы хотите протестировать сервис, то тестируйте сервис, а если вы тестируете взаимодействие, то тестируйте взаимодействие. 3. Минимально достаточное количество “хрупких” тестов. Немного резюмируя...
15. Что такое интеграционные автотесты? Оказывается сложный вопрос, надо разбираться...
16. Виды автоматизированного тестирования в контексте API: 1. Unit-тесты 2. Тестирование слоя интеграции 3. Тестирование API сервиса (RPC, queue consumers) 4. Тестирование взаимодействия сервисов 5. Тестирование контрактов 6. End-to-End тестирование
17. Что из этого интеграционные тесты? Да почти всё :) 1. Unit-тесты 2. Тестирование слоя интеграции 3. Тестирование API сервиса (RPC, queue consumers) 4. Тестирование взаимодействия сервисов 5. Тестирование контрактов 6. End-to-End тестирование
18. Сложные интеграционники: 1. Unit-тесты 2. Тестирование слоя интеграции 3. Тестирование API сервиса (RPC, queue consumers) 4. Тестирование взаимодействия сервисов 5. Тестирование контрактов 6. End-to-End тестирование
19. Стремимся к простым интеграционникам: 1. Unit-тесты 2. Тестирование слоя интеграции 3. Тестирование API сервиса (RPC, queue consumers) 4. Тестирование взаимодействия сервисов 5. Тестирование контрактов 6. End-to-End тестирование
20. End-to-End тестирование 1. Минимально необходимое количество тестов на неконтролируемом окружении 2. Проверка пути прохождения цепочки микросервисов (все сервисы провзаимодействовали от начала до конца)
21. Итог: 1. Unit-тесты - контролируемое окружение 2. Тестирование API сервиса (RPC, queue consumers) - контролируемое окружение 3. End-to-End тестирование - неконтролируемое окружение
22. Тестирование сервисов Залог хорошего сна
23. Что такое сервис? 1. Один процесс 2. Длительное время работы 3. Api ◦ вызовы ◦ очереди ◦ расписание
24. Простой вопрос Почему я уверен, что сервис работает так, как задумано? 1. Юнит тесты 2. Проверил в постмане 3. Тестировщик проверил 4. Прод работает 5. Автоматизированные интеграционные тесты
25. Я задолбался 1. Повторять одни и те же сценарии 2. Регресы бьют по самолюбию 3. Возврат к задаче отвлекает 4. Искать изменения в БД и прочих сервисах
26. Тесты сервиса должны быть 1. Автоматическими 2. Простыми в запуске 3. Повторяемыми
27. TestHost 1. Запуск сервиса в том же процессе, что и тесты 2. Получение любых объектов из DI 3. Замена любых объектов в DI 4. Обращение к методам по http
28. Типичный процесс 1. Пишу новый метод 2. Пишу для него тесты 3. Случайно меняю код, пока тесты не начнут проходить 4. Показываю тесты тестировщику, чтобы он знал о проверенных и возможных сценариях 5. Для багов всегда пишу тест раньше исправления
29. Типичные тесты 1. Замоконы все внешние вызовы кроме БД 2. TestHost шарится между тестами 3. Тесты выполняются последовательно 4. Перед каждым тестом очищается контекст в памяти 5. На каждый тест создаётся новый контекст в данных, если это возможно (пользователь и т.д.) 6. Данные готовятся через api, useCase, БД
30. Пример теста
31. Новый пользователь
32. Шаринг и очистка контекста
33. Моки!
34. Успешный мок
35. Злой мок
36. Итого 1. Пишите стабильные тесты 2. Регулярно запускайте 3. Спите спокойно
37. Пара слов после знакомства и использования Testhost Антон, Денис.
38. https://byndyusoft.com Организация процесса тестирования Виды тестирования в контексте API Пример тестирования сервиса Что и как можем тестировать в контексте API Спасибо! Мы сделали это вместе.