Автоматизация тестирования в системе ограничений

Расскажу о нашем опыте тотальной автоматизации тестирования в сложных условиях: небольшая аутсорс команда в инфраструктуре заказчика, мануальные QA, конкуренция за тестовое окружение, fixed-price разработка.
Как мы пришли к поставке полного набора автоматизированных кейсов и документации с каждым релизом, несмотря на различные препятствия.
Доклад поможет командам, которые не решаются стартануть автоматизацию тестирования, найти мотивацию работать с ограничениями и выбрать подходящие решения. В конце немного пофилософствуем.

Дмитрий Кожевников, Byndyusoft

SQA Days 2023, Москва
https://sqadays.com/ru/talk/114325

Transcript

1. Что мешает автоматизировать? Дмитрий Кожевников, Byndyusoft Автоматизация тестирования в условиях ограничений.
2. 2 Byndyusoft — 11 лет на рынке Создаём IT-продукты для бизнеса на заказ. Стартуем с аналитики, разрабатываем, внедряем продукт и обеспечиваем поддержку.
3. Senior .NET Developer 10+ лет пишу тесты t.me/DmitryKozhevnikov Byndyusoft t.me/byndyusoft twitter.com/byndyusoft github.com/byndyusoft Дмитрий Кожевников 3
4. Контекст Про что? Для кого? 4
5. Команда TeamLead Антоша 5 Manual QA Денчик Developer Димон
6. Проект — Система документооборота — Outsource, fix-price — Инфраструктура заказчика
7. Проблема Слишком много кейсов Слишком мало QA
8. На автоматизацию нет времени 8
9. Почему нет времени? — Не можем дать оценку на автоматизацию — Не может объяснить ценность автотестов
10. Оценка автоматизации *Оценивают автоматизацию*
11. Ценность автоматизации Вручную смогу только 10%
12. Что получилось — Нашли время на автоматизацию — Тестирование == автоматизация
13. Вывод — Сначала продайте автоматизацию команде — Покажите оценки и перспективу
14. Тестировщики не умеют автоматизировать 14
15. Почему нет автоматизаторов — Денчик не умеет писать код — Мы не можем нанять авто-Денчика — Разработчики — не Денчик
16. 20% разработчик Кто такой автоматизатор? 80% QA
17. Обучение QA — Обучение за счёт бюджета QA — Парное программирование, онбординг, код-ревью — Инфраструктура от разработчиков
18. Что получилось — 3-4 месяца до самостоятельно написанных автотестов — 20% бюджета QA на разработчиков — Стандартная инфраструктура автотестов — Денчик пишет основной объём автотестов
19. Выводы — Сделайте обучение автоматизации командной практикой — Используйте экспертизу разработчиков Доклад на CodeFest 13.codefest.ru/ lecture/2261
20. Инфраструктура не даёт автоматизировать 20
21. Проблемы команды — Нет feature-окружений — Конкуренция за тестовое окружение — Окружение всегда сломано
22. Масштаб тестов — End-to-End для приёмочного тестирования — Тесты сервисов для основного покрытия
23. End To End тесты — Занимают окружение — Запускаются перед релизом — Хрупкие — Выполняются долго
24. Тесты сервисов — Не занимают окружение — Запускаются часто — Ломаются реже — Выполняются быстро
25. А ещё — Можно делать TDD — Легче в разработке — Всё ещё бизнесовые — Живут в репозитории сервиса
26. Что получилось — Система из 100+ сервисов — Покрытие сервисов 85+ % — Десятки e2e — Тысячи тестов сервисов
27. Выводы — Выберите удобный масштаб — Напишите инфраструктуру — Стандартизируйте
28. Инструменты недоступны / не подходят 28
29. Денчик и тестовая документация — Тестовая документация ведётся вручную — Allure не купили — Много legacy тестов
30. Автоматизация документации — Генерация readme по тест-кейсам — Встраивание генератора в инфраструктуру
31. Тест кейсы в коде
32. Тест кейсы в коде
33. Тест кейс в readme
34. Тест кейс в readme
35. Так тоже работает
36. И так
37. 37 Что получилось — Денчик получает документацию бесплатно — Димон положил решение в open-source — Планируют сбор статистики по прогонам github.com/Byndyusoft/byndyuso ft-dotnet-test-infrastructure
38. Выводы — Не бойтесь легковесных ad-hoc инструментов — Полезно иногда меняться ролями
39. Финал истории 39
40. — Уложились в бюджет QA — Научили Денчика писать код — Выбрали подходящий масштаб тестов — Собираем документацию автоматически К чему пришли — Не было времени на автоматизацию — QA не умеет автоматизировать — Нет feature- окружений — Не дают / не подходит Allure 40
41. Мораль — Не бойтесь легковесных ad-hoc инструментов — Полезно иногда меняться ролями
43. 43 Спасибо! Задавайте вопросы в канале Мои контакты: hipolink.me/ kozhevnikov Иллюстратор: vk.com/ argetthecat