Как приручить разрастающееся тестовое покрытие

Ирина Смирнова
Ведущий инженер по тестированию, Лаборатория Касперского
SECR 2019

Я представляю свой 7-летний опыт организации тестирования на постоянно увеличивающемся тестовом покрытии без увеличения человеко-ресурсов. На текущий момент мое тестовое покрытие включает в себя около 9000 тестовых машин, 600 уникальных версий продуктов, 200 тестируемых типов обновлений для продуктов, скачиваемых 25-ю миллионами пользователей ежедневно. Имеющиеся у меня наработки будут полезны тест-инженерам, разрабатывающим и поддерживающим тесты на большом количестве различных комбинаций операционных систем и продуктов.

Transcript

1. Как приручить разрастающееся тестовое покрытие Ирина Смирнова ведущий инженер по тестированию АО Лаборатория Касперского
2. Скорость изменений в индустрии
3. Особенности тестирования обновлений Products Updates OS
4. Особенности тестирования обновлений Updates • базы • исполняемые модули • драйвера • конфиги
5. Особенности тестирования обновлений Products • Kaspersky Internet Security • Kaspersky Small Office Security • Kaspersky Endpoint Security • Kaspersky Anti-Target Attack • Kaspersky Security Center • Kaspersky Security for Microsoft Office 365 • Kaspersky Secure Connection • Kaspersky Security for Virtualization Light Agent • Kaspersky Safe Kids • Kaspersky Safe Browser • Kaspersky Who Calls
6. Особенности тестирования обновлений OS • Windows • Mac OS • iOS • Android
7. Размер тестового покрытия уникальных версий продуктов типов обновлений частота обновлений до раза в минут уникальных версий ОС тестовых машин млн скачиваний в сутки
8. Автоматизация
9. Трудности автоматизации Нестабильность тестов из за влияния инфраструктуры Непригодность тестов для новой версии продукта Необходимость глубокой экспертизы для каждого из автотестов Новая функциональность не покрыта автотестами вовремя Начальные условия теста сложно автоматизируются
10. Фасад автотестирования Преимущества • Единый синтаксис • Позволяет сделать тесты универсальными • Для использования не требуется глубокая экспертиза Примеры команд • обновление • сканирование • состояние продукта • состояние лицензии
11. Тест кейс Продукт Компонент Система автоматизированного тестирования Продукт ОС
12. Автоматизация установки продукта Преимущества • Настройки продукта согласовываются один раз и выставляются автоматически при установке продукта тем самым исключается влияние человеческого фактора • Для использования не требуется глубокая экспертиза • Установка всех продуктов единообразна • Продукт на машине можно подготовить к тестам в более сжатые сроки
13. Автоматизация разворачивания машин Преимущества • Единообразие разворачиваемых машин • Машины разворачиваются сразу с необходимыми настройками • Машину можно подготовить к тестам в более сжатые сроки
14. Автоматизация получения информации Это может быть информация о • добавлении нового функционала требующего тестирования • изменении даты продукта • изменении даты к которой должен быть готов тест • изменении даты к которой нужно подготовить тестовую инфраструктуру
15. Автоматизация отчетов о тестировании Преимущества • Легкость и быстрота составления отчета • Исключение ошибок тест инженера при составлении отчета
16. Процессы
17. Примеры процессов • При изменении даты продукта сообщать автоматически об этом отделу тестирования и сдвигать дату к которой должны быть проведены тесты • При готовности сборки продукта к тестированию сообщать автоматически об этом отделу тестирования • При добавлении нового функционала в продукт требующего тестирования в другом отделе информировать его об этом • Заранее согласовывать и разрабатывать тесты для новой версии продукта • Заранее проверять корректность созданных тестов и готовность тестовой инфраструктуры когда продукт еще находится в разработке
18. Коммуникации
19. Виды и способы коммуникаций Объект коммуникаций • Внутри своей команды • Со смежными командами Способы коммуникаций • Встреча • Телефон • Письмо Способы хранения информации • Информационный портал • Система отслеживания внесения изменений • Баг трекинг
20. Спасибо за внимание Ирина Смирнова