CodeFest 2018. Марина Ремнева (Wrike) — Как приручить деплой?

Посмотрите выступление Марины: https://2018.codefest.ru/lecture/1306/

Тема CI\CD давно не нова, и наверняка многие уже внедрили у себя в проектах эти практики хотя бы частично. Ежедневные или даже более частые деплои дают продукту большую маневренность и экономят время разработки, т.к. интегрироваться небольшими инкрементами проще. На смену продолжительным ручным регрессиям и редким релизам пришли интенсивная автоматизация тестирования и различные механики интеграции кода. Бизнес и разработка стараются выжать максимум из этих практик. Но как насчет тестировщиков? Деплой - это по сути квинтэссенция всей проделанной работы, и именно после него тестировщик может полноценно взглянуть на свои результаты. Я хочу рассказать о том, как получать удовлетворение от своей работы даже в условиях, когда над продуктом одновременно работает 20 команд, и каждый день кто угодно может решить релизить что угодно. Поговорим о том, как приручить деплой и заставить его работать на тестировщиков, а не тестировщиков на деплой.

Transcript

1. 1 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Как приручить деплой? Марина Ремнева, Senior QA Engineer
2. 2 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 2 • В тестировании с 2011 года • В прошлом QA Team Lead в 2GIS • Senior QA Engineer в Wrike • В багаже 6 Web и Enterprise приложений Background
3. 3 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 3 12 лет Saas-сервис Workspace 1 M+ Пользователей 15 k+ Компаний 3 года в Deloitte TMT Fast 500 Wrike – это…
4. 4 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 4 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc
5. 5 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 5 Наши особенности • SaaS продукт • 20+ скрам-команд • 200+ сотрудников в Engineering отделе • сильная связность кода • деплой минимум 1 раз в день
6. 6 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 6 Наш деплой 1. сложный, 100+ репозиториев 2. контролируется дежурным 3. делаем ручные проверки на проде
7. 7 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 7 1. Тестовое окружение 2. Минимум рутинной работы 3. Прозрачный процесс деплоя 4. Право на ошибку 5. Улучшения процесса Что для QA важно в своей работе?
8. 8 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 8 1. Тестовое окружение 2. Минимум рутинной работы 3. Прозрачный процесс деплоя 4. Право на ошибку 5. Улучшения процесса Что для QA важно в своей работе?
9. 9 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 9 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Работа с тестовым окружением зависит от: • процесса разработки • подхода к работе с ветками • частоты деплоев Тестовое окружение При любом процессе хочется избегать: • перепроверок функционала • долгой локализации багов • ошибок в выборе окружения
10. 10 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 10 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc • перепроверки функционала минимальны, т.к. мало изменений каждый день • изолированное тестирование помогает с локализацией багов • ошибки в выборе окружения возможны При частых деплоях: Тестовое окружение
11. 11 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 11 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc
12. 12 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 12 Тестовое окружение Подготовка тестового окружения
13. 13 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 13 Подготовка тестового окружения Тестовое окружение
14. 14 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 14 1. Тестовое окружение 2. Минимум рутинной работы 3. Прозрачный процесс деплоя 4. Право на ошибку 5. Улучшения процесса Что для QA важно в своей работе?
15. 15 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 15 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Я не хочу тратить время на: • ручную регрессию • однотипную подготовку тестовых данных • подготовку тестового окружения • ручные операции при деплое Минимум рутинной работы
16. 16 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 16 Минимум рутинной работы Якорная единица — задача в Wrike
17. 17 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 17 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Тестовое покрытие • Тысячи тестов на всех уровнях пирамиды, но хорошо разбираться нужно в своем скоупе. • Покрытие автотестами параллельно с разработкой фичи — очень круто! Минимум рутинной работы
18. 18 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 18 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Разбор падений Помогают: • инструменты для формирования отчетов • документирование тестов - в коде или в системе тест-менеджмента Минимум рутинной работы
19. 19 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 19 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Минимум рутинной работы Разбор падений
20. 20 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 20 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Минимум рутинной работы Разбор падений
21. 21 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 21 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Минимум рутинной работы
22. 22 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 22 1. Тестовое окружение 2. Минимум рутинной работы 3. Прозрачный процесс деплоя 4. Право на ошибку 5. Улучшения процесса Что для QA важно в своей работе?
23. 23 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 23 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Идеальный процесс деплоя полностью автоматизированный но... у нас этого нет Прозрачный процесс деплоя
24. 24 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 24 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc • На каком этапе деплой? • Есть проблемы? • Пора ли что-то делать? • Финиш? Прозрачный процесс деплоя Прозрачный процесс деплоя
25. 25 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 25 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc
26. 26 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 26 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc
27. 27 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 27 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc
28. 28 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 28 1. Тестовое окружение 2. Минимум рутинной работы 3. Прозрачный процесс деплоя 4. Право на ошибку 5. Улучшения процесса Что для QA важно в своей работе?
29. 29 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 29 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Право на ошибку есть у всех, но обеспечивается разными эшелонами защиты Право на ошибку
30. 30 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 30 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Страховка • возможность быстрого хотфикса • мониторинг • фидбэк от юзеров Право на ошибку (ОМС) Что-то ещё? (ДМС?)
31. 31 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 31 Право на ошибку Beta-флаги
32. 32 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 32 Wrike Labs Право на ошибку
33. 33 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 33 1. Тестовое окружение 2. Минимум рутинной работы 3. Прозрачный процесс деплоя 4. Право на ошибку 5. Улучшения процесса Что для QA важно в своей работе?
34. 34 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 34 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Тестировщики – инициаторы перемен • Есть навыки видеть недостатки и места для улучшений • Сильно страдают от проблем с процессами Улучшение процесса
35. 35 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 35 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Статистика по деплою Улучшение процесса
36. 36 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 36 Фикс поломанных и нестабильных тестов Улучшение процесса
37. 37 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 37 Идеальный процесс — это путь Улучшение процесса
38. 38 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc 38 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc Простые быстрые решения — лучше идеальных долгостроев Итоги Недостатки в процессах — ключ к улучшениям &
39. 39 Codefest’18 | Remneva Marina | All Rights Reserved by Wrike, Inc @firerinka marinaremneva@gmail.com Вопросы? Марина Ремнева, Senior QA Engineer