Вам не нужны разработчики автотестов!

В своем докладе я рассказала о том, что такое кроссфункциональная команда. И о том как мы на своем примере «затащили» роль тестировщика в каждого члена команды, а также от безвыходности и необходимости автоматизации тестирования научили разработчиков писать и помогать поддерживать автотесты тестировщикам.

Transcript

1. Скажи «нет» должности тестировщик! Никакой ручной работы, только автоматизация
2. Обо мне ‣ Создатель QA сообществ в Telegram @qa_ru и @qa_jobs ‣ Agile testing coach, эксперт по инженерным практикам ‣ В QA c 2012 года, в IT с 2007 года ‣ Спикер на QAFest2016 
 и XPDays2016, TestCon2017, SQADays2017, DUMP2018
3. Обо мне travieso.me @travieso_nastya
4. DevOps —> автоверификация ПО
5. Разработчик автотестов не нужен
6. С чего начинается автоматизация? Регресс регрессом погонял
12. Products
13. Products
14. Test automation dev team + Products
15. Test automation dev team + Products PM
16. Testing process
17. Testing process Artefact
18. QA engineer team Testing process Artefact
19. QA engineer team Testing process Manual testing Regression testing Artefact
20. QA engineer team Testing process Manual testing Regression testing Products Artefact
21. QA engineer team Testing process Manual testing Regression testing Test automation dev team Products Artefact
22. Автоматизация тестирования - совместный труд QA и Dev QA
23. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы
24. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы ‣ Тестируют ПО вручную
25. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы ‣ Тестируют ПО вручную ‣ Пишут тестовую документацию
26. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы ‣ Тестируют ПО вручную ‣ Пишут тестовую документацию ‣ Автоматизируют написанные тест-кейсы
27. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы ‣ Тестируют ПО вручную ‣ Пишут тестовую документацию ‣ Автоматизируют написанные тест-кейсы ‣ Сопровождают разработанные автотесты
28. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы ‣ Тестируют ПО вручную ‣ Пишут тестовую документацию ‣ Автоматизируют написанные тест-кейсы ‣ Сопровождают разработанные автотесты
29. Автоматизация тестирования - совместный труд QA и Dev QA ‣ Придумывают тест-кейсы ‣ Тестируют ПО вручную ‣ Пишут тестовую документацию ‣ Автоматизируют написанные тест-кейсы ‣ Сопровождают разработанные автотесты ‣ Анализируют результаты автотестов
30. ‣ Определить набор тест-кейсов для автоматизации ‣ Выбрать стек технологий и инструменты ‣ Разработка фреймворка, специфичного для продукта ‣ Подготовка окружения для прогона тестов ‣ Спорить с тестировщиком о том, что написанные тесты - рабочие Деятельность разработчика автотестов
31. Каждый отдел производит «артефакты-загадки», являющиеся частью будущей фичи/продукта
32. Testing scrum process
33. User Story Testing scrum process
34. User Story Artefact Testing scrum process
35. QA engineer User Story Artefact Testing scrum process
36. QA engineer Regression testing Manual testing User Story Artefact Testing scrum process
37. QA engineer Regression testing Manual testing User Story Artefact Testing scrum process Test automation dev team
38. QA engineer Regression testing Manual testing User Story Artefact Product Testing scrum process Test automation dev team
39. НЕТ, потому что
40. НЕТ, потому что ‣ Отсутствует срочная ценность от автоматизации
41. НЕТ, потому что ‣ Отсутствует срочная ценность от автоматизации ‣ Стоимость продукта значительно вырастает
42. НЕТ, потому что ‣ Отсутствует срочная ценность от автоматизации ‣ Стоимость продукта значительно вырастает ‣ «Купленные» люди - не часть команды
43. НЕТ, потому что ‣ Отсутствует срочная ценность от автоматизации ‣ Стоимость продукта значительно вырастает ‣ «Купленные» люди - не часть команды ‣ Непрозрачность процесса тестирования
44. НЕТ, потому что ‣ Отсутствует срочная ценность от автоматизации ‣ Стоимость продукта значительно вырастает ‣ «Купленные» люди - не часть команды ‣ Непрозрачность процесса тестирования ‣ Бизнес не понимает, почему он должен платить в надежде на долгосрочный эффект
45. Это не agile testing
46. «Сотрудничество» QA Dev & QA:
47. «Сотрудничество» QA Dev & QA: • Тестировщики - заказчики
48. «Сотрудничество» QA Dev & QA: • Тестировщики - заказчики • Dev QA - сервисная команда
49. «Сотрудничество» QA Dev & QA: • Тестировщики - заказчики • Dev QA - сервисная команда • Team lead - прокси в коммуникациях между людьми
50. «Сотрудничество» QA Dev & QA: • Тестировщики - заказчики • Dev QA - сервисная команда • Team lead - прокси в коммуникациях между людьми • С момента подачи «запроса» до получения результата расходуется время
51. «Сотрудничество» QA Dev & QA: • Тестировщики - заказчики • Dev QA - сервисная команда • Team lead - прокси в коммуникациях между людьми • С момента подачи «запроса» до получения результата расходуется время • Недоверие к автотестам у тестировщиков
52. Сотрудничество QA Dev & DEV:
53. • Разработчики - тоже заказчики Сотрудничество QA Dev & DEV:
54. • Разработчики - тоже заказчики Сотрудничество QA Dev & DEV: • Недоверие к автотестам
55. • Разработчики - тоже заказчики Сотрудничество QA Dev & DEV: • Недоверие к автотестам • Плодится «зоопарк» технологий
56. • Разработчики - тоже заказчики Сотрудничество QA Dev & DEV: • Недоверие к автотестам • Плодится «зоопарк» технологий • Дублирование инструментов для решения одинаковых проблем
57. • Разработчики - тоже заказчики Сотрудничество QA Dev & DEV: • Разработчики не используют результат труда QA Dev • Недоверие к автотестам • Плодится «зоопарк» технологий • Дублирование инструментов для решения одинаковых проблем
58. Сотрудничество QA Dev & DEV:
59. Сотрудничество QA Dev & DEV: ОТСУТСТВУЕТ
60. PM vs QA Dev:
61. PM vs QA Dev: • Почему автоматизация стоит так дорого?
62. PM vs QA Dev: • Почему автоматизация стоит так дорого? • Что мы получаем от автоматизации?
63. PM vs QA Dev: • Почему автоматизация стоит так дорого? • Что мы получаем от автоматизации? • Почему ручное тестирование до сих пор еще есть?
64. PM vs QA Dev: • Почему автоматизация стоит так дорого? • Что мы получаем от автоматизации? • Почему ручное тестирование до сих пор еще есть? • А может отказаться от автоматизации?
65. PM vs QA Dev: • Почему автоматизация стоит так дорого? • Что мы получаем от автоматизации? • Почему ручное тестирование до сих пор еще есть? • А может отказаться от автоматизации? • Почему автотесты постоянно ломаются?
66. Фейлы автоматизации тестирования выделенной командой
67. Фейлы автоматизации тестирования выделенной командой • Непрозрачность автоматизированного тестового покрытия
68. Фейлы автоматизации тестирования выделенной командой • Непрозрачность автоматизированного тестового покрытия • Автоматизировали то, что не используется при тестировании продукта
69. Фейлы автоматизации тестирования выделенной командой • Непрозрачность автоматизированного тестового покрытия • Автоматизировали то, что не используется при тестировании продукта • Не анализируются результаты автотестов
70. Фейлы автоматизации тестирования выделенной командой • Непрозрачность автоматизированного тестового покрытия • Автоматизировали то, что не используется при тестировании продукта • Не анализируются результаты автотестов • Нестабильные автотесты
71. Как же автоматизировать тестирование во всех продуктах?
72. I способ
73. I способ Найти много тестировщиков
74. НЕТ, потому что
75. НЕТ, потому что ‣ Рынок труда испытывает нехватку людей в QA
76. НЕТ, потому что ‣ Рынок труда испытывает нехватку людей в QA ‣ Стоимость продукта значительно вырастает
77. II способ
78. II способ Найти много разработчиков автотестов
81. →
82. Automated testing process
83. User Story Automated testing process
84. User Story Artefact Automated testing process
85. User Story Artefact QA Dev QA engineer Automated testing process
86. Manual testing Regression testing User Story Artefact QA Dev QA engineer Automated testing process
87. Manual testing Regression testing User Story Artefact Product QA Dev QA engineer Automated testing process
88. Test automation developer II способ 1. Sprint planning 2. Grooming 3. DSM 4. Sprint review 5. Demo 6. Programming test-case ~ 20-30 часов ИТОГО: ЗАНЯТОСТЬ НА 50%
89. НЕТ, потому что
90. ‣ Разработчик автотестов не полностью занят НЕТ, потому что
91. ‣ Разработчик автотестов не полностью занят ‣ Не хочет заниматься ручным тестированием НЕТ, потому что
92. ‣ Разработчик автотестов не полностью занят ‣ Не хочет заниматься ручным тестированием ‣ Не хватает навыков для разработки сервисов НЕТ, потому что
93. III способ
94. Test automation developer III способ
95. Test automation developer III способ
96. Test automation developer III способ
97. Test automation developer III способ 1. Sprint planning 2. Grooming 3. DSM 4. Sprint review 5. Demo 1. Sprint planning 2. Grooming 3. DSM 4. Sprint review 5. Demo ~ 10 часов ~ 10 часов ИТОГО: ВСЕГО ~ 20 ЧАСОВ НА КОДИНГ
98. НЕТ, потому что
99. НЕТ, потому что Не успевает кодить из-за встреч
100. Боль
101. Боли:
102. Боли: Отсутствие собственной экспертизы внутри команды
103. Боли: Отсутствие собственной экспертизы внутри команды Автоматизация тестирования “отстает/отсутствует” от разработки продукта
104. Боли: Отсутствие собственной экспертизы внутри команды Автоматизация тестирования “отстает/отсутствует” от разработки продукта Непрозрачность процессов тестирования для команды
105. Боли: Отсутствие собственной экспертизы внутри команды Автоматизация тестирования “отстает/отсутствует” от разработки продукта Непрозрачность процессов тестирования для команды Сложность поиска разработчиков автотестов
106. Пилюля: IV способ
107. Пилюля: IV способ Научить тестировщиков писать автотесты
108. Стратегия
109. Unit-тесты Автотесты Стратегия
110. Unit-тесты Автотесты e2e-тесты, компонентные тесты Автотесты Стратегия
111. Unit-тесты Автотесты e2e-тесты, компонентные тесты Автотесты Стратегия Интеграционные тесты Автотесты
112. Unit-тесты Автотесты e2e-тесты, компонентные тесты Автотесты UI-приемка РУКАМИ тестируется только изменение Стратегия Интеграционные тесты Автотесты
113. Стратегия
114. Unit-тесты Разработчик Стратегия
115. Unit-тесты Разработчик e2e-тесты, компонентные тесты Разработчик + тестировщик Стратегия
116. Unit-тесты Разработчик e2e-тесты, компонентные тесты Разработчик + тестировщик Стратегия Интеграционные тесты Тестировщик + Аналитик
117. Unit-тесты Разработчик e2e-тесты, компонентные тесты Разработчик + тестировщик UI-приемка Вся команда, включая Ops Стратегия Интеграционные тесты Тестировщик + Аналитик
118. Что для этого надо?
119. ‣ Используйте простые инструменты для быстрой автоматизации тестов Что для этого надо?
120. ‣ Используйте простые инструменты для быстрой автоматизации тестов ‣ Или создайте инструмент для написания автотестов непрограммистами Что для этого надо?
121. ‣ Используйте простые инструменты для быстрой автоматизации тестов ‣ Или создайте инструмент для написания автотестов непрограммистами ‣ Научите тестировщика чуть-чуть программировать Что для этого надо?
122. ‣ Используйте простые инструменты для быстрой автоматизации тестов ‣ Или создайте инструмент для написания автотестов непрограммистами ‣ Научите тестировщика чуть-чуть программировать ‣ Выстройте правильную пирамиду тестирования Что для этого надо?
123. ‣ Используйте простые инструменты для быстрой автоматизации тестов ‣ Или создайте инструмент для написания автотестов непрограммистами ‣ Научите тестировщика чуть-чуть программировать ‣ Выстройте правильную пирамиду тестирования ‣ “Размажьте” процесс автоматизации тестирования по команде Что для этого надо?
124. Автоматизация тестирования без программирования
125. “Размажьте” процесс автоматизации тестирования по команде
126. ‣ Команда сама отвечает за тестовое покрытие “Размажьте” процесс автоматизации тестирования по команде
127. ‣ Команда сама отвечает за тестовое покрытие ‣ Не дублируется автоматизация тест-кейсов разными людьми “Размажьте” процесс автоматизации тестирования по команде
128. ‣ Команда сама отвечает за тестовое покрытие ‣ Не дублируется автоматизация тест-кейсов разными людьми ‣ Быстро решается проблема устаревших автотестов “Размажьте” процесс автоматизации тестирования по команде
129. Akita - BDD библиотека для автоматизации тестирования
130. Используемые инструменты:
131. ‣ https://github.com/alfa-laboratory/ akita ‣ https://github.com/alfa-laboratory/ akita-testing-template Есть в open source:
134. А не пострадает ли качество тестов?
135. Мнение: «Вы – это среднее пяти человек, с которыми проводите большую часть своего времени» Джим Рон
136. Инновации исходят не от одного одинокого гения, а от командной работы
137. Фреймворк должен разрабатываться силами команды
138. Фреймворк- франкенштейн Научиться пользоваться таким даже бывалому разработчику сложно
141. Prototype
142. Prototype
143. Prototype
144. Prototype
145. Prototype
146. Prototype
149. Прототип с большим кол-вом фич
150. Объединение в библиотеку
151. Объединение в библиотеку Прототип с большим кол-вом фич
152. Объединение в библиотеку Прототип с большим кол-вом фич
153. Akita BDD Объединение в библиотеку Прототип с большим кол-вом фич
154. Akita BDD
155. Dev QA и DEV - как повара на кухне
156. Команда лучше представляет стек и контекст разрабатываемого ПО
157. xPath vs CSS selectors
158. xPath vs CSS selectors .//*[@id=«second"]/ following- sibling::*[1] XPath
159. xPath vs CSS selectors .//*[@id=«second"]/ following- sibling::*[1] XPath class=«my-ui- component» CSS selectors
160. Самые большие прорывы происходят от команд:
161. Самые большие прорывы происходят от команд: • Этот инструмент будет решать проблемы определенного контекста ваших продуктов
162. Самые большие прорывы происходят от команд: • Разработанный инструмент можно легко переиспользовать другим командами • Этот инструмент будет решать проблемы определенного контекста ваших продуктов
163. Самые большие прорывы происходят от команд: • Разработанный инструмент можно легко переиспользовать другим командами • В нем будет использоваться уже известный командам стек технологий • Этот инструмент будет решать проблемы определенного контекста ваших продуктов
165. 40 
 тестировщиков сами пишут тесты
166. 40 
 тестировщиков сами пишут тесты 6 супертестировщиков развивают библиотеку
167. 40 
 тестировщиков сами пишут тесты 6 супертестировщиков развивают библиотеку 1 тестировщик на команду vs
 4-6 тестировщиков
168. 40 
 тестировщиков сами пишут тесты 6 супертестировщиков развивают библиотеку 30 мин ручного тестирования vs 5 дней 1 тестировщик на команду vs
 4-6 тестировщиков
169. Тестировщик тоже Инженер, 
 как и Разработчик
170. Автотесты тоже часть продукта
171. Команда за качество отвечает тоже
172. Выводы
173. • Выделенная команда автотестеров - это рудимент waterfall Выводы
174. • Выделенная команда автотестеров - это рудимент waterfall • Выделенные разработчики автотестов - это дорого Выводы
175. • Выделенная команда автотестеров - это рудимент waterfall • Выделенные разработчики автотестов - это дорого • Поиск/хантинг этих людей долог и дорог Выводы
176. • Выделенная команда автотестеров - это рудимент waterfall • Выделенные разработчики автотестов - это дорого • Поиск/хантинг этих людей долог и дорог • Разработка автотестов значительно отстает от разработки продукта Выводы
177. Разработчики автотестов не нужны
178. Что должно быть, 
 чтобы всё завелось?
179. Что должно быть, 
 чтобы всё завелось? • Команда должна хотеть сама писать автотесты
180. Что должно быть, 
 чтобы всё завелось? • Команда должна хотеть сама писать автотесты • Команда сама должна решить, 
 кто у них будет это делать
181. @travieso_nastya Ваши вопросы