Курс молодого бойца-автоматизатора - как не наделать ошибок и стать ветераном

Презентация с конференции Test Automation Days 2013 в Киеве. В данной презентации я рассказываю про инструмент Test Automation Canvas, который позволяет провалидировать идею автоматизации тестирования.

Transcript

1. atdays.com Курс молодого бойца- автоматизатора - как остаться в живых и стать ветераном Андрей Ребров
2. atdays.com #atdays О себе любимом
3. atdays.com #atdays COOL STORY
4. atdays.com #atdays В начале было... •  IT подразделение банка •  Система из 7 проектов •  Релизы каждые 2-3 месяца •  Ручная регрессия
5. atdays.com #atdays Внезапно... Давайте использовать Jameleon и полностью автоматизируем регресс!
6. atdays.com #atdays Прошло 2 месяца
7. atdays.com #atdays Простенький скрипт на Jameleon
8. atdays.com #atdays Итог •  5 команд отказались от автоматизации •  1 команда с болью сделала автотесты •  1 команда сделала автотесты и ей понравился Jameleon
9. atdays.com #atdays Итак, о чем этот доклад
10. atdays.com #atdays ПОПРОБУЕМ РАЗОБРАТЬСЯ
11. atdays.com #atdays Начните с выявления проблем
12. atdays.com #atdays В данном случае •  Очень долгая регрессия •  Баги при настройке тестовых данных •  Фикс одного бага порождает другой •  ...
13. atdays.com #atdays Нам нужны измерения
14. atdays.com #atdays При этом нужно обозначить, что значит, что мы закончили
15. atdays.com #atdays Даешь Метрики и Definition of Done •  Регрессия должна проходить за 4 часа •  Количество открытых багов не больше 5 •  Количество багов связанных с настройкой данных равно 0
16. atdays.com #atdays Он подскажет за метрики Meaningful Metrics http://bit.ly/VtENby
17. atdays.com #atdays Как тестируем
18. atdays.com #atdays В нашем случае •  Unit - тестирование •  Интеграционное тестирование (by Dev) •  Automated Functional Testing (UI and WebService)
19. atdays.com #atdays Ничего нового
20. atdays.com #atdays Кто чем помогает?
21. atdays.com #atdays Как начать что-то новое?
22. atdays.com #atdays Dojo разные нужны Dojo разные важны Coding Dojo - http://bit.ly/VK4p8E Testing Dojo - http://bit.ly/RFjpnU Automated Testing Dojo - http://bit.ly/XjiBV3
23. atdays.com #atdays Quick win!
24. atdays.com #atdays Например •  Запись сценариев с помощью recording tools •  Сделать дамп баз данных и накатывать их скриптом
25. atdays.com #atdays Откуда появляются идеи Брейнсторм Ретроспектива Ideation Игротехники
26. atdays.com #atdays 3 - 12 - 3 3 минуты: каждый пишет идеи по решению проблемы на стикерах 12 минут: работа в паре над 3 случайными листочками из всей кучи 3 минуты: презентация наработок группе
27. atdays.com #atdays Инфраструктура и инструменты
28. atdays.com #atdays
29. atdays.com #atdays Для нас •  Selenium 2 WebDriver •  SoapUI •  Linux - сервера •  Jenkins и пачка плагинов •  Суммарные dashboard в JIRA
30. atdays.com #atdays Как все не забыть?
31. atdays.com #atdays Test Automation Canvas Problems Metrics & DoD Quick wins Tools & Infrastructure Testing types
32. atdays.com #atdays Так откуда берутся проблемы? Из-за нарушения связей!
33. atdays.com #atdays В нашем случае •  Jameleon не давал quick win: нарушена связь Quick wins - Tools&Infrastructure •  Были метрики но не было DoD •  AFT не помогал решить проблемы с появлением новых багов после фикса старых: нарушена связь Problems - Testing types
34. atdays.com #atdays Итоги
35. atdays.com #atdays Вопросы?
36. atdays.com #atdays Где меня искать •  arebrov@scrumtrek.ru •  rebrov.andrey •  @andrebrov •  http://andrebrov.net •  http://codecrafting.pro