Test Automation Canvas

Доклад с конференции Стачка 2013, посвященный инструменту валидации идеи по автоматизации тестирования.

Transcript

1. Test  Automa+on   Canvas   Андрей  Ребров   ScrumTrek  
2. О  себе  любимом  
3. COOL  STORY  
4. ПРО  БОББИ,  КОТОРЫЙ  ОЧЕНЬ  ЛЮБИЛ   ДЕНЬГИ  РАССКАЖУТ  НА  СЕКЦИИ   КОММЕРЦИИ  
5. А  у  нас…   •  IT  подразделение  банка   •  Система  из  7  проектов   •  Релизы  каждые  2-­‐3  месяца   •  Ручная  регрессия  
6. Внезапно...   Давайте использовать Jameleon и полностью автоматизируем регресс!
7. Прошло  2  месяца  
8. Простенький  скрипт  на  Jameleon  
9. Итог   •  5  команд  отказались  от  автоматизации   •  1  команда  с  болью  сделала  автотесты   •  1  команда  сделала  автотесты  и  ей   понравился  Jameleon  
10. Итак,  для  кого  этот этот  доклад  
11. Попробуем  разобраться!  
12. Начните  с  выявления  проблем  
13. В  данном  случае   •  Очень  долгая  регрессия   •  Баги  при  настройке  тестовых  данных   •  Фикс  одного  бага  порождает  другой   •  ...  
14. Нам  нужны  измерения  
15. При  этом  нужно  обозначить,  что   значит,  что  мы  закончили  
16. Даешь  Метрики  и     Defini+on  of  Done   •  Регрессия  должна  проходить  за  4  часа   •  Количество  открытых  багов  не  больше  5   •  Количество  багов  связанных  с  настройкой   данных  равно  0  
17. Он  подскажет  за  метрики   Meaningful Metrics http://bit.ly/VtENby
18. Как  тестируем?  
19. В  нашем  случае   •  Unit  -­‐  тестирование   •  Интеграционное  тестирование  (by  Dev)   •  Automated  Func+onal  Tes+ng  (UI  and   WebService)  
20. Ничего  нового  
21. StarMap,  чтобы  понять,  кто  в   чем  помогает  
22. Как  начать  что-­‐то  новое?   Coding  Dojo!  
23. Coding Dojo - http://bit.ly/VK4p8E Testing Dojo - http://bit.ly/RFjpnU Automated Testing Dojo - http://bit.ly/XjiBV3
24. Quick  win!  
25. Например   •  Запись  сценариев  с  помощью  recording   tools   •  Сделать  дамп  баз  данных  и  накатывать  их   скриптом  
26. Откуда  появляются  идеи   Брейнсторм Ретроспектива Ideation Игротехники
27. 3  -­‐  12  -­‐  3   3  минуты:  каждый  пишет  идеи  по  решению   проблемы  на  стикерах   12  минут:  работа  в  паре  над  3  случайными   листочками  из  всей  кучи   3  минуты:  презентация  наработок  группе  
28. Инфраструктура  и  инструменты  
30. Для  нас   •  Selenium  2  WebDriver   •  SoapUI   •  Linux  -­‐  сервера     •  Jenkins  и  пачка  плагинов   •  Суммарные  dashboard  в  JIRA  
31. Как  все  не  забыть?  
32. Test  Automa+on  Canvas   Problems Metrics & DoD Quick wins Tools & Infrastructure Testing types
33. Так  откуда  берутся  проблемы?   Из-­‐за  нарушения  связей!  
34. В  нашем  случае   •  Jameleon  не  давал  quick  win:  нарушена   связь  Quick  wins  -­‐  Tools&Infrastructure   •  Были  метрики  но  не  было  DoD   •  AFT  не  помогал  решить  проблемы  с   появлением  новых  багов  после  фикса   старых:  нарушена  связь  Problems  -­‐  Tes+ng   types    
35. Итоги  
36. Вопросы?  
37. Где  меня  искать   •  arebrov@scrumtrek.ru   •  rebrov.andrey   •  @andrebrov   •  h—p://andrebrov.net   •  h—p://codecra™ing.pro