Приемочное тестирование и немного матана

Презентация с "Fall Saint P Ruby Meetup" (23.11.2017)

Transcript

1. ПРИЕМОЧНОЕ ТЕСТИРОВАНИЕ Макар Ермохин, Teachbase
2. https://github.com/earendil95 https://github.com/teachbase
3. МАТЧАСТЬ Интеграционное тестирование — одна из фаз тестирования программного обеспечения, при которой отдельные программные модули объединяются и тестируются в группе
4. МАТЧАСТЬ Приемочное тестирование — вид интеграционного, в котором подразумевается тестирование готового продукта
5. ЗАЧЕМ?
6. ЗАЧЕМ? •Unit-тесты не тестируют модули в совокупности •Если вы используете необычный frontend, где нет тестов
7. ЧТО НУЖНО? • Capybara • (Headless) браузер • PhantomJS • Headless Chrome
8. PHANTOM JS •Прост в установке •Устаревший движок JS var a = function() {}.bind(this); TypeError: 'undefined' is not a function
9. PHANTOM JS
10. HEADLESS CHROME •Сложнее в установке •Нет частичных скриншотов •Нужно разрешать запросы
11. •Актуален и обновляется •Работаем с Chrome — один из самых популярных браузеров HEADLESS CHROME
12. ТЕСТИРОВАНИЕ DOM
13. DOM •Методы visit и click_on •Матчеры have_* Первые помощники
14. scenario "follow link" do visit root_path click_on "Profile" expect(page).to have_content("Makar") end DOM
15. •fill_in — универсальный метод заполнения форм •А так же choose, check, uncheck и select DOM
16. scenario "updates profile" do visit edit_profile_path fill_in "Name", with: "Ivan" click_on "Save" expect(page).to_not have_content("Makar") expect(page).to have_content("Ivan") end DOM
17. ЗАКРЕПИМ •Приемочный тест описывает поведение пользователя •Приемочный тест может быть прочитан пользователем
18. ВЫВОД Приемочное тестирование — это тестирование черного ящика
19. ПРИМЕР Этот тест плохой click_on "Create" expect(User.count).to eq(2)
20. ПОДОЖДЁМ… •Асинхронная отправка формы •Асинхронная загрузка контента •Интересные* анимации * они же хитровыдуманные
22. ПОДОЖДАТЬ… •expect(page).to have_content(…) • Написать свой хелпер
23. ВОЛШЕБНЫЙ ХЕЛПЕР def wait_js(command, timeout = 10) step = 0 loop do step += 0.5 return if page.evaluate_script(command) raise( RSpec!::Expectations!::ExpectationNotMetError, "JS never evals to true: !#{command}") if step > timeout sleep 0.5 end end
24. ВОЛШЕБНЫЙ ХЕЛПЕР # Pieces framework (Teachbase) def wait_ajax wait_js("pi.net._active_req !== 0") end # JQuery def wait_ajax wait_js("jQuery.active !== 0") end
25. А ЧТО ЕСЛИ…
26. НЕОДНОЗНАЧНОСТЬ •Использовать within •Использовать find
27. # Плохо el = find('.selector') expect(el).to have_content('Some') # Хорошо within '.selector' do expect(page).to have_content('Some') end НЕОДНОЗНАЧНОСТЬ
28. ВИЗУАЛЬНОЕ ТЕСТИРОВАНИЕ
29. ВИЗУАЛЬНО •rprt/rspec-page-regression scenario "renders correctly" do visit root_path expect(page).to match_reference_screenshot end
30. •Отказаться от матчера have_css ВИЗУАЛЬНО
31. ЗАЧЕМ? •Тест визуализации •Регрессионное тестирование
32. КАК? •Попиксельное сравнение •Подсчёт различающихся пикселей •Результат •Отрисовка разницы
33. •Минимально различающиеся изображения ПРОБЛЕМЫ
34. НЕМНОГО САТАНА Отношение эквивалентности — функция двух аргументов c булевым значением с условиями: •r(x, x) !== true •r(x, y) !== r(y, x) •r(x, y) !== r(y, z) !== true !=> r(x, z) !== true
35. НЕМНОГО АТАНА Отношение эквивалентности — функция двух аргументов c булевым значением с условиями: •r(x, x) !== true •r(x, y) !== r(y, x) •r(x, y) !== r(y, z) !== true !=> r(x, z) !== true М
36. НЕМНОГО МАТАНА ЛИНАЛА Векторное пространство — множество объектов, которые можно складывать и умножать на число.
37. Метрика — функция двух аргументов на векторном пространстве, такая что: •F(x, y) !== 0 !!<=> x !== y •F(x, y) !== F(y, x) •F(x, z) !<= F(x, y) + F(y, z) НЕМНОГО МАТАНА ЛИНАЛА
38. ПРИМЕРЫ МЕТРИК •Евклидова метрика: •Дискретная метрика •Манхеттенская метрика:

39. НАЗАД К КАРТИНКАМ Изображение — это набор векторов. Описанный алгоритм использует дискретную метрику и обычное отношение эквивалентности.
40. ТЕСТИРУЕМЫЕ ИЗОБРАЖЕНИЯ
41. ИЗНАЧАЛЬНЫЙ АЛГОРИТМ Среднее расстояние: 0.43
42. КАК ИНАЧЕ? Использовать метрику: Будем вычислять среднее расстояние и сравнивать с заранее заданной погрешностью.
43. АЛГОРИТМ DELTAE Среднее расстояние: 0.01
44. КАК ИНАЧЕ? Одинаковыми будем считать пиксели с одной яркостью. При этом допустим небольшую погрешность.
45. АЛГОРИТМ GRAYSCALE Погрешность 8, среднее расстояние: 0
46. Погрешность 4, среднее расстояние: 0.09 АЛГОРИТМ GRAYSCALE
47. КАК ПРИМЕНИТЬ?
48. ПРОБЛЕМЫ •Танцы с бубном на CI •Даже в при сравнении в обычном режиме довольно медленно
49. ПРОБЛЕМЫ
50. ПРОБЛЕМЫ • Изменение внешнего вида страницы • Изменение текстов на странице
51. ПРОБЛЕМЫ • Медленно • Прекомпилировать assets • Убрать DatabaseCleaner
52. DATABASECLEANER RSpec Server DB
53. DATABASECLEANER RSpec Server DB Transaction
54. СПАСИБО ЗА ВНИМАНИЕ! Макар Ермохин teachbase.ru github.com/Earendil95