Жизнь без QA: Как тестируют в Uploadcare или pytest на все случаи жизни

53b0434aded1fb944ec3037c382158c1?s=47 Moscow Python Meetup
September 26, 2019
Programming
0
110

Жизнь без QA: Как тестируют в Uploadcare или pytest на все случаи жизни

Андрей Барышников (Uploadcare, Software Engineer) @ Moscow Python Meetup 68

"Мой доклад будет посвящен опыту Uploadcare в развитии своей тестировочной инфраструктуры.

В Uploadcare существует множество связанных и не очень приложений которые обеспечивают работу всего сервиса. Чтобы понимать, что что-то сломалось или корректно работает мы используем: интеграционные тесты, unit-тесты, функциональные тесты, bdd и e2e тестирование, тестирования БД. Все это мы делаем без отдела QA и с помощью Pytest. Мы не гордимся тем, что у нас нет отдела QA, но гордимся тем, что в любой момент времени мы можем сказать, что что-то сломалось или работает корректно.

Я хотел бы рассказать о нашем опыте построения инфраструктуре тестов, проблемах с которыми мы столкнулись, решениях которые мы использовали и нюансах о которых мы узнали".

Видео: http://www.moscowpython.ru/meetup/68/life-without-qa/

53b0434aded1fb944ec3037c382158c1?s=128

Moscow Python Meetup

September 26, 2019
Tweet

More Decks by Moscow Python Meetup

See All by Moscow Python Meetup
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
36
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
39
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
60
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
56
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
80
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
140
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
1
390
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
230
53b0434aded1fb944ec3037c382158c1?s=48 moscowdjango
0
170

Other Decks in Programming

See All in Programming
Ae276805027a01983503c3edafbdb6b2?s=48 martysuzuki
4
1.1k
820c51c7e79c45286e41a41a2a721c0f?s=48 saiten
6
340
Bf3acef686273e03fa4fdf125fdad3e9?s=48 kuncevic
0
160
7d1521d950d9bc5697868830cb04ff2f?s=48 yimajo
3
390
9ec05c5a1b9b0ce9cd53ec3a63838b9a?s=48 yuuu
2
170
5ad0bb268dd2605b09165d464308cb7e?s=48 igaiga
2
120
19d7ae634445d4bd9b10c7961a462260?s=48 shu223
9
1.7k
Bfb93c5dc0fde76ddac605bba0e1b642?s=48 sucitw
0
140
575ca492bac55e895d0e1c86f7d709fe?s=48 hschwentner
9
1.6k
9f33218af7ae5c04e102fcc3076f2f5c?s=48 yhkaplan
4
670
15934fa2aa7b2ce21f091e9b7cffa856?s=48 manfredsteyer
1
200
15934fa2aa7b2ce21f091e9b7cffa856?s=48 manfredsteyer
0
180

Featured

See All Featured
A0517b08532aec8ab2aae3f65d40ad86?s=48 hannesfritz
26
870
D83926c323d4f9289f947b4b4e76b939?s=48 jensimmons
205
9.9k
7fa6101cd43067653cf4ac6c7ca54305?s=48 akmur
252
19k
1519587b1a0febb658c36c94f6272b0d?s=48 roundedbygravity
84
7.7k
32de0bd2ba869609d26fd052a4622778?s=48 cromwellryan
100
5.7k
6804f1775cb4babfcc3851298566fbce?s=48 tanoku
85
8.3k
11c84dff30266b907714802088852677?s=48 jasonvnalue
80
7.9k
C7393b7ba7ec9c8890dd77d209fbb3c9?s=48 maltzj
499
36k
A9704266587836f7e784235e5073b93e?s=48 jmmastey
2
240
F383c6a4dc55e331bbe2987b622cee6b?s=48 stephaniewalter
256
10k
5b6a2bd86ef643786a381a212e0ef2f1?s=48 geoffreycrofte
11
250
245cee81a9c424266e5e401d844ea881?s=48 lara
589
60k

Transcript

  1. Или pytest на все случаи жизни Жизнь без QA: как

    тестируют в Uploadcare Андрей Барышников
 ab@uploadcare.com

  2. “Архитектура”

  3. “Дымовые” и интеграционные и тесты

  4. Когда запускать тесты •smoke тесты каждые - 15 минут •Интеграционные

    тесты - каждый час •Тяжелые тесты или использующие внешние API - каждые 4 часа •После деплоя приложения запускаются тесты интеграции этого приложения •Когда хочется :)

  5. CI и уведомления о тестах

  6. pytest feature: marks

  7. Артефакты тестирования https://clc.to/debug-requests

  8. Проблемы: flaky, retry, $ Повторы проваленных тестов - pytest-rerunfailures

  9. Функциональные и юнит тесты: переход к pytest

  10. Производительность и профилирование тестов • N самых медленных тестов: pytest

    --durations=N • Ищите и блокируйте запросы в интернет в тестируемом коде • Отключайте сигналы и “тяжелые функции” • Повторно используйте фикстуры внутри тест-кейсов • Используйте транзакции в тестах • Следите за изолированность тестов и фикстур • Распараллеливание через xdist

  11. BDD, E2E тестирование внешних API Проблемы с внешними API: •

    Часто меняются без уведомлений • Настройки приложений кто-то может поменять • API может “упасть”, status page - OK Что хотелось от тестов:
 • Реже менять тесты под изменения API • Тестировать “живое” API • Мокать и проверять вызовы, смотреть логи http запросов • Знать величину покрытия кода

  12. BDD, E2E и использование внешних API

  13. Проблемы с BDD E2E - Очень долго - Палки в

    колеса велосипеда от сервисов: прокси, капча - Selenium - боль

  14. Тестирование БД • Проверка целостности бекапа, полного восстановления • Проверка

    статистических показателей таблиц и индексов • Прогон ~ 13 часов

  15. Пишите тесты :)