Тесты: Повторение. Виктор Суриков

В докладе я хочу рассказать как столкнулся с необходимостью запустить одни и те же тесты несколько раз с разными параметрами, и как это можно решить не прибегая к сторонним библиотекам, а всего несколькими строками кода.

Transcript

1. Тесты: Повторение Виктор Суриков @Virasio
2. Сбербанк Онлайн • Около 110 команд • 165 активных iOS-разработчиков • Более 130 модулей • Более 2 000 000 строк кода • 50-100 одновременно открытых pull-request 2
3. Тестирование • Unit-тесты • Автоматические UI-тесты • Снапшот-тесты • Регрессионное тестирование 3 • Бета-тестирование • Частичная плавная раскатка функциональности
4. Unit-тесты • Бизнес-логика • Баг == Тест • PR должен пройти все тесты • Но случается… 4
5. Новая функция Показать пользователю ожидаемый доход по открываемому вкладу 5
6. Математика Начисление процентов осуществляется по следующей формуле: N– количество интервалов Расчетного периода j– индекс суммирования Ij- установленная по Вкладу/Счету Процентная ставка (в процентах годовых), действующая в j-ом интервале Расчетного периода Cj– остаток вклада в j-ом интервале Расчетного периода Tj– количество дней в периоде Kj– календарное количество дней в году (365/366) 6
7. FAILED 7
8. Поиск проблемы • Анализ кода Используется «календарь» • Что может аффектить даты? Временная зона • Проверка 8
9. class CalculationTests: XCTestCase { private let defaultTimeZone = TimeZone.current override func setUp() { super.setUp() if let timezone = TimeZone(abbreviation: "UTC+7") { NSTimeZone.default = timezone } } override func tearDown() { super.tearDown() NSTimeZone.default = defaultTimeZone } func testCalculation() { // ... } } 9 if let timezone = TimeZone(abbreviation: "UTC+7") { NSTimeZone.default = timezone } NSTimeZone.default = defaultTimeZone
10. Test Plan WWDC 2019, 413 Testing In Xcode 10
11. Test Plan • Что запускать • В каком порядке запускать • Параметры: язык, регион, локация • Переменные окружения и аргументы запуска 11
12. Xcode 11 beta 12
13. CI? • Jenkins • Каждый PR проходит все Unit-тесты • 165 разработчиков • 50-100 PR одномоментно на ревью 13
14. class CalculationTests: XCTestCase { func testCalculation() { let defaultTimeZone = TimeZone.current let timeZones = ["MSK", "UTC+7", "UTC+10"].compactMap { TimeZone(abbreviation: $0) } for timezone in timeZones { NSTimeZone.default = timezone myOldTestCalculation() } NSTimeZone.default = defaultTimeZone } func myOldTestCalculation() { // ... } } 14 for timezone in timeZones { NSTimeZone.default = timezone myOldTestCalculation() }
15. class CalculationTests: XCTestCase { func testCalculation() { let defaultTimeZone = TimeZone.current let timeZones = ["MSK", "UTC+7", "UTC+10"].compactMap { TimeZone(abbreviation: $0) } for timezone in timeZones { NSTimeZone.default = timezone myOldTestCalculation1() // ... myOldTestCalculation8() } NSTimeZone.default = defaultTimeZone } func myOldTestCalculation1() { // ... } func myOldTestCalculation8() { // ... } } 15 myOldTestCalculation1() // ... myOldTestCalculation8()
16. Запускаем тесты Что если какой-то из тестов упадёт? 16
17. XCTestCase 17
18. XCTestCase 18
19. class CalculationTests: XCTestCase { override class var defaultTestSuite: XCTestSuite { let testSuite = XCTestSuite(forTestCaseClass: self) let testCases = testInvocations.map { CalculationTests(invocation: $0) } testCases.forEach { testSuite.addTest($0) } return testSuite } func testCalculation1() { // ... } } 19 let testSuite = XCTestSuite(forTestCaseClass: self) let testCases = testInvocations.map { CalculationTests(invocation: $0) } testCases.forEach { testSuite.addTest($0) } return testSuite
20. class CalculationTests: XCTestCase { static let timeZones = ["MSK", "UTC+7", "UTC+10"].compactMap { TimeZone(abbreviation: $0) } override class var defaultTestSuite: XCTestSuite { let testSuite = XCTestSuite(forTestCaseClass: self) timeZones.forEach { timeZone in testInvocations.forEach { testInvocation in let testCase = CalculationTests(invocation: testInvocation) testCase.timeZone = timeZone testSuite.addTest(testCase) } } return testSuite } private let defaultTimeZone = TimeZone.current private var timeZone: TimeZone! override func setUp() { super.setUp() NSTimeZone.default = timeZone } override func tearDown() { super.tearDown() NSTimeZone.default = defaultTimeZone } func testCalculation1() { // ... } } 20 let testSuite = XCTestSuite(forTestCaseClass: self) timeZones.forEach { timeZone in testInvocations.forEach { testInvocation in let testCase = CalculationTests(invocation: testInvocation) testCase.timeZone = timeZone testSuite.addTest(testCase) } } return testSuite
21. Запускаем тесты 21
22. Success 22
23. Актуально? • Можно задавать не только time zone • Структура с параметрами • Генерация случайных параметров • Чтение больших объемов параметров из файлов 23
24. Выводы • Тесты — тоже production-код • Документацию читать полезно • Не всегда нужны фреймворки 24 Виктор Суриков @Virasio