Нативные UI тесты

Transcript

1. Нативные UI тесты, которые работают Артём Разинов, Avito 1
2. План • Зачем • Hello, world! пример на XCUI • Наша реализация функциональных тестов • Базовая часть • Оптимизации • CI/CD, процессы и прочее !2
3. Зачем • Мы хотим иметь возможность релизиться раз в неделю • Мы хотим покрытие автотестами !3
4. Исследование багов !4
5. Исследование багов !5
6. Пирамида тестирования Functional Component Unit Black box Grey box White box E2E !6
7. Пирамида тестирования Functional Component Unit 200 100 1000 1000 (200) !7
8. Инструменты Black White Open Source Поддержка Swift & Obj-C Android EarlGrey ❌ ✅ ✅ ✅ ✅ ❌ XCUI ✅ ❌ ❌ ✅ ✅ ❌ Appium ✅ ❌ ✅ ✅ ❌ ✅ Calabash ✅ ❌ ✅ ❌ ❌ ✅ KIF ✅ ❌ ✅ ✅ ✅ ❌ MonkeyTalk ✅ ❌ ❌ ❌ ❌ ✅ Frank ✅ ❌ ✅ ❌ ❌ ❌ !8
9. Инструменты Black White Open Source Поддержка Swift & Obj-C Android EarlGrey ❌ ✅ ✅ ✅ ✅ ❌ XCUI ✅ ❌ ❌ ✅ ✅ ❌ Appium ✅ ❌ ✅ ✅ ❌ ✅ Calabash ✅ ❌ ✅ ❌ ❌ ✅ KIF ❌ ✅ ✅ ✅ ✅ ❌ MonkeyTalk ✅ ❌ ❌ ❌ ❌ ✅ Frank ✅ ❌ ✅ ❌ ❌ ❌ !9
10. Hello, world! на XCUI !10
11. !11
12. !12
13. !13
14. Тестовое приложение !14
15. !15
16. !16
17. !17
18. func test_showingThat_scrollGivesFalsePositive() { app.tables.buttons["Скролл отключен"].tap() XCTAssert(XCUIApplication().cells["LastCat"].exists) XCUIApplication().cells["LastCat"].tap() } !18
19. Открывается экран со скроллвью Тап приводит к тому, что происходит программный скролл Реально доскроллить до кота нельзя Соответственно тапнуть тоже нельзя !19
20. Просто экран с котиком Мы используем его для определения того, что мы можем использовать в XCUI для определения видимости !20
21. extension XCUIElement { func isWithin(_ other: XCUIElement) -> Bool { return frame.width > 0 && frame.height > 0 && frame.intersection(other.frame) == frame } } func test_showingThat_visibilityCheckCanLeadToFalseNegative() { app.tables.buttons["Видимая вьюшка"].tap() XCTAssert(app.images.element(boundBy: 0).exists) XCTAssert(app.images.element(boundBy: 0).isWithin(app)) XCTAssert(app.images.element(boundBy: 0).isHittable) } !21
22. !22
23. !23
24. !24
25. !25
26. !26
27. !27
28. Переходим на ленту Скроллим Скролл останавливается, так как котик пересекся с экраном котик тут !28
29. Ссылка на тестовое приложение !29
30. It's absolutely ridiculous. The system is fundamentally broken. !30
31. !31
32. Что у нас по факту • 150 тестовых сценариев, 200 тестов • 4 девайса, 3 оси, регрессионный суит за 2.5 часа • Интеграция в релизный процесс • Полный прогон каждый день • Несколько тестов на каждый PR (блокирующий билд) • 80% зеленых на iOS 11, 50% по всем осям !32
33. Причина красных тестов !33
34. Наша реализация • Пример теста • Page Object • Поиск элемента • Проверка на видимость • Скроллинг • Действия и проверки !34
35. !35
36. func test() { precondition { initialState.launchAuthorized(user: resourceManager.user()) } step("В NavBar тапнуть на имя пользователя") { pageObjects.account.userNameInNavigationBar.tap() assert("Открывается экран профиля") { pageObjects.profileScreen.view.assert.isDisplayed() } } step("Тапнуть на \"Выйти\".") { pageObjects.profileScreen.logout.tap() assert("Открывается экран кабинета \"Войдите или зарегистрируйтесь\"") { pageObjects.unauthorizedUserAccount.view.assert.isDisplayed() } } } !36
37. func test() { precondition { initialState.launchAuthorized(user: resourceManager.user()) } step("В NavBar тапнуть на имя пользователя") { pageObjects.account.userNameInNavigationBar.tap() assert("Открывается экран профиля") { pageObjects.profileScreen.view.assert.isDisplayed() } } step("Тапнуть на \"Выйти\".") { pageObjects.profileScreen.logout.tap() assert("Открывается экран кабинета \"Войдите или зарегистрируйтесь\"") { pageObjects.unauthorizedUserAccount.view.assert.isDisplayed() } } } !37
38. func test() { precondition { initialState.launchAuthorized(user: resourceManager.user()) } step("В NavBar тапнуть на имя пользователя") { pageObjects.account.userNameInNavigationBar.tap() assert("Открывается экран профиля") { pageObjects.profileScreen.view.assert.isDisplayed() } } step("Тапнуть на \"Выйти\".") { pageObjects.profileScreen.logout.tap() assert("Открывается экран кабинета \"Войдите или зарегистрируйтесь\"") { pageObjects.unauthorizedUserAccount.view.assert.isDisplayed() } } } !38
39. func test() { precondition { initialState.launchAuthorized(user: resourceManager.user()) } step("В NavBar тапнуть на имя пользователя") { pageObjects.account.userNameInNavigationBar.tap() assert("Открывается экран профиля") { pageObjects.profileScreen.view.assert.isDisplayed() } } step("Тапнуть на \"Выйти\".") { pageObjects.profileScreen.logout.tap() assert("Открывается экран кабинета \"Войдите или зарегистрируйтесь\"") { pageObjects.unauthorizedUserAccount.view.assert.isDisplayed() } } } !39
40. Наша реализация • Пример теста • Page Object • Поиск элемента • Проверка на видимость • Скроллинг • Действия и проверки !40
41. Page Object • Page Object - набор элементов (экран) • Page Object Element • Локатор • Проверки • Действия !41
42. !42
43. !43
44. !44
45. Наша реализация • Пример теста • Page Object • Поиск элемента • Проверка на видимость • Скроллинг • Действия и проверки !45
46. Локаторы !46
47. Билдер По предикату !47
48. @available(iOS 3.0, *) open class NSPredicate : NSObject, NSSecureCoding, NSCopying { public init(format predicateFormat: String, argumentArray arguments: [Any]?) public init(format predicateFormat: String, arguments argList: CVaListPointer) public init(value: Bool) @available(iOS 4.0, *) public init(block: @escaping (Any?, [String : Any]?) -> Bool) XCUIElementAttributes !48
49. #1 !49
50. !50
51. Наша реализация • Пример теста • Page Object • Поиск элемента • Проверка на видимость • Скроллинг • Действия и проверки !51
52. Проверка на видимость !52
53. Проверка на видимость !53
54. Доказательство !54
55. SBTUITestTunnel SBTUITestTunnelServer.registerCustomCommandNamed("getValue") { request in return "value" } let value = application.performCustomCommandNamed( "getValue", object: "view_12345" ) В тестах: !55
56. Для чего используем • Проверка на видимость • Скроллинг • Идентификатор для AB-тестов • Открытие диплинков • Симуляция геопозиции • Валидация запросов к АПИ • Подмена запросов АПИ !56
57. Дополнительные данные в Accessibility иерархии Классы Селектор iOS 11 NSObject, UIAccessibilityTextFieldElement _accessibilityAXAttributedValue iOS 9, iOS 10 Все наследники NSObject accessibilityValue #2 !57
58. Наша реализация • Пример теста • Page Object • Поиск элемента • Проверка на видимость • Скроллинг • Действия и проверки !58
59. Скроллинг После скролла !59
60. Патч координат func tappableCoordinate(x: CGFloat, y: CGFloat) -> XCUICoordinate { var x = x var y = y let frame = self.frame // TODO: Брать значение 1 раз за сессию (кешировать) let minX: CGFloat = 0 // С -1 работает как с 0 let minY: CGFloat = 20 // С 19 не работает вообще let maxX: CGFloat = frame.width - 1 // Без -1 делится на 2 let maxY: CGFloat = frame.height - 1 // Без -1 делится на 2 if x > maxX { x = maxX } if y > maxY { y = maxY } if x < minX { x = minX } if y < minY { y = minY } return coordinate(withNormalizedOffset: CGVector(dx: 0, dy: 0)) .withOffset(CGVector(dx: x, dy: y)) } !60
61. Collection View После скролла !61
62. Свиззлинг Collection View swizzle( #selector(UICollectionView.reloadData), #selector(UICollectionView.swizzled_CollectionViewSwizzler_reloadData) ) swizzle( #selector(UICollectionView.performBatchUpdates(_:completion:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_performBatchUpdates(_:completion:)) ) swizzle( #selector(UICollectionView.accessibilityElementCount), #selector(UICollectionView.swizzled_CollectionViewSwizzler_accessibilityElementCount) ) swizzle( #selector(UICollectionView.accessibilityElement(at:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_accessibilityElement(at:)) ) swizzle( #selector(UICollectionView.index(ofAccessibilityElement:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_index(ofAccessibilityElement:)) ) #3 !62
63. Свиззлинг Collection View swizzle( #selector(UICollectionView.reloadData), #selector(UICollectionView.swizzled_CollectionViewSwizzler_reloadData) ) swizzle( #selector(UICollectionView.performBatchUpdates(_:completion:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_performBatchUpdates(_:completion:)) ) swizzle( #selector(UICollectionView.accessibilityElementCount), #selector(UICollectionView.swizzled_CollectionViewSwizzler_accessibilityElementCount) ) swizzle( #selector(UICollectionView.accessibilityElement(at:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_accessibilityElement(at:)) ) swizzle( #selector(UICollectionView.index(ofAccessibilityElement:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_index(ofAccessibilityElement:)) ) #3 !63
64. Свиззлинг Collection View swizzle( #selector(UICollectionView.reloadData), #selector(UICollectionView.swizzled_CollectionViewSwizzler_reloadData) ) swizzle( #selector(UICollectionView.performBatchUpdates(_:completion:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_performBatchUpdates(_:completion:)) ) swizzle( #selector(UICollectionView.accessibilityElementCount), #selector(UICollectionView.swizzled_CollectionViewSwizzler_accessibilityElementCount) ) swizzle( #selector(UICollectionView.accessibilityElement(at:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_accessibilityElement(at:)) ) swizzle( #selector(UICollectionView.index(ofAccessibilityElement:)), #selector(UICollectionView.swizzled_CollectionViewSwizzler_index(ofAccessibilityElement:)) ) #3 !64
65. Наша реализация • Пример теста • Page Object • Поиск элемента • Проверка на видимость • Скроллинг • Действия и проверки !65
66. Действия func tap(actionSettings: ActionSettings) { return perform(actionSettings: actionSettings) { (element: XCUIElement, snapshot: ElementSnapshot) -> InteractionSpecificResult in if element.isHittable { element.tap() } else { element.center.tap() } return .success } } !66
67. Проверки func hasValue(_ expectedValue: String, checkSettings: CheckSettings) -> Bool { return performCheck(checkSettings: checkSettings) { (element: XCUIElement, snapshot: ElementSnapshot) -> InteractionSpecificResult in let elementValue = EnchancedAccessibilityValue .fromAccessibilityValue(snapshot.value as? String)? .originalValue if elementValue == expectedValue { return .success } else { return .failureWithMessage("ожидалось: \(expectedValue), актуальное: \(elementValue)") } } } !67
68. Проверки func hasValue(_ expectedValue: String, checkSettings: CheckSettings) -> Bool { return performCheck(checkSettings: checkSettings) { (element: XCUIElement, snapshot: ElementSnapshot) -> InteractionSpecificResult in let elementValue = EnchancedAccessibilityValue .fromAccessibilityValue(snapshot.value as? String)? .originalValue if elementValue == expectedValue { return .success } else { return .failureWithMessage("ожидалось: \(expectedValue), актуальное: \(elementValue)") } } } !68
69. Оптимизации • Ускорение анимаций • Переход по диплинкам • Умный скроллинг • Кеширование XCElementSnapshot !69
70. Ускорение анимаций • свизлим didMoveToSuperview у UIView • self.window?.layer.speed = 100 !70
71. Переход по диплинкам func test() { let advertisement = resourceManager.advertisement() let detailedAdvertisement = resourceManager.detailedAdvertisement(id: advertisement.id) precondition( """ Запустить приложение и перейти на Главную. Открыть карточку объявления. """) { initialState.openAdvertisementViaDeepLink(advertisement) } !71
72. Переход по диплинкам static func takeOff() { SBTUITestTunnelServer.registerCustomCommandNamed("openDeepLink") { request in return handleOpenDeepLinkRequest(request: request) } } ... private static func openDeepLink(deepLinkUri: String) -> DeepLinkOpeningResult { if let url = URL(string: deepLinkUri) { if UIApplication.shared.openURL(url) { return .success } else { return .failure("Не удалось открыть диплинк '\(deepLinkUri)', убедитесь в его валидности") } } else { return .failure("URL не валиден: \(deepLinkUri)") } } !72
73. Переход по диплинкам static func takeOff() { SBTUITestTunnelServer.registerCustomCommandNamed("openDeepLink") { request in return handleOpenDeepLinkRequest(request: request) } } ... private static func openDeepLink(deepLinkUri: String) -> DeepLinkOpeningResult { if let url = URL(string: deepLinkUri) { if UIApplication.shared.openURL(url) { return .success } else { return .failure("Не удалось открыть диплинк '\(deepLinkUri)', убедитесь в его валидности") } } else { return .failure("URL не валиден: \(deepLinkUri)") } } !73
74. Кеширование XCElementSnapshot let elementQueryResolvingState = ElementQueryResolvingState() let xcuiElementQuery = XCUIApplication().any.matching( NSPredicate( block: { snapshot, _ -> Bool in if let snapshot = snapshot as? XCElementSnapshot { let elementSnapshot = ElementSnapshotImpl(snapshot) let matchingResult = elementSnapshotMatcher.matches(snapshot: elementSnapshot) elementQueryResolvingState.append( matchingResult: matchingResult, elementSnapshot: elementSnapshot ) return matchingResult.matched } else { return false } } ) ) #4 !74
75. Кеширование XCElementSnapshot let elementQueryResolvingState = ElementQueryResolvingState() let xcuiElementQuery = XCUIApplication().any.matching( NSPredicate( block: { snapshot, _ -> Bool in if let snapshot = snapshot as? XCElementSnapshot { let elementSnapshot = ElementSnapshotImpl(snapshot) let matchingResult = elementSnapshotMatcher.matches(snapshot: elementSnapshot) elementQueryResolvingState.append( matchingResult: matchingResult, elementSnapshot: elementSnapshot ) return matchingResult.matched } else { return false } } ) ) #4 !75
76. Кеширование XCElementSnapshot func resolveElement(_ closure: (XCUIElementQuery) -> (XCUIElement)) -> ResolvedElementQuery { let stepLogBefore = StepLogBefore.other("Поиск элемента") let resolvedElementQuery = stepLogger.logStep(stepLogBefore: stepLogBefore) { () -> StepLoggerWrappedResult<ResolvedElementQuery> in let element = closure(xcuiElementQuery) elementQueryResolvingState.start() let elementExists = element.exists elementQueryResolvingState.stop() !76
77. Очистка стейта • Настройки клавиатур • Настройки алерта об алтернативных клавиатурах • Удаление аппа • Сброс настроек уведомлений, камеры, галереи • Сброс настроек геолокации !77
78. Симулирование геолокации CoreLocation.framework CLSimulationManager SBTUITestTunnelServer.registerCustomCommandNamed("simulateLocation") { request in guard let location = request as? CLLocation else { return NSNumber(booleanLiteral: false) } LocationSimulationManager.shared.stopLocationSimulation() LocationSimulationManager.shared.clearSimulatedLocations() LocationSimulationManager.shared.appendSimulatedLocation(location) LocationSimulationManager.shared.flush() LocationSimulationManager.shared.startLocationSimulation() return NSNumber(booleanLiteral: true) } #5 !78
79. Отчеты • Xcode Editor • Xcode Report Navigator • Allure • Report Viewer !79
80. Xcode Editor !80
81. Xcode Report Navigator !81
82. Allure !82
83. Report Viewer !83
84. Отчеты и Bool !84
85. Отчеты и Bool !85
86. Отчеты и Bool !86
87. CI: Regress Suite !87
88. CI: Pull Request !88
89. Запуск тестов не зависает не крешится запускает все тесты xcodebuild / xctestrun ❌ ❌ ❌ bluepill ✅ ✅ ❌ Наш раннер ✅ ✅ ✅ !89
90. Кто пишет тесты 19 11 !90
91. Строк кода 7687 5288 !91
92. Итог • E2E тестирование iOS реально • XCUI не выполняет всех задач • Нужно инвестировать много ресурсов !92
93. Спасибо за внимание!
 Задавайте вопросы Telegram: artyom_razinov
 Skype: artyom.razinov !93