Garantindo qualidade no app do Nubank

Transcript

1. Garantindo qualidade no App do Nubank Victor Maraccini @vmaraccini Francesco Perrotti-Garcia @fpg1503
2. Show of hands
3. Show of hands Quem aqui:
4. Show of hands Quem aqui: • É cliente do Nubank
5. O que é Nubank?
6. O que é Nubank?
7. • Mais de 1200 funcionários O que é Nubank?
8. • Mais de 1200 funcionários • Diversidade O que é Nubank?
9. • Mais de 1200 funcionários • Diversidade • Mais de 5MM de clientes O que é Nubank?
10. • Mais de 1200 funcionários • Diversidade • Mais de 5MM de clientes • Clientes fazem tudo pelo app O que é Nubank?
11. • Mais de 1200 funcionários • Diversidade • Mais de 5MM de clientes • Clientes fazem tudo pelo app • Cultura de qualidade e testes O que é Nubank?
12. Show of hands
13. Show of hands Quem aqui: • Acredita que testes melhoram a qualidade do código
14. Show of hands Quem aqui: • Acredita que testes melhoram a qualidade do código • Mexeu com Mobile
15. Por que testamos?
16. Por que testamos? • Evitar regressão • Mais velocidade para refatorar e fazer mudanças • Novos engenheiros tem confiança nas entregas
17. Por que testamos? • Evitar regressão • Mais velocidade para refatorar e fazer mudanças • Novos engenheiros tem confiança nas entregas • Garantir comportamentos existentes • De forma automatizada • Em diferentes condições de uso
18. Pirâmide de testes
19. Pirâmide de testes Unitários
20. Pirâmide de testes Integração Unitários
21. Pirâmide de testes E2E Integração Unitários
22. Nossa pirâmide de testes em Mobile E2E Integração Unitários E2E
23. Nossa pirâmide de testes em Mobile Unitários E2E E2E Integração Integração
24. Nossa pirâmide de testes em Mobile Unitários E2E Integração
25. Nossa pirâmide de testes em Mobile Unitários E2E Integração Unitários 95.2% Integração 4.8%
26. Nossa pirâmide de testes em Mobile Integração Unitários E2E
27. Nossa pirâmide de testes em Mobile Integração Unitários E2E Testes antes de cada merge
28. Nossa pirâmide de testes em Mobile Integração Unitários E2E Testes antes de cada merge Deploy a cada merge
29. Nossa pirâmide de testes em Mobile Integração Unitários E2E Testes antes de cada merge Deploy a cada merge Rollout Teste A/B
30. Nossa pirâmide de testes em Mobile Integração Unitários E2E Testes antes de cada merge Deploy a cada merge Rollout Teste A/B Checklist
31. Integração contínua Code Review Testes passando Testes antes de cada merge
32. Entrega contínua Deploy a cada merge
33. Entrega contínua Deploy a cada merge
34. Entrega contínua Deploy a cada merge
35. Entrega contínua Deploy a cada merge
36. Testes unitários Integração Unitários
37. Testes unitários Integração Unitários • Foco no comportamento individual de componentes
38. Testes unitários Integração Unitários • Foco no comportamento individual de componentes • Desacoplado
39. Testes unitários Integração Unitários • Foco no comportamento individual de componentes • Desacoplado • Especializado
40. Contexto Integração Unitários struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool }
41. struct MGMChannelData { let type: MGMChannel } struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } Contexto Integração Unitários
42. Contexto Integração Unitários struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } struct MGMChannelData { let count: Int? }
43. Contexto Integração Unitários struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } struct MGMChannelData { let canOpen: Bool }
44. Dependências implícitas struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData(invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } }
45. Dependências implícitas struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData(invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp)
46. Dependências implícitas struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData(invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) protocol URLHandler { func canOpenURL(_ url: URL) -> Bool }
47. Funções puras
48. Funções puras • Possuí retorno (não é void)
49. Funções puras • Possuí retorno (não é void) • Resultado determinístico
50. Funções puras • Possuí retorno (não é void) • Resultado determinístico • Dado um input, retorna sempre o mesmo resultado
51. Funções puras • Possuí retorno (não é void) • Resultado determinístico • Dado um input, retorna sempre o mesmo resultado • Como funções matemáticas: f(x) = y
52. Funções puras (ou não)
53. Funções puras (ou não) func fibonacci(n: UInt) -> UInt { guard n > 1 else { return n } return fibonacci(n: n-1) + fibonacci(n: n-2) }
54. Funções puras (ou não) func save(identities: [User]) -> Int { let db = Database() return db.save(identities) } func fibonacci(n: UInt) -> UInt { guard n > 1 else { return n } return fibonacci(n: n-1) + fibonacci(n: n-2) }
55. Injeção de dependências struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData(invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) protocol URLHandler { func canOpenURL(_ url: URL) -> Bool }
56. Injeção de dependências struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData( invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } protocol URLHandler { func canOpenURL(_ url: URL) -> Bool } func createChannelData(urlHandler: URLHandler,
57. Injeção de dependências struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData( invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: let canOpenWhatsapp = UIApplication.shared .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } protocol URLHandler { func canOpenURL(_ url: URL) -> Bool } func createChannelData(urlHandler: URLHandler, let canOpenWhatsapp = UIApplication.shared
58. Injeção de dependências struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData( invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: .canOpenURL(Hypermedia.whatsApp) return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } func createChannelData(urlHandler: URLHandler, let canOpenWhatsapp = urlHandler
59. Injeção de dependências struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData( invitations: Int, channel: Customer.Channel) -> MGMChannelData { switch channel { case .whatsapp: return MGMChannelData(type: .whatsapp, count: nil, canOpen: canOpenWhatsapp) ... } } } protocol URLHandler { func canOpenURL(_ url: URL) -> Bool } func createChannelData(urlHandler: URLHandler, let canOpenWhatsapp = urlHandler.canOpenURL(Hypermedia.whatsApp)
60. Testes unitários Exemplo: Funções “puras" func testChannelDataCreationWhatsappCannotOpen() { let urlHandler = URLHandlerMock(canOpenWhatsapp: false) let invites = Int.arbitrary.generate let channelData = MGMInteractor.createChannelData(invitations: invites, channel: .whatsapp, urlHandler: urlHandler) expect(channelData) == MGMChannelData(type: .whatsapp, count: nil, canOpen: false) } Integração Unitários struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData(urlHandler: URLHandler, invitations: Int, channel: Customer.Channel) -> MGMChannelData }
61. Testes unitários Exemplo: Funções “puras" func testChannelDataCreationWhatsappCannotOpen() { let urlHandler = URLHandlerMock(canOpenWhatsapp: false) let invites = Int.arbitrary.generate let channelData = MGMInteractor.createChannelData(invitations: invites, channel: .whatsapp, urlHandler: urlHandler) expect(channelData) == MGMChannelData(type: .whatsapp, count: nil, canOpen: false) } Integração Unitários struct MGMChannelData { let type: MGMChannel let count: Int? let canOpen: Bool } class MGMInteractor { ... func createChannelData(urlHandler: URLHandler, invitations: Int, channel: Customer.Channel) -> MGMChannelData } canOpen: false) let urlHandler = URLHandlerMock(canOpenWhatsapp: false)
62. Efeitos colaterais Integração Unitários UI, HTTP, … Controller Lógica Funcional Side-effects Framework
63. Testes unitários Exemplo: Efeitos colaterais class Controller { init() { let viewController = ViewController() ... viewController.action .subscribe(onNext: { MGMManager().invite() }) } } Integração Unitários
64. Testes unitários Exemplo: Efeitos colaterais class Controller { let viewController: ViewController let mgmManager: MGMManager init(mgmManager: MGMManager, viewController: ViewController) { self.mgmManager = mgmManager self.viewController = viewController viewController.action .subscribe(onNext: { mgmManager.invite() }) } } Integração Unitários
65. Testes unitários Exemplo: Efeitos colaterais func testInviteMGM() { let mgmManager = StubMGMManager() let stubViewController = StubViewController() let controller = Controller(mgmManager: mgmManager, viewController: stubViewController) //Given a simulated tap stubViewController.confirmSubject.onNext(()) //Expect side-effects expect(mgmManager.inviteInvocationCount) == 1 } Integração Unitários
66. Testes unitários Exemplo: Efeitos colaterais func testInviteMGM() { let mgmManager = StubMGMManager() let stubViewController = StubViewController() let controller = Controller(mgmManager: mgmManager, viewController: stubViewController) //Given a simulated tap stubViewController.confirmSubject.onNext(()) //Expect side-effects expect(mgmManager.inviteInvocationCount) == 1 } Integração Unitários let stubViewController = StubViewController() viewController: stubViewController //Given a simulated tap stubViewController.confirmSubject.onNext(())
67. func testInviteMGM() { let mgmManager = StubMGMManager() let stubViewController = StubViewController() let controller = Controller(mgmManager: mgmManager, viewController: stubViewController) //Given a simulated tap stubViewController.confirmSubject.onNext(()) //Expect side-effects expect(mgmManager.inviteInvocationCount) == 1 } //Expect side-effects expect(mgmManager.inviteInvocationCount) == 1 let mgmManager = StubMGMManager() mgmManager: mgmManager, Testes unitários Exemplo: Efeitos colaterais Integração Unitários
68. Testes unitários de view Integração Unitários
69. Testes unitários de view Integração Unitários • Permite validar o layout em várias condições de uso
70. Testes unitários de view Integração Unitários • Permite validar o layout em várias condições de uso • Uso de screenshots
71. Testes unitários de view Integração Unitários • Permite validar o layout em várias condições de uso • Uso de screenshots
72. Testes unitários de view Integração Unitários • Permite validar o layout em várias condições de uso • Uso de screenshots • Facilita a verificação com o Design
73. Testes unitários de view Integração Unitários • Permite validar o layout em várias condições de uso • Uso de screenshots • Facilita a verificação com o Design • Evita modificações não intencionais no layout
74. Testes unitários de view Integração Unitários • Permite validar o layout em várias condições de uso • Uso de screenshots • Facilita a verificação com o Design • Evita modificações não intencionais no layout • Permite validar a acessibilidade das telas
75. Testes unitários de view Integração Unitários
76. Testes unitários de view Integração Unitários • Como testar layout isolado?
77. Testes unitários de view Integração Unitários • Como testar layout isolado? • Dividir responsabilidades
78. Testes unitários de view Integração Unitários • Como testar layout isolado? • Dividir responsabilidades • Desacoplar comportamentos
79. Testes unitários de view Integração Unitários • Como testar layout isolado? • Dividir responsabilidades • Desacoplar comportamentos Tela
80. Testes unitários de view Integração Unitários ViewController Controller View ViewModel Repassa Ações Repassa Ações Atualiza Cria • Como testar layout isolado? • Dividir responsabilidades • Desacoplar comportamentos Medium: Building Nubank - iOS App Architecture
81. Testes unitários de view Integração Unitários ViewController Controller View ViewModel Repassa Ações Repassa Ações Atualiza Cria • Como testar layout isolado? • Dividir responsabilidades • Desacoplar comportamentos Medium: Building Nubank - iOS App Architecture
82. Testes unitários de view Integração Unitários • Como testar layout isolado? • Dividir responsabilidades • Desacoplar comportamentos ViewController Controller View ViewModel Repassa Ações Repassa Ações Atualiza Cria Medium: Building Nubank - iOS App Architecture
83. Testes unitários de view Integração Unitários • Como testar layout isolado? • Dividir responsabilidades • Desacoplar comportamentos ViewController Controller View ViewModel Repassa Ações Repassa Ações Atualiza Cria Medium: Building Nubank - iOS App Architecture
84. Testes unitários de view Integração Unitários Exercitar todos os tamanhos da tela ou componente * Telas não necessariamente verdadeiras
85. Testes unitários de view Integração Unitários Exercitar todos os tamanhos da tela ou componente * Telas não necessariamente verdadeiras 4S 6/6S/7/8 6P/7P/8P 5/5S/5C/SE X
86. Testes unitários de view Integração Unitários Exercitar todos os tamanhos de fonte na tela ou componente CategoryXS CategoryXXXL CategoryAccessibilityXXXL * Telas não necessariamente verdadeiras
87. Testes unitários de view Integração Unitários Exercitar todos os estados da tela ou componente * Telas não necessariamente verdadeiras
88. Testes unitários de view Integração Unitários Exercitar todos os estados da tela ou componente * Telas não necessariamente verdadeiras
89. Testes unitários de view Exemplo func testLayout() throws { let permutations = [ ("popup", PopupViewModel(popup: somePopup)), ("one-action", PopupViewModel(popup: oneActionPopup)), ("no-icon", PopupViewModel(popup: noIconPopup)), ("recognized-timeout", .recognizedTimeout(url: .empty())), ("unrecognized-block", .unrecognizedBlock(url: .empty())) ] try permutations.forEach { identifier, viewModel in let viewController = PopupViewController() viewController.bind(viewModel) try assertView(viewController.view, width: 350, identifier: identifier, screenshotService: service) } } Integração Unitários
90. Testes unitários de view Exemplo func testLayout() throws { let permutations = [ ("popup", PopupViewModel(popup: somePopup)), ("one-action", PopupViewModel(popup: oneActionPopup)), ("no-icon", PopupViewModel(popup: noIconPopup)), ("recognized-timeout", .recognizedTimeout(url: .empty())), ("unrecognized-block", .unrecognizedBlock(url: .empty())) ] try permutations.forEach { identifier, viewModel in let viewController = PopupViewController() viewController.bind(viewModel) try assertView(viewController.view, width: 350, identifier: identifier, screenshotService: service) } } Integração Unitários let permutations = [ ("popup", PopupViewModel(popup: somePopup)), ("one-action", PopupViewModel(popup: oneActionPopup)), ("no-icon", PopupViewModel(popup: noIconPopup)), ("recognized-timeout", .recognizedTimeout(url: .empty())), ("unrecognized-block", .unrecognizedBlock(url: .empty())) ]
91. Testes unitários de view Exemplo func testLayout() throws { let permutations = [ ("popup", PopupViewModel(popup: somePopup)), ("one-action", PopupViewModel(popup: oneActionPopup)), ("no-icon", PopupViewModel(popup: noIconPopup)), ("recognized-timeout", .recognizedTimeout(url: .empty())), ("unrecognized-block", .unrecognizedBlock(url: .empty())) ] try permutations.forEach { identifier, viewModel in let viewController = PopupViewController() viewController.bind(viewModel) try assertView(viewController.view, width: 350, identifier: identifier, screenshotService: service) } } Integração Unitários let viewController = PopupViewController() viewController.bind(viewModel) try permutations.forEach { identifier, viewModel in }
92. Testes unitários de view Exemplo func testLayout() throws { let permutations = [ ("popup", PopupViewModel(popup: somePopup)), ("one-action", PopupViewModel(popup: oneActionPopup)), ("no-icon", PopupViewModel(popup: noIconPopup)), ("recognized-timeout", .recognizedTimeout(url: .empty())), ("unrecognized-block", .unrecognizedBlock(url: .empty())) ] try permutations.forEach { identifier, viewModel in let viewController = PopupViewController() viewController.bind(viewModel) try assertView(viewController.view, width: 350, identifier: identifier, screenshotService: service) } } Integração Unitários try assertView(viewController.view, width: 350, identifier: identifier, screenshotService: service) try permutations.forEach { identifier, viewModel in }
93. Testes de integração Integração Unitários
94. Testes de integração Integração Unitários • Foco no funcionamento dos componentes em conjunto
95. Testes de integração Integração Unitários • Foco no funcionamento dos componentes em conjunto • Fluxos reais do app com poucas modificações
96. Testes de integração Integração Unitários • Foco no funcionamento dos componentes em conjunto • Fluxos reais do app com poucas modificações • Requests mockados internamente no teste
97. Testes de integração Integração Unitários
98. KIF Input do Usuário Testes de integração Integração Unitários
99. OHHTTPStubs KIF Input do Usuário Testes de integração Integração Unitários Mocks de requests
100. Testes de integração Integração Unitários
101. Testes de integração Integração Unitários
102. Testes de integração Exemplo func login() { tester().tapView(withAccessibilityLabel: "LOGIN") tester().waitForSoftwareKeyboard() tester().enterText(intoCurrentFirstResponder: validCPF) tester().tapView(withAccessibilityLabel: "CONTINUAR") tester().enterText(intoCurrentFirstResponder: validPassword) tester().tapView(withAccessibilityLabel: "ENTRAR") } func testReorderFlow() throws { tester().swipeView(withAccessibilityIdentifier: "global-actions", inDirection: .left) tester().moveRow(at: IndexPath(row: 0, section: 0), to: IndexPath(row: 1, section: 0), in: tester().firstTableView()) tester().waitForAnimationsToFinish() tester().tapView(withAccessibilityLabel: "Voltar") tester().swipeView(withAccessibilityIdentifier: "global-actions", inDirection: .right) tester().waitForAnimationsToFinish() } Integração Unitários
103. Testes de integração Exemplo func login() { tester().tapView(withAccessibilityLabel: "LOGIN") tester().waitForSoftwareKeyboard() tester().enterText(intoCurrentFirstResponder: validCPF) tester().tapView(withAccessibilityLabel: "CONTINUAR") tester().enterText(intoCurrentFirstResponder: validPassword) tester().tapView(withAccessibilityLabel: "ENTRAR") } func testReorderFlow() throws { tester().swipeView(withAccessibilityIdentifier: "global-actions", inDirection: .left) tester().moveRow(at: IndexPath(row: 0, section: 0), to: IndexPath(row: 1, section: 0), in: tester().firstTableView()) tester().waitForAnimationsToFinish() tester().tapView(withAccessibilityLabel: "Voltar") tester().swipeView(withAccessibilityIdentifier: "global-actions", inDirection: .right) tester().waitForAnimationsToFinish() } Integração Unitários tapView waitForSoftwareKeyboard enterText swipeView moveRow waitForAnimationsToFinish
104. Estatísticas no App Nativo iOS
105. Estatísticas no App Nativo iOS 0 1,500,000 3,000,000 4,500,000 6,000,000 0 175,000 350,000 525,000 700,000 06/2016 12/2016 06/2017 12/2017 06/2018 12/2018 LOC Clientes
106. Estatísticas no App Nativo iOS 0 1,500,000 3,000,000 4,500,000 6,000,000 0 175,000 350,000 525,000 700,000 06/2016 12/2016 06/2017 12/2017 06/2018 12/2018 LOC Clientes 426,839 472,620 581,691 626,059 358,513 409,269
107. Estatísticas no App Nativo iOS 0 1,500,000 3,000,000 4,500,000 6,000,000 0 175,000 350,000 525,000 700,000 06/2016 12/2016 06/2017 12/2017 06/2018 12/2018 LOC Clientes 426,839 472,620 581,691 626,059 358,513 409,269 Refactor interno e novo app
108. 0 2,000 4,000 6,000 8,000 0 175,000 350,000 525,000 700,000 06/2016 12/2016 06/2017 12/2017 06/2018 12/2018 LOC Testes 426,839 472,620 581,691 626,059 358,513 409,269 Rescrita de componentes e novo app Estatísticas no App Nativo iOS
109. Estrutura do App Common libraries Credit NuConta Rewards App
110. Estrutura do App Common libraries Credit NuConta Rewards App
111. Estatísticas
112. Estatísticas 0 10 20 30 06/2016 12/2016 06/2017 12/2017 06/2018 12/2018 Frameworks Engenheiros Mobile Reestruturação em Frameworks
113. Obrigado! Victor Maraccini @vmaraccini | victor.maraccini@nubank.com.br Francesco Perrotti-Garcia @fpg1503 | francesco.garcia@nubank.com.br
114. Obrigado! sou.nu/jobs-at-nubank Victor Maraccini @vmaraccini | victor.maraccini@nubank.com.br Francesco Perrotti-Garcia @fpg1503 | francesco.garcia@nubank.com.br TestFlight (Beta)