TDC 2016 SP - Desmistificando cobertura de código como métrica de qualidade

Palestra apresentada no segundo dia da trilha de Testes (Testes II) no TDC 2016 São Paulo, no dia 09/07

Transcript

1. Globalcode – Open4education Desmistificando cobertura de código como métrica de qualidade Stefan Teixeira stefanfk@gmail.com / @stefan_teixeira
2. • QA Automation Engineer @ Toptal • Blogs técnicos: stefanteixeira.com.br (pt-br) / stefanteixeira.com (en) • Co-organizador dos meetups DevOps Carioca e Grupo de Testes Carioca Contatos: • E-mail: stefanfk@gmail.com • Twitter: twitter.com/stefan_teixeira • LinkedIn: linkedin.com/in/stefanteixeira • GitHub: github.com/stefanteixeira • SlideShare: slideshare.net/stefanteixeira Sobre
3. Cobertura de código
5. Fundamentos
6. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html
7. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html
8. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html
9. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html
10. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html
11. Alguns insights
12. "Test coverage is a useful tool for finding untested parts of a codebase. Test coverage is of little use as a numeric statement of how good your tests are" (Martin Fowler, ThoughtWorks)
13. http://martinfowler.com/bliki/TestCoverage.html
14. "High coverage numbers are too easy to reach with low quality testing” (Martin Fowler, ThoughtWorks)
15. Você pode ter 100% de cobertura sem NENHUM assert nos testes!
16. Quando parar de testar?
17. "One sign you are testing too much is if your tests are slowing you down. If it seems like a simple change to code causes excessively long changes to tests, that's a sign that there's a problem with the tests." (Martin Fowler, ThoughtWorks)
18. Métricas de código como metas
20. Utilidade de metas de cobertura de código
21. "Once a metric becomes a target, it loses its meaning as a measure" (Goodhart’s Law)
22. “Quando a métrica vira meta, tudo fica uma ” (CFC, Knowledge21)
23. "The problem is that people optimize their performance according to how they’re measured. You can get 85% coverage by looking at the coverage conditions and picking the ones that seem easiest to satisfy…” (Brian Marick)
24. Efeitos de métricas como meta • Mutirão de testes
25. Efeitos de métricas como meta • Mutirão de testes • Testes só para aumentar cobertura
26. Efeitos de métricas como meta • Mutirão de testes • Testes só para aumentar cobertura • Testes inúteis: getters, setters, construtores
28. Meta levando a decisões ruins • Temos que testar a funcionalidade X
29. Meta levando a decisões ruins • Temos que testar a funcionalidade X • Testá-la pela API é muito simples
30. Meta levando a decisões ruins • Temos que testar a funcionalidade X • Testá-la pela API é muito simples • Testá-la com unit tests é muito complexo
31. Meta levando a decisões ruins • Temos que testar a funcionalidade X • Testá-la pela API é muito simples • Testá-la com unit tests é muito complexo E aí, como testar?
32. Resposta • “Vamos testar com unit tests pra não sair da meta!"
33. Como saber se meus testes são bons?
34. Como saber se meus testes são bons? • Testes devem cobrir as partes mais complexas da aplicação
35. Como saber se meus testes são bons? • Testes devem cobrir as partes mais complexas da aplicação • Testes devem efetivamente testar alguma coisa
36. Complexidade de código
37. (Algumas) ferramentas
38. Métricas conhecidas • Complexidade Ciclomática
39. Métricas conhecidas • Complexidade Ciclomática • ABCMetric
40. Métricas conhecidas • Complexidade Ciclomática • ABCMetric • LCOM
41. Testes de Mutação
42. (Algumas) ferramentas
43. Testes de Mutação • Introduz mutações na implementação
44. Testes de Mutação • Introduz mutações na implementação • Roda os testes
45. Testes de Mutação • Introduz mutações na implementação • Roda os testes • Falharam?
46. Testes de Mutação • Introduz mutações na implementação • Roda os testes • Falharam?
47. Testes de Mutação • Introduz mutações na implementação • Roda os testes • Falharam? • Passaram??
48. Testes de Mutação • Introduz mutações na implementação • Roda os testes • Falharam? • Passaram??
49. Exemplos de mutações http://pitest.org/quickstart/mutators/
50. Conclusões
51. Conclusões • 100% de cobertura != bons testes
52. Conclusões • 100% de cobertura != bons testes • Teste as partes mais complexas da sua aplicação
53. Conclusões • 100% de cobertura != bons testes • Teste as partes mais complexas da sua aplicação • Use testes de mutação para garantir que seus testes são eficazes
54. Referências (parte 1) • Cobertura de código: • http://pt.slideshare.net/Kevlin/what-we-talk-about-when-we-talk-about- unit-testing (Palestra Kevlin Henney) • http://martinfowler.com/bliki/TestCoverage.html • http://martinfowler.com/bliki/AssertionFreeTesting.html • http://www.developertesting.com/archives/ month200705/20070504-000425.html (Conto sobre Code Coverage) • http://www.exampler.com/testing-com/writings/coverage.pdf (Artigo do Brian Marick sobre Code Coverage) • Complexidade de código: • http://blog.caelum.com.br/medindo-a-complexidade-do-seu-codigo/ • http://blog.caelum.com.br/como-medir-a-coesao-lcom/ • http://www.obomprogramador.com/2014/03/lack-of-cohesion-in- methods-4-lcom4.html • http://c2.com/cgi/wiki?AbcMetric
55. Referências (parte 2) • Ferramentas: • http://www.sonarqube.org/ • https://github.com/es-analysis/plato • https://github.com/bbatsov/rubocop • https://codeclimate.com/ • Testes de Mutação: • http://pitest.org/ • https://github.com/mbj/mutant • http://visualmutator.github.io/web/ • https://www.npmjs.com/package/grunt-mutation-testing • https://pypi.python.org/pypi/MutPy/0.4.0 • http://pt.slideshare.net/labianchin/teste-de-mutao
56. Globalcode – Open4education Stefan Teixeira @stefan_teixeira stefanfk@gmail.com Obrigado! stefanteixeira.com.br stefanteixeira.com