Mutation testing : y a-t-il des trous dans votre couverture de test ?

URL des sources github : https://github.com/ptitFicus/mutation-testing-demo

Transcript

1. Speaker : Benjamin Cavy - @benjamin_cavy Mutation Testing Y a-t-il des trous dans votre couverture de test ?
2. #JSC2021 @benjamin_cavy Benjamin Cavy Dev à la MAIF https://maif.github.io/
3. #JSC2021 @benjamin_cavy 😱 Est-ce que mes tests sont bien ? 🤔 Comment écrire de bons tests ? ❓ C’est quoi un bon test ?
4. #JSC2021 @benjamin_cavy Pourquoi testons-nous ? 🕵 Préciser le besoin (TDD) 🧩 Tester des cas difficiles à avoir en vrai 🚨 Pour assurer la non régression
5. #JSC2021 @benjamin_cavy Non régression : c’est cool 📡 Vérifie qu’on a pas cassé une fonctionnalité existante ⛱ Allège (un peu) la charge de revue de code 👷 Facilite l’arrivé de nouveaux développeurs ⏱ Réduit la charge de tests “manuels”
6. #JSC2021 @benjamin_cavy 🤔 Comment s’assurer que nos tests détectent les régressions ? 🤷 Le taux couverture de code ?
7. #JSC2021 @benjamin_cavy Code coverage : le faux-ami ? 😀 Indique quelles lignes de codes sont exécutées par les tests… ☹ … mais ne garantit en aucun cas leur bon fonctionnement 😭 est très (trop ? ) aimé, mais mal compris des non-techniciens
8. #JSC2021 @benjamin_cavy 🤔 Comment s’assurer que nos tests détectent les régressions ? 🧩 Le taux couverture de code
9. #JSC2021 @benjamin_cavy 🤔 Comment s’assurer que nos tests détectent les régressions ? 💡En les exécutant sur du code contenant des régressions !
10. #JSC2021 @benjamin_cavy Mutation testing a.k.a. le collègue qui pète tout 🧟 Créé des versions “mutantes” du code testé en le modifiant 🔫 Exécute les tests unitaires et vérifie qu’ils échouent 📈 Le taux de mutant ainsi tués indique la sensibilité aux régressions de vos tests
11. #JSC2021 @benjamin_cavy public double withdraw(String id, double amount) { double balance = readBalanceForAccount(id); if(amount > balance) { throw new RuntimeException( "Insufficient balance" ); } double newBalance = balance - amount; updateAccountBalance(id, newBalance); return newBalance; } @Test public void simpleTest() { BankService bankService = new BankService(); bankService.open("benjamin", 100); assertThat(bankService.withdraw("benjamin", 25)) .isEqualTo(75); } Exemple
12. #JSC2021 @benjamin_cavy @Test public void simpleTest() { BankService bankService = new BankService(); bankService.open("benjamin", 100); assertThat(bankService.withdraw("benjamin", 25)) .isEqualTo(75); } public double withdraw(String id, double amount) { double balance = readBalanceForAccount(id); if(amount > balance) { throw new RuntimeException( "Insufficient balance" ); } double newBalance = balance - amount; updateAccountBalance(id, newBalance); return newBalance; } → double balance = 0; ✅
13. #JSC2021 @benjamin_cavy @Test public void simpleTest() { BankService bankService = new BankService(); bankService.open("benjamin", 100); assertThat(bankService.withdraw("benjamin", 25)) .isEqualTo(75); } public double withdraw(String id, double amount) { double balance = readBalanceForAccount(id); if(amount > balance) { throw new RuntimeException( "Insufficient balance" ); } double newBalance = balance - amount; updateAccountBalance(id, newBalance); return newBalance; } if(amount >= balance) { if(amount < balance) { if(false) { if(true) { ❌ ✅ ❌ ✅
14. #JSC2021 @benjamin_cavy @Test public void simpleTest() { BankService bankService = new BankService(); bankService.open("benjamin", 100); assertThat(bankService.withdraw("benjamin", 25)) .isEqualTo(75); } public double withdraw(String id, double amount) { double balance = readBalanceForAccount(id); if(amount > balance) { throw new RuntimeException( "Insufficient balance" ); } double newBalance = balance - amount; updateAccountBalance(id, newBalance); return newBalance; } → double newBalance = balance + amount; ✅
15. #JSC2021 @benjamin_cavy @Test public void simpleTest() { BankService bankService = new BankService(); bankService.open("benjamin", 100); assertThat(bankService.withdraw("benjamin", 25)) .isEqualTo(75); } public double withdraw(String id, double amount) { double balance = readBalanceForAccount(id); if(amount > balance) { throw new RuntimeException( "Insufficient balance" ); } double newBalance = balance - amount; updateAccountBalance(id, newBalance); return newBalance; } ❌
16. #JSC2021 @benjamin_cavy @Test public void simpleTest() { BankService bankService = new BankService(); bankService.open("benjamin", 100); assertThat(bankService.withdraw("benjamin", 25)) .isEqualTo(75); } public double withdraw(String id, double amount) { double balance = readBalanceForAccount(id); if(amount > balance) { throw new RuntimeException( "Insufficient balance" ); } double newBalance = balance - amount; updateAccountBalance(id, newBalance); return newBalance; } → return 0; ✅
17. #JSC2021 @benjamin_cavy 🧬 Créons des mutants Pitest
18. #JSC2021 @benjamin_cavy Conclusion ✅ Complète le code coverage ✅ Permet de détecter les angles morts dans les tests ✅ Intégrable sans effort ✅ Bien si beaucoup de métier ✅ Très configurable ❌ Lents si les tests sont lents ❌ Attention à l’intégration à la CI ❌ Effort d’analyse sur les résultats
19. #JSC2021 @benjamin_cavy Merci de votre attention ! https://pitest.org/
20. #JSC2021 @benjamin_cavy Pitest : fonctionnalités supplémentaires ⏱ Restrisction de l’analyse aux classes modifiées (git) ⏱ ⏱ Analyse incrémentale ✨D’autres mutations disponibles 🏹 Possibilité d’affiner les classes mutées
21. #JSC2021 @benjamin_cavy Faut-il tuer tous les mutants ? Les sournoises mutations équivalentes int i = 2; if(i >= 1) { //... } int i = 2; if(i > 1) { //... }
22. #JSC2021 @benjamin_cavy Exemple sur un gros projet ================================================================================ - Timings ================================================================================ > scan classpath : < 1 second > coverage and dependency analysis : 56 seconds > build mutation tests : 5 seconds > run mutation analysis : 4 hours, 7 minutes and 25 seconds -------------------------------------------------------------------------------- > Total : 4 hours, 8 minutes and 27 seconds -------------------------------------------------------------------------------- ================================================================================ - Statistics ================================================================================ >> Generated 15727 mutations Killed 5257 (33%) >> Ran 17646 tests (1.12 tests per mutation)
23. #JSC2021 @benjamin_cavy Exemple avec analyse incrémentale ================================================================================ - Timings ================================================================================ > scan classpath : < 1 second > coverage and dependency analysis : 1 minutes and 5 seconds > build mutation tests : 26 seconds > run mutation analysis : 38 seconds -------------------------------------------------------------------------------- > Total : 2 minutes and 11 seconds -------------------------------------------------------------------------------- ================================================================================ - Statistics ================================================================================ >> Generated 15727 mutations Killed 5484 (35%) >> Ran 0 tests (0 tests per mutation)
24. #JSC2021 @benjamin_cavy Pitest : mise en place <build> <plugins> <plugin> <!-- mvn org.pitest:pitest-maven:mutationCoverage --> <groupId>org.pitest</groupId> <artifactId>pitest-maven</artifactId> <version>1.6.1</version> <configuration> <mutators> <mutator>DEFAULTS</mutator> <mutator>REMOVE_CONDITIONALS</mutator> </mutators> </configuration> </plugin> </plugins> </build>
25. #JSC2021 @benjamin_cavy Pour les autres langages ✅ JavaScript, C# & Scala : Stryker ✅ PHP : infection ✅ Python : mutmut … et plein d’autres
26. #JSC2021 @benjamin_cavy Les sources https://github.com/ptitFicus/mutation-testing-demo