Mutation testing : y a-t-il des trous dans votre couverture de test ?

URL des sources :

https://github.com/ptitFicus/mutation-testing-demo

Transcript

1. @benjamin_cavy https://maif.github.io/ Mutation testing Y a-t-il des trous dans votre couverture de test ?
2. @benjamin_cavy https://maif.github.io/ Benjamin Cavy Dev à la MAIF (on recrute 😉) https://maif.github.io/
3. @benjamin_cavy https://maif.github.io/ 😱 Est-ce que mes tests sont bien ? 🤔 Comment écrire de meilleurs tests ? ❓ C’est quoi un bon test ? 😵💫 Pourquoi testons-nous ?
4. @benjamin_cavy https://maif.github.io/ 🕵 Préciser le besoin (TDD) 🧩 Tester des cas difficiles à avoir en vrai 🚨 Pour assurer la non régression Pourquoi testons-nous ?
5. @benjamin_cavy https://maif.github.io/ 📡 Vérifie qu’on a pas cassé une fonc2onnalité existante ⛱ Allège (un peu) la charge de revue de code 👷 Facilite l’arrivé de nouveaux développeurs ⏱ Réduit la charge de tests “manuels” Non régression : c’est cool
6. @benjamin_cavy https://maif.github.io/ 🤷 Le code coverage ? 🤔 Comment s’assurer que nos tests détectent les régressions ?
7. @benjamin_cavy https://maif.github.io/ 😀 Indique quelles lignes de codes sont exécutées par les tests… ☹ … mais ne garan2t en aucun cas leur bon fonc2onnement 😭 est très (trop ? ) aimé, mais mal compris des non-techniciens Code coverage : le faux-ami ?
8. @benjamin_cavy https://maif.github.io/ 🧩 Le code coverage ? 🤔 Comment s’assurer que nos tests détectent les régressions ?
9. @benjamin_cavy https://maif.github.io/ 💡En les exécutant sur du code contenant des régressions ! 🤔 Comment s’assurer que nos tests détectent les régressions ?
10. @benjamin_cavy https://maif.github.io/ 🧟 Créé des versions “mutantes” du code testé en le modifiant 🔫 Exécute les tests unitaires et vérifie qu’ils échouent 📈 Le taux de mutant faisant échouer les tests indique la sensibilité aux régressions de vos tests Mutation testing a.k.a. le collègue qui pète tout
11. @benjamin_cavy https://maif.github.io/ 🧬 Créons des mutants Pitest
12. @benjamin_cavy https://maif.github.io/ Conclusion Cool Moins cool ✅ Complète le code coverage ✅ Permet de détecter les angles morts dans les tests ✅ Bien si beaucoup de mé8er ✅ Intégrable sans effort ✅ Très configurable ❌ Lents si les tests sont lents ❌ Attention à l’intégration à la CI ❌ Effort d’analyse sur les résultats
13. @benjamin_cavy https://maif.github.io/ Merci de votre a0en1on https://pitest.org/
14. @benjamin_cavy https://maif.github.io/ Faut-il tuer tous les mutants ? Les sournoises mutations équivalentes int i = 2; if(i >= 1) { //... } int i = 2; if(i > 1) { //... }
15. @benjamin_cavy https://maif.github.io/ Exemple sur un « gros » projet ================================================================================ - Timings ================================================================================ > scan classpath : < 1 second > coverage and dependency analysis : 56 seconds > build mutation tests : 5 seconds > run mutation analysis : 4 hours, 7 minutes and 25 seconds -------------------------------------------------------------------------------- > Total : 4 hours, 8 minutes and 27 seconds -------------------------------------------------------------------------------- ================================================================================ - Statistics ================================================================================ >> Generated 15727 mutations Killed 5257 (33%) >> Ran 17646 tests (1.12 tests per mutation)
16. @benjamin_cavy https://maif.github.io/ Exemple sur un « gros » projet ================================================================================ - Timings ================================================================================ > scan classpath : < 1 second > coverage and dependency analysis : 1 minutes and 5 seconds > build mutation tests : 26 seconds > run mutation analysis : 38 seconds -------------------------------------------------------------------------------- > Total : 2 minutes and 11 seconds -------------------------------------------------------------------------------- ================================================================================ - Statistics ================================================================================ >> Generated 15727 mutations Killed 5484 (35%) >> Ran 0 tests (0 tests per mutation)
17. @benjamin_cavy https://maif.github.io/ Pour les autres langages ✅ JavaScript, C# & Scala : Stryker ✅ PHP : infection ✅ Python : mutmut … et plein d’autres