Mutation Testing en PHP Pizza Party – Juin 2013 

Tester son code ? 

Tests unitaires ● Robots automatisés qui exécutent des contrôles ● Garants du bon fonctionnement du code source ● Indiquent : – Des anomalies de fonctionnement sont survenues – Des erreurs sont survenues – Aucune anomalie ou erreur n'est survenue ● (SimpleTest), PHPUnit, atoum 

Évaluer ses tests 

La couverture de code ● Testons ce code source :

La couverture de code ● 100 % de couverture : cool ! 

Fail : Nœuds et chemins ● Tests de AC, BD = 2 nœuds couverts = 100 % des nœuds couverts ● Je n'ai en réalité couvert que 50 % des chemins possibles ! La couverture de code est totalement bidon 

Fail : les tests vides ● Les tests sont verts : class FooTest extends PHPUnit_Framework_TestCase { public function testFoo1() { $this->assertTrue(true); } } 

Fail : le surmocking ● Il est nécessaire de virtualiser certains morceaux de code pour isoler un test ● Il est fréquent de virtualiser à l'excès – Les tests ne testent plus le code source, mais le code source virtuel 

Mutation testing 

Le mutation testing ● Injecter des bugs dans le code « créer des mutants » ● Vérifier que les tests plantent « tuer les mutants » 

Le mutation testing Introduction d'une mutation if($x === 1) { (…) } if($x !== 1) { (…) } Le test unitaire doit planter 

En PHP ● MutaTesting (https://github.com/Halleck45/MutaTesting) – Ne nécessite aucune configuration PHP particulière – PHPUnit, atoum... – A besoin de contributeurs :-) 

Avantages ● Pas besoin de coder quoi que ce soit ● Efficace pour des indicateurs 

Inconvénients ● Temps de test exponentiel ● Faux positifs ● Ne sert que d'indicateurs 

Questions