Sécuriser une refonte avec le Golden Master Testing

Lorsque vous arrivez aux urgences, on ne vous attaque pas direct au bistouri, on commence par prendre votre pouls.

Même chose lorsque l'on doit récupérer une application inconnue, on commence par capturer la sortie actuelle ("Golden Master") et on compare les sorties à cette référence après chaque modification du code.

Présentation au Printemps Agile 2015 à Caen.

Transcript

1. Sécuriser une refonte La technique du Golden Master Testing @msadouni / @pefringant
3. Diagnostic
4. Bugs
5. Code spaghetti
6. Stack technique dépassée
7. Design daté
8. Ajout de fonctionnalités
9. Definition of Legacy Code To me, legacy code is simply code without tests. Michael Feathers Working Effectively with Legacy Code
10. Appli = boîte noire Appli Input Output
11. Existant == Vérité Appli Output
12. • Tests manuels • Tests unitaires • Tests d’intégration Types de tests
13. • Longs • Difficile de rejouer à l’identique • Difficile de détecter un bug caché • Sujets à l’erreur humaine Tests manuels
14. • Suppose de connaître l’appli : langage, framework, règles métier • Garantissent le fonctionnement interne, pas la sortie Tests unitaires, tests d’intégration
15. Golden Master testing Appli Input Output Tests
16. Déroulement Appli == GM Output != GM Attendu Inattendu Màj du GM Input Golden Master
17. Génération du Golden Master Appli Output Input Golden Master
18. 1. Modifier le code de l’appli 2. Capturer la sortie 3. Comparer la sortie avec le Golden Master Étapes
19. Étape 1 : modifier le code de l’appli Appli Appli v2
20. Étape 2 : capturer la sortie Appli v2 Input Output 2
21. Étape 3 : comparer avec le GM Output 2 Golden Master 1 ?
22. Pas de modification Appli == GM Output != GM Attendu Inattendu Màj du GM Input Golden Master
23. Modification inattendue Appli == GM Output != GM Attendu Inattendu Màj du GM Input Golden Master
24. Modification inattendue On modifie le code jusqu’à ce que la sortie corresponde Output 8 Golden Master 1 == ... Output 4 Golden Master 1 != Golden Master 1 != v4 Output 5 v5 Output 3 Golden Master 1 != v3 v8
25. Modification attendue Appli == GM Output != GM Attendu Inattendu Màj du GM Input Golden Master
26. Modification attendue La sortie devient le nouveau Golden Master Output 2 Golden Master 2
27. Formats de sortie • HTML • JSON / XML • Dump d’une base données • Checksum md5 d’un fichier binaire (image, pdf...) • Screenshot (https://github.com/BBC-News/wraith) • stdout dans un fichier texte
28. Pas forcément dans le même langage que l’application. • Capybara https://github.com/jnicklas/capybara • Casperjs http://casperjs.org • N’importe quel morceau de code permettant de capturer une sortie et de la comparer à une autre (wget + diff) Outils
29. Dosage Que tester dans l’application ? • Chemins critiques pour le métier (création de compte, commande, paiement, formulaire de contact) • Périmètre de la refonte (redesign, fonctionnelle) Sur quels éléments baser les vérifications ? • Dump HTML complet • Présence d’un message dans la page
30. Difficultés • Identifiants : ignorer • Timestamps : ignorer • Floats : arrondir • Aléatoire : fixer avec une seed • Services externes : simuler les réponses • Données de test : pouvoir les réinitialiser
31. Démo https://github.com/mhcommunication/golden-master
32. Application du client : une page d’accueil
33. Application du client : une page d’article
34. Application du client : diagnostic • Refactoring : faille de sécurité par injection SQL • Bug : article en cours présent dans “Autres articles” • Mise à jour de stack technique : Framework et langage
35. Application de test RSpec + Capybara
36. RSpec
41. Capybara
43. Mise en place du GM
44. Écriture des tests
45. Écriture des tests
46. Comparaison entre la sortie de la page d’accueil et la référence.
47. La première sortie devient la référence ou golden master.
48. On vérifie : la sortie est bien identique à la référence.
49. On recommence l’opération avec la page d’un article.
50. Refactoring
51. Remplacement du SQL injectable par des méthodes du framework.
52. Aucune erreur
53. Correction de bug
54. L’article en cours ne doit plus être présent dans la liste des autres articles.
55. Correction du bug
56. La correction entraîne une différence entre la sortie et le golden master.
57. La différence est attendue : la sortie remplace le golden master.
58. Refactoring : extraction du code dans une méthode.
59. Refactoring : la sortie ne change pas, sur aucune des pages.
60. Mise à jour de la stack technique
61. Passage à PHP 5.4 : erreur fatale.
62. Passage à PHP 5.4 : correction et validation.
63. Mise à jour vers CakePHP 3 : la correction d’un bug dans le framework change la sortie.
64. La correction du bug est une amélioration, on conserve le changement et on met à jour le GM.
65. Des questions ?