Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PHPForum 2014 : retour d'expérience tests fonctionnels

06bd0a1ee0d598dd4bbc2edbc2d82c2b?s=47 Marc Hugon
October 23, 2014

PHPForum 2014 : retour d'expérience tests fonctionnels

Cela fait 2 ans que Maisons du Monde travaille sur la mise en place d'une batterie de tests fonctionnels nécessaires quand on veut mettre en production des modifications sur un site e-commerce dont le chiffre d'affaire 2014 devrait atteindre les 100 millions d'euros, et qu'on souhaite que ça se passe bien... Nous vous proposons un retour d'expérience sur les outils qui ont été mis en place, les stratégies mises en oeuvre et les résultats obtenus.

06bd0a1ee0d598dd4bbc2edbc2d82c2b?s=128

Marc Hugon

October 23, 2014
Tweet

Transcript

  1. Retour d’expérience Tests fonctionnels

  2. PHP Forum 2014 - Retour d’expérience tests fonctionnels Votre conteur

    Marc Hugon http://fr.linkedin.com/in/marchugon/ Directeur de projet senior Ex développeur Ex Chef de projet Ex Directeur technique
  3. PHP Forum 2014 - Retour d’expérience tests fonctionnels Il était

    une fois Le royaume Maisons du Monde www.maisonsdumonde.com • Site Ecommerce, meuble et objets de décoration • 11 pays, 5 langues, 3 devises • Plusieurs milliers de références produits • Un CA 2014 d’environ 100M Euros
  4. PHP Forum 2014 - Retour d’expérience tests fonctionnels Au début

    de notre histoire La situation était plutôt euphorique • Une nouvelle équipe se montait • On revoyait les bases techniques en faisant passer un existant en Symfony1.4 • On revoyait le design, l’ergonomie, les fonctionnalités • Le CA était en très forte augmentation
  5. PHP Forum 2014 - Retour d’expérience tests fonctionnels Puis vinrent

    de véritables problèmes • De gros chantiers de refonte commençaient à aboutir, mais… • Les périodes de recette devenaient toujours plus chronophages, et toujours plus stressantes • Le tunnel de commande finit par lâcher plusieurs heures Le royaume était en danger, il fallait agir
  6. PHP Forum 2014 - Retour d’expérience tests fonctionnels La situation

    était problématique Mais voyons, vu qu’on fait du symfony, il doit y avoir plein de tests unitaires ? Hum ? • Pas eu le temps de les écrire car le “time to market” demandé était très court • L’équipe en cours de constitution n’avait pas forcément les connaissances nécessaires • La récupération d’un “framework” pré-existant les rendaient complexes
  7. PHP Forum 2014 - Retour d’expérience tests fonctionnels Arriva un

    ingénieur qualité Et il décida de prendre les armes qu’il connaissait le mieux • Son navigateur • Son plugin Selenium (http://docs.seleniumhq.org/projects/ide/) Il commença à écrire des tests qu’il pouvait rejouer avant chaque mise en production
  8. PHP Forum 2014 - Retour d’expérience tests fonctionnels Des obstacles

    l’attendaient “je vais tester un scénario utilisateur simple : je me connecte avec un compte existant, j’ajoute un produit dans mon panier, et je me rends jusqu’à la page de choix du moyen de paiement” Simple, non ? Mais si le stock de ce produit devient épuisé ? On met en production ?
  9. PHP Forum 2014 - Retour d’expérience tests fonctionnels Et ce

    n’était pas encore gagné “J’ai besoin de deux produits, de types différents disponibles à des dates différentes pour vérifier le bon fonctionnement d’une règle liée aux livraisons” Euh… Ils doivent être disponibles en plus ?
  10. PHP Forum 2014 - Retour d’expérience tests fonctionnels Il fallait

    beaucoup de tests Mais… Les tests Selenium sont lourds à maintenir • Difficile de réutiliser des bouts de test déjà écrits pour en créer d’autres • Scripts trop liés au code HTML des pages testées. Il devient vite difficile de les relire et de comprendre ce qu’ils font, et donc ils sont complexes à maintenir driver.findElement(By.id("contentForm:nextPageButton")).click();.... euh… oui ?
  11. PHP Forum 2014 - Retour d’expérience tests fonctionnels Et en

    plus les moyens sont limités Il y a des tâches dont notre preux chevalier ne savait pas s’acquitter • Est-ce que j’ai bien enregistré mon code de réduction dans ma commande (donc en BDD) ? • Est-ce que ce code est bien dans le mail de confirmation de commande ? • Comment tester la création d’un compte différent à chaque lancement du test ? • Est-ce que mes tests ont leur place dans les bases de production ?
  12. PHP Forum 2014 - Retour d’expérience tests fonctionnels Le cliffhanger

    On ne peut pas s’en sortir ! Quels sont les besoins ? • Des tests compréhensibles et maintenable • De la réutilisabilité • La possibilité de sortir du cadre du navigateur (BDD, web service & co) • Idéalement un outil de travail dédié
  13. PHP Forum 2014 - Retour d’expérience tests fonctionnels Nouveau héros

    Rubymine (https://www.jetbrains.com/ruby/) et Cucumber (http://cukes.info) répondent à nos attentes • Rubymine est l’éditeur (avec des breakpoint !) • Cucumber : BDD en Ruby • Gherkin : permet de faciliter l’entretien, la réutilisabilité, la lisibilité • Selenium pour lancer les tests Scenario: If I order a product in 25 EUR I should not be able to order Given I am on the "french" home page And I search for a cheap mlp available now And I add a product from product page to my cart and continue Then I should be notified that I have not met the minimum order amount And I should not be able to place my order
  14. PHP Forum 2014 - Retour d’expérience tests fonctionnels Nouveau champ

    de bataille Fini de tout tester en production. On crée quotidiennement un dump “light” de la base de production • La base de production est quotidiennement copiée • Elle est anonymisée • Un script ne garde que 2 mois de données • On peut l’importer en 15 minutes sur n’importe quel serveur
  15. PHP Forum 2014 - Retour d’expérience tests fonctionnels Et on

    fait comment ? On veut garder par exemple 2 mois de commandes. La suppression SQL est trop lente avec les contraintes d’intégrités (plusieurs jours d’attente). Notre recette est : • Récupérer le dump SQL complet • Parser ce dump ligne à ligne et le copier dans le dump “light” • Ne pas copier les lignes qui ne satisfont pas notre objectif (exemple : commande dont la date de création est de plus de 2 mois) Et on fait ça en PHP en 10 minutes pour 80 Go de fichier texte
  16. PHP Forum 2014 - Retour d’expérience tests fonctionnels Elaboration de

    stratégies Comment répondre à : “J’ai besoin de maîtriser ma disponibilité produit” Ce qui, de façon plus générale revient à : “Comment gérer un service tiers qui contrecarre mes efforts”
  17. PHP Forum 2014 - Retour d’expérience tests fonctionnels Recrutement d’alliés

    Bonjour les “fakeProduct” • On définit (CSV) de nouveaux produits qui vont s’ajouter au catalogue : o Le type du produit (meuble, déco) o Le prix o Sa disponibilité o Ses propriétés (taille / poids) o Et une dizaine d’autres particularités • Ces produits s’ajoutent au catalogue existant (mise à jour quotidienne), ils sont 100% fonctionnels
  18. PHP Forum 2014 - Retour d’expérience tests fonctionnels Stratégie de

    contournement La disponibilité produit est renvoyée par l’appel à un web- service… sauf pour les “fakeProduct” if ($prod_id < 1000) On renvoie les mêmes données que le web-service, mais on choisit ces données selon ce qui a été défini dans le fichier initial
  19. PHP Forum 2014 - Retour d’expérience tests fonctionnels Stratégie de

    détournement Pour un test précis, on a besoin d’avoir une réponse précise d’un web service externe. • Dans le code, on checke une donnée de cookie pour y trouver l’URL du service à appeler. Si non trouvée, on prend celle qui est configurée dans l’application • Au lancement du test, on crée un serveur dans Cucumber • On renseigne l’URL créée dans le cookie • Il n’y a plus qu’à lancer le test, c’est notre web service qui est appelé, avec une réponse en dur
  20. PHP Forum 2014 - Retour d’expérience tests fonctionnels Les interfaces

    externes Encore un autre ennemi On peut tester le bon fonctionnement du paiement, une erreur de saisie et une annulation. C’est bien. Mais…. Comment tester le code 34 suspicion de fraude ?
  21. PHP Forum 2014 - Retour d’expérience tests fonctionnels Stratégie d’imitation

    ./make mercanet-mock Formulaire “maisons Tous les types de retour deviennent possibles Et je peux travailler sur l’auto response uniquement
  22. PHP Forum 2014 - Retour d’expérience tests fonctionnels Pour gagner,

    il faut faire des efforts • 3 testeurs pour une équipe de 10 développeurs • 1 devops • 400 scénarios de test (feature) pour www.maisonsdumonde.com • 2 ans de travail • compatibilité phantomjs (http://phantomjs.org/) assurée pour diminuer le temps de build
  23. PHP Forum 2014 - Retour d’expérience tests fonctionnels Quelques gemmes

    précieuses • Sinatra (pour simuler les web service) (http://www.sinatrarb.com/ ) • Cukeforker (parallélisation des tests) (https://github.com/jarib/cukeforker ) • Page_object (meilleure lisibilité et réutilisabilité) (https://github.com/cheezy/page-object ) • Nokogiri (XML parser) (https://rubygems.org/gems/nokogiri ) • pdf_reader (https://github.com/yob/pdf-reader ) expect(on_page(ContactPage).phone_numbers).to eql(number)
  24. PHP Forum 2014 - Retour d’expérience tests fonctionnels Notre armée

    actuelle • Intégration continue avec Bamboo (https://www.atlassian.com/software/bamboo) • 6 agents • 3 agents en parallèle pour le build maisonsdumonde.com, 20 minutes de build au minimum • Environ 6 000 commandes passées en test par jour • Et 3 autres applications bénéficient de tests fonctionnels (en moins poussé)
  25. PHP Forum 2014 - Retour d’expérience tests fonctionnels Le résultat

    ? • 3 mises en production en moyenne par semaine (quotidiennement avant la campagne pub) • Diminution drastique des incidents majeurs, le chemin critique est tout le temps fonctionnel • Refonte totale du site web + mobile mis en production sans heurts • On teste en permanence des événements (soldes par exemple)
  26. PHP Forum 2014 - Retour d’expérience tests fonctionnels Le résultat

    !
  27. PHP Forum 2014 - Retour d’expérience tests fonctionnels Alors on

    a gagné ? Oui, les testeurs sont maintenant les seuls responsables des mises en production, le marketing ne fait plus forcément de vérification, selon les sujets. Pourtant, comme dans toute bonne histoire, de nouveaux obstacles nous attendent….
  28. PHP Forum 2014 - Retour d’expérience tests fonctionnels Le teasing

    de l’épisode II Pour passer notre base de code symfony 1.4 (et ex framework propriétaire) vers une base de code symfony 2.5, nous avons choisi de créer des services pour chaque nouveau développement On migre le code métier à chaque projet
  29. PHP Forum 2014 - Retour d’expérience tests fonctionnels Notre nouvelle

    configuration Pour tester www.maisonsdumonde.com, il faut prendre en compte • Catalog-service • Carrier-service • User-service Les stratégies de contournement fonctionnent, mais ...
  30. PHP Forum 2014 - Retour d’expérience tests fonctionnels Trop de

    simulation cache la réalité Si l’application ne fonctionne en test qu’avec des web services simulés, comment éviter les problèmes de régression ? Comment gérer des tests qui ont besoin de nouvelles versions des web services, donc de branches Git spécifiques ?
  31. PHP Forum 2014 - Retour d’expérience tests fonctionnels Alors que

    faire ? C’est notre challenge en cours Ensuite, seulement, nous vivrons heureux…. Ou pas ;)
  32. PHP Forum 2014 - Retour d’expérience tests fonctionnels Des questions

    ? Questions ? Merci ! PS : vous avez vu la pub ? http://soyezfous-soyezvous.maisonsdumonde.com/