Ma direction me demande des indicateurs de "performance" de mon équipe Agile... Au secours !

Que ce soit pour être rassuré, pour garder le contrôle ou pour chercher des axes d'amélioration tout manager cherche (un jour ou l'autre) à mesurer la "performance" de ces équipes Agile.

Présentation du bilan de 5 années d'expérimentations diverses d'un scrum master ayant tenté de répondre concrètement à cette question.

Transcript

1. Ma direction me demande des indicateurs de « performance » de mes équipes Agile… Au secours ! 10 novembre 2022 Thomas LAURENT
3. Qui suis-je ? - Facilitateur et coach Agile chez Alptis Assurances - Un passé de développeur puis de chef de projet « classique » - Mutation vers l'Agilité opéré il y a environ 4-5 ans Thomas LAURENT – 42 ans t.laurent@alptis.fr
4. De quoi va-t-on parler ?
5. Alptis Assurances DSI Pôle commercialisation – Digital Factory Equipe #1 SCRUM Equipe #2 SCRUM Equipe #3 SCRUM Equipe #4 KANBAN Un peu de contexte - Alptis Assurances, courtier grossiste de 600 salariés - Une « ligne produit » d’environ 40 personnes Vous êtes ici
6. Mon rapport aux indicateurs à l’époque…
7. Performance = réussite du projet Indicateurs de performance axés sur la bonne tenue du projet, le respect du plan initial : Avancement (reste à faire, chiffrages, …) Tenue des délais Tenue des budgets
8. La confiance comme levier de performance Indicateurs chiffrés orientés sur la « maitrise affichée », sur la quantité produite et sur le respect du plan Sponsor / Management Equipe Confiance Sérénité Efficacité (en quantité produite et en respect du plan)
9. … puis, j’ai rencontré l’Agilité…
10. Prise de conscience et changement de mindset Ressenti de l'équipe > ressenti du chef de projet Le chiffrage… c'est du vent ! Valeur produite > quantité produite > reste à faire
12. Au début pas d'indicateur chiffré du tout ! 100% au ressenti des équipes Pas de chiffrage #no-estimate Pas de calcul de capacité à produire Pas de calcul de reste à faire Sans chiffre, comment garder la confiance !? Sponsor / Management Equipe Confiance Sérénité Efficacité (en quantité produite et en respect du plan)
13. Pas de chiffre mais plus de visualisation Pas d’indicateur chiffré mais plus de visualisation grâce à la storymap... Centrée sur les fonctionnalités et sur le découpage en livrables réguliers, la stratégie est lisible et simplifiée On voit le puzzle se construire au fur et à mesure. On discute priorisation par la valeur ! On voit ce qu’il n’y aura pas !
14. Pas de chiffre mais plus de visualisation … et grâce à la roadmap ! Une vision de plus en plus précise quand les échéances se rapprochent Complète la stratégie avec une vision dans le temps
15. Pas de chiffre mais plus de visualisation … et grâce à la roadmap ! On peut même aller sur un niveau beaucoup plus précis pour les semaines à venir
16. Changement de paradigme La visualisation est largement suffisante pour obtenir la confiance ! Confiance Sérénité Efficacité Sponsor / Management Equipe (en quantité produite et en respect du plan) (en pertinence de la valeur produite et en capacité à s’adapter) Indicateurs visuels orientés sur la valeur produite
17. ... et un jour, on me demande des « indicateurs de performance » des équipes agiles !
19. Puis ma réflexion a évolué… « Ca coûte plus cher ! » « L’agilité c’est pas cadré, pas organisé ! » « C’est moins efficace !» « Ca ne garantie pas assez de maitrise !»
20. La Vélocité en points d’effort ! (sur le papier) Cela représente l'effort qu’une équipe peut fournir dans un sprint Elle est calculée en additionnant tous les points d’efforts validés dans un sprint Avec l’espoir d’arriver à un moyenne stable qui permettrait de faire de la prédiction
21. La Vélocité en points ! (dans notre contexte) Pour obtenir cet indicateur on a dû instaurer le poker planning… … et j'ai pu sortir des chiffres. Amplitude importante
22. Attention fausse bonne idée : la prédiction grâce à la vélocité Il faut estimer tout le backlog… #mauvaissouvenir Se base sur l’estimation initiale Se base sur le fait que la vélocité est un indicateur fiable et globalement stable dans le temps Poids du backlog restant (en points) Vélocité moyenne Nombre de sprints restants =
23. La Vélocité en points ! (dans notre contexte) Aujourd’hui, on ne garde que le planning poker comme support d’alignement !
24. La Vélocité en unité de valeur Une bonne alternative pour de la planification : Demande souvent très peu d’effort à obtenir C’est pas moins faux que la vélocité par points N’a pas le biais de l’estimation Amplitude acceptable moyenne
25. Existe-t-il des indicateurs orientés sur autre chose que la quantité ?
26. Le cycle time / Lead time Le cycle time mesure le temps qui passe de manière calendaire sur une partie du process Compréhension / rédaction du besoin Conception technique Réalisation technique Contrôle qualité et livraison Prise en compte et priorisation du besoin cycle time « delivery » Temps qui passe Expression d’un besoin par un utilisateur/client Livraison de valeur répondant au besoin exprimé
27. La carte de contrôle Affiche le temps qui passe réellement pour produire une unité de valeur sur un cycle donné du système 0 10 20 30 40 50 60 70 28/05/2021 25/06/2021 30/06/2021 01/07/2021 06/07/2021 12/07/2021 22/07/2021 03/08/2021 05/08/2021 06/08/2021 11/08/2021 18/08/2021 19/08/2021 24/08/2021 01/09/2021 06/09/2021 09/09/2021 14/09/2021 16/09/2021 17/09/2021 21/09/2021 22/09/2021 27/09/2021 28/09/2021 30/09/2021 04/10/2021 07/10/2021 08/10/2021 11/10/2021 12/10/2021 13/10/2021 14/10/2021 15/10/2021 21/10/2021 22/10/2021 25/10/2021 26/10/2021 29/10/2021 03/11/2021 04/11/2021 05/11/2021 05/11/2021 09/11/2021 10/11/2021 15/11/2021 16/11/2021 19/11/2021 23/11/2021 30/11/2021 02/12/2021 03/12/2021 03/12/2021 07/12/2021 08/12/2021 13/12/2021 15/12/2021 17/12/2021 21/12/2021 30/12/2021 03/01/2022 12/01/2022 14/01/2022 24/01/2022 26/01/2022 28/01/2022 07/02/2022 11/02/2022 17/02/2022 21/02/2022 03/03/2022 10/03/2022 Cycle time « delivery » (en jours) Date de démarrage
28. 0 10 20 30 40 50 60 70 28/05/2021 25/06/2021 30/06/2021 01/07/2021 06/07/2021 12/07/2021 22/07/2021 03/08/2021 05/08/2021 06/08/2021 11/08/2021 18/08/2021 19/08/2021 24/08/2021 01/09/2021 06/09/2021 09/09/2021 14/09/2021 16/09/2021 17/09/2021 21/09/2021 22/09/2021 27/09/2021 28/09/2021 30/09/2021 04/10/2021 07/10/2021 08/10/2021 11/10/2021 12/10/2021 13/10/2021 14/10/2021 15/10/2021 21/10/2021 22/10/2021 25/10/2021 26/10/2021 29/10/2021 03/11/2021 04/11/2021 05/11/2021 05/11/2021 09/11/2021 10/11/2021 15/11/2021 16/11/2021 19/11/2021 23/11/2021 30/11/2021 02/12/2021 03/12/2021 03/12/2021 07/12/2021 08/12/2021 13/12/2021 15/12/2021 17/12/2021 21/12/2021 30/12/2021 03/01/2022 12/01/2022 14/01/2022 24/01/2022 26/01/2022 28/01/2022 07/02/2022 11/02/2022 17/02/2022 21/02/2022 03/03/2022 10/03/2022 La carte de contrôle Permet d’identifier et de réfléchir à des anti-patterns qui se reproduisent Date de démarrage Pourquoi les tickets > 25 jours se multiplient-ils ces 3 derniers mois ? Cycle time « delivery » (en jours)
29. La carte de contrôle Permet de voir l’effet de l’amélioration continue d’une équipe Date de démarrage 0 10 20 30 40 50 60 70 28/05/2021 25/06/2021 01/07/2021 06/07/2021 12/07/2021 29/07/2021 05/08/2021 06/08/2021 13/08/2021 19/08/2021 25/08/2021 03/09/2021 09/09/2021 14/09/2021 17/09/2021 21/09/2021 22/09/2021 28/09/2021 30/09/2021 05/10/2021 08/10/2021 11/10/2021 12/10/2021 13/10/2021 15/10/2021 21/10/2021 22/10/2021 26/10/2021 02/11/2021 03/11/2021 05/11/2021 08/11/2021 10/11/2021 15/11/2021 18/11/2021 22/11/2021 30/11/2021 03/12/2021 03/12/2021 07/12/2021 10/12/2021 14/12/2021 17/12/2021 25/12/2021 30/12/2021 12/01/2022 17/01/2022 26/01/2022 28/01/2022 07/02/2022 14/02/2022 21/02/2022 03/03/2022 09/03/2022 15/03/2022 18/03/2022 22/03/2022 29/03/2022 01/04/2022 07/04/2022 15/04/2022 22/04/2022 03/05/2022 04/05/2022 10/05/2022 11/05/2022 17/05/2022 23/05/2022 25/05/2022 31/05/2022 03/06/2022 14/06/2022 22/06/2022 28/06/2022 05/07/2022 19/07/2022 Lead Time Visualisation objective de l’effet de la prise de conscience ! Cycle time « delivery » (en jours)
30. Le cycle time en histogramme Permet de calculer, par typologie de demande, un cycle time moyen sur une période de temps… … et de communiquer dessus… … et de s’organiser en fonction ! 80% des bugs : 8 jours 80% des US : 15 jours
31. Le cycle time en histogramme Permet de suivre l’évolution d’une équipe dans le temps L’efficacité d’actions d’amélioration continue Janvier à Juin 2022 Juillet à Octobre 2022 Pic autour de 14 jours Pic autour de 10 jours
32. Le cycle time Prendre conscience des délais inhérents à notre système (délais entre service, délais dû aux process d’entreprise, contrôle qualité, …) Se recentrer sur le demandeur et sur son temps d’attente La fluidité du système est primordial pour l’efficacité du système
33. On a parlé productivité… On a parlé temps qui passe… Et est-ce que les chiffres pourraient nous aider à nous informer sur l’état d’esprit des membres de l’équipe ?
34. Le « squad health check model » - @spotify Mesure le "ressenti" de la « météo » de l’équipe à un instant T Très bon support de rétro Peut faire écho chez les managers si un mal-être remonte Peut permettre de voir une évolution du moral de l’équipe
35. Le ressenti d’application des « principes agiles » Est-ce que l’équipe est alignée ou non sur les principes agiles ? Ici, on sera vigilant à la soutenabilité de ce qui est demandé à cette équipe ! Ici, on travaillera à renforcer le lien entre l’équipe et ses demandeurs
36. Attention à ne pas tomber dans… « cette équipe-ci est Agile » … … et « celle-là non ! »
37. Le ressenti d’application des « principes agiles » La confiance varie avec la montée en compétences Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe
38. Le ressenti d’application des « principes agiles » La confiance varie avec la montée en compétences Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe Equipe récemment créée (moins de 6 mois) Euphorique, tout roule, pas de problème en vue, pas encore beaucoup de pression à gérer, pas encore de problème de personnes à gérer…
39. Le ressenti d’application des « principes agiles » La confiance varie avec la montée en compétences Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe Equipe expérimentée (1 an) A récemment atteint des objectifs en surmontant une pression forte. Elle devient plus réaliste sur sa capacité à gérer les imprévus et à maintenir un niveau de pression important dans la durée.
40. Le ressenti d’application des « principes agiles » La confiance varie avec la montée en compétences Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe Equipe avec une bonne maturité Agile et une bonne expérience (1,5 an) Sort d’un gros projet à grosse pression. Devient plus exigeante et honnête avec elle-même. Notamment sur sa capacité à supporter ce rythme dans le temps et sur sa relation insuffisante avec l’utilisateur final.
41. On a mis des indicateurs sur la productivité de l’équipe… Sur la fluidité du flux… Sur le ressenti des équipes… Ne manque-t-il pas quelque-chose ?
42. Principe #1 du manifeste Agile « Notre plus haute priorité est de satisfaire le client en livrant rapidement et régulièrement des fonctionnalités à grande valeur ajoutée. »
43. La satisfaction client Toujours très difficile à obtenir C'est pourtant ce qui aurait le plus de valeur ! Net Promoter Score Etude satisfaction des clients Alptis Assurances
44. A noter que pleins d'autres indicateurs existent et qui peuvent permettre de poser des questions à l'équipe : Qualité : couverture de test unitaire, couverture de test fonctionnel, … Disponibilité de l'équipe : respect des SLA de run, … Débit du système (Nombre d’unité de valeur produite sur un laps de temps…) Temps de réactivité (cycle time entre l’expression d’un besoin et le début des devs) Nombre et fréquence des incidents de production…
45. Conclusions
46. Le calcul d'indicateur, levier hyper fort de discussion et d’amélioration continue pour l’équipe : Contrairement à ce que je pensais, les indicateurs chiffrés sont utiles ! Support parfait pour animer une rétro sur une base objective Ca met les gens face à leur contradiction « delivery » (en jours) Estimation (en points d’effort) Exemple : Le cycle time est le même quelque-soit l’effort estimé ? Normal ou pas ? On continue à estimer ou pas ? Adapte-t-on des choses dans notre pratique ?
47. Les indicateurs ne sont ainsi plus qu’à destination du management mais aussi de l’équipe Confiance Sérénité Efficacité Indicateurs visuels et chiffrés Sponsor / Management Equipe Amélioration continue (En pertinence de la valeur produite et en capacité à s’adapter)
48. Pour moi, si on devait classer la « valeur » des indicateurs « agiles » Satisfaction client Alignement de l’équipe/organisation avec les valeurs/principes agiles Indicateur de fluidité du flux Indicateur de quantité de production Indicateur de respect du plan A privilégier A limiter A tester !
49. Merci ! A vos questions… https://roti.express/r/atam2022-31 Vos retours m’intéressent…