Ma direction me demande des indicateurs de "performance" de mon équipe Agile... Au secours !

Que ce soit pour être rassuré, pour garder le contrôle ou pour chercher des axes d'amélioration tout manager cherche (un jour ou l'autre) à mesurer la "performance" de ces équipes Agile.

Présentation du bilan de 5 années d'expérimentations diverses d'un scrum master ayant tenté de répondre concrètement à cette question.

Transcript

1. Ma direction me demande
   des indicateurs de « performance »
   de mes équipes Agile…
   Au secours !
   10 novembre 2022
   Thomas LAURENT
   

   View Slide

2. View Slide

3. Qui suis-je ?
   - Facilitateur et coach Agile chez Alptis Assurances
   - Un passé de développeur puis de chef de projet « classique »
   - Mutation vers l'Agilité opéré il y a environ 4-5 ans
   Thomas LAURENT – 42 ans
   t.laurent@alptis.fr
   

   View Slide

4. De quoi va-t-on parler ?
   

   View Slide

5. Alptis Assurances
   DSI
   Pôle commercialisation – Digital Factory
   Equipe #1
   SCRUM
   Equipe #2
   SCRUM
   Equipe #3
   SCRUM
   Equipe #4
   KANBAN
   Un peu de contexte
   - Alptis Assurances, courtier grossiste de 600 salariés
   - Une « ligne produit » d’environ 40 personnes
   Vous êtes ici
   

   View Slide

6. Mon rapport aux indicateurs
   à l’époque…
   

   View Slide

7. Performance = réussite du projet
   Indicateurs de performance axés sur la bonne tenue du projet, le respect du plan initial :
   Avancement (reste à faire, chiffrages, …)
   Tenue des délais
   Tenue des budgets
   

   View Slide

8. La confiance comme levier de performance
   Indicateurs chiffrés orientés
   sur la « maitrise affichée »,
   sur la quantité produite et
   sur le respect du plan
   Sponsor / Management
   Equipe
   Confiance
   Sérénité
   Efficacité
   (en quantité produite
   et en respect du plan)
   

   View Slide

9. … puis, j’ai rencontré l’Agilité…
   

   View Slide

10. Prise de conscience et changement de mindset
    Ressenti de l'équipe > ressenti du chef de projet
    Le chiffrage… c'est du vent !
    Valeur produite > quantité produite > reste à faire
    

    View Slide

11. View Slide

12. Au début pas d'indicateur chiffré du tout !
    100% au ressenti des équipes
    Pas de chiffrage #no-estimate
    Pas de calcul de capacité à produire
    Pas de calcul de reste à faire
    Sans chiffre, comment
    garder la confiance !?
    Sponsor / Management
    Equipe
    Confiance
    Sérénité
    Efficacité
    (en quantité produite
    et en respect du plan)
    

    View Slide

13. Pas de chiffre mais plus de visualisation
    Pas d’indicateur chiffré mais plus de visualisation grâce à la storymap...
    Centrée sur les fonctionnalités et sur
    le découpage en livrables réguliers,
    la stratégie est lisible et simplifiée
    On voit le puzzle se construire
    au fur et à mesure.
    On discute priorisation par la
    valeur !
    On voit ce qu’il n’y aura pas !
    

    View Slide

14. Pas de chiffre mais plus de visualisation
    … et grâce à la roadmap !
    Une vision de plus en plus précise
    quand les échéances se rapprochent
    Complète la stratégie avec une
    vision dans le temps
    

    View Slide

15. Pas de chiffre mais plus de visualisation
    … et grâce à la roadmap !
    On peut même aller sur un
    niveau beaucoup plus précis
    pour les semaines à venir
    

    View Slide

16. Changement de paradigme
    La visualisation est largement suffisante pour obtenir la confiance !
    Confiance
    Sérénité
    Efficacité
    Sponsor / Management
    Equipe
    (en quantité produite et en respect du plan)
    (en pertinence de la valeur produite
    et en capacité à s’adapter)
    Indicateurs visuels
    orientés sur la
    valeur produite
    

    View Slide

17. ... et un jour, on me demande des
    « indicateurs de performance »
    des équipes agiles !
    

    View Slide

18. View Slide

19. Puis ma réflexion a évolué…
    « Ca coûte plus cher ! »
    « L’agilité c’est pas cadré, pas organisé ! »
    « C’est moins efficace !»
    « Ca ne garantie pas assez de maitrise !»
    

    View Slide

20. La Vélocité en points d’effort ! (sur le papier)
    Cela représente l'effort qu’une équipe peut fournir dans un sprint
    Elle est calculée en additionnant tous les points d’efforts validés dans un sprint
    Avec l’espoir d’arriver à un moyenne stable qui permettrait de faire de la prédiction
    

    View Slide

21. La Vélocité en points ! (dans notre contexte)
    Pour obtenir cet indicateur on a dû instaurer le poker planning…
    … et j'ai pu sortir des chiffres.
    Amplitude importante
    

    View Slide

22. Attention fausse bonne idée : la prédiction grâce à la vélocité
    Il faut estimer tout le backlog… #mauvaissouvenir
    Se base sur l’estimation initiale
    Se base sur le fait que la vélocité est un indicateur fiable et globalement stable dans le temps
    Poids du backlog restant (en points)
    Vélocité moyenne
    Nombre de sprints restants =
    

    View Slide

23. La Vélocité en points ! (dans notre contexte)
    Aujourd’hui, on ne garde que le planning poker comme support d’alignement !
    

    View Slide

24. La Vélocité en unité de valeur
    Une bonne alternative pour de la planification :
    Demande souvent très peu d’effort à obtenir
    C’est pas moins faux que la vélocité par points
    N’a pas le biais de l’estimation
    Amplitude
    acceptable moyenne
    

    View Slide

25. Existe-t-il des indicateurs orientés sur autre
    chose que la quantité ?
    

    View Slide

26. Le cycle time / Lead time
    Le cycle time mesure le temps qui passe de manière calendaire sur une partie du process
    Compréhension /
    rédaction du besoin
    Conception technique Réalisation technique
    Contrôle qualité
    et livraison
    Prise en compte et
    priorisation du
    besoin
    cycle time
    « delivery »
    Temps qui passe
    Expression d’un besoin
    par un utilisateur/client
    Livraison de valeur répondant
    au besoin exprimé
    

    View Slide

27. La carte de contrôle
    Affiche le temps qui passe réellement pour produire une unité de valeur sur un cycle donné du système
    0
    10
    20
    30
    40
    50
    60
    70
    28/05/2021
    25/06/2021
    30/06/2021
    01/07/2021
    06/07/2021
    12/07/2021
    22/07/2021
    03/08/2021
    05/08/2021
    06/08/2021
    11/08/2021
    18/08/2021
    19/08/2021
    24/08/2021
    01/09/2021
    06/09/2021
    09/09/2021
    14/09/2021
    16/09/2021
    17/09/2021
    21/09/2021
    22/09/2021
    27/09/2021
    28/09/2021
    30/09/2021
    04/10/2021
    07/10/2021
    08/10/2021
    11/10/2021
    12/10/2021
    13/10/2021
    14/10/2021
    15/10/2021
    21/10/2021
    22/10/2021
    25/10/2021
    26/10/2021
    29/10/2021
    03/11/2021
    04/11/2021
    05/11/2021
    05/11/2021
    09/11/2021
    10/11/2021
    15/11/2021
    16/11/2021
    19/11/2021
    23/11/2021
    30/11/2021
    02/12/2021
    03/12/2021
    03/12/2021
    07/12/2021
    08/12/2021
    13/12/2021
    15/12/2021
    17/12/2021
    21/12/2021
    30/12/2021
    03/01/2022
    12/01/2022
    14/01/2022
    24/01/2022
    26/01/2022
    28/01/2022
    07/02/2022
    11/02/2022
    17/02/2022
    21/02/2022
    03/03/2022
    10/03/2022
    Cycle time
    « delivery »
    (en jours)
    Date de démarrage
    

    View Slide

28. 0
    10
    20
    30
    40
    50
    60
    70
    28/05/2021
    25/06/2021
    30/06/2021
    01/07/2021
    06/07/2021
    12/07/2021
    22/07/2021
    03/08/2021
    05/08/2021
    06/08/2021
    11/08/2021
    18/08/2021
    19/08/2021
    24/08/2021
    01/09/2021
    06/09/2021
    09/09/2021
    14/09/2021
    16/09/2021
    17/09/2021
    21/09/2021
    22/09/2021
    27/09/2021
    28/09/2021
    30/09/2021
    04/10/2021
    07/10/2021
    08/10/2021
    11/10/2021
    12/10/2021
    13/10/2021
    14/10/2021
    15/10/2021
    21/10/2021
    22/10/2021
    25/10/2021
    26/10/2021
    29/10/2021
    03/11/2021
    04/11/2021
    05/11/2021
    05/11/2021
    09/11/2021
    10/11/2021
    15/11/2021
    16/11/2021
    19/11/2021
    23/11/2021
    30/11/2021
    02/12/2021
    03/12/2021
    03/12/2021
    07/12/2021
    08/12/2021
    13/12/2021
    15/12/2021
    17/12/2021
    21/12/2021
    30/12/2021
    03/01/2022
    12/01/2022
    14/01/2022
    24/01/2022
    26/01/2022
    28/01/2022
    07/02/2022
    11/02/2022
    17/02/2022
    21/02/2022
    03/03/2022
    10/03/2022
    La carte de contrôle
    Permet d’identifier et de réfléchir à des anti-patterns qui se reproduisent
    Date de démarrage
    Pourquoi les tickets > 25 jours se
    multiplient-ils ces 3 derniers mois ?
    Cycle time
    « delivery »
    (en jours)
    

    View Slide

29. La carte de contrôle
    Permet de voir l’effet de l’amélioration continue d’une équipe
    Date de démarrage
    0
    10
    20
    30
    40
    50
    60
    70
    28/05/2021
    25/06/2021
    01/07/2021
    06/07/2021
    12/07/2021
    29/07/2021
    05/08/2021
    06/08/2021
    13/08/2021
    19/08/2021
    25/08/2021
    03/09/2021
    09/09/2021
    14/09/2021
    17/09/2021
    21/09/2021
    22/09/2021
    28/09/2021
    30/09/2021
    05/10/2021
    08/10/2021
    11/10/2021
    12/10/2021
    13/10/2021
    15/10/2021
    21/10/2021
    22/10/2021
    26/10/2021
    02/11/2021
    03/11/2021
    05/11/2021
    08/11/2021
    10/11/2021
    15/11/2021
    18/11/2021
    22/11/2021
    30/11/2021
    03/12/2021
    03/12/2021
    07/12/2021
    10/12/2021
    14/12/2021
    17/12/2021
    25/12/2021
    30/12/2021
    12/01/2022
    17/01/2022
    26/01/2022
    28/01/2022
    07/02/2022
    14/02/2022
    21/02/2022
    03/03/2022
    09/03/2022
    15/03/2022
    18/03/2022
    22/03/2022
    29/03/2022
    01/04/2022
    07/04/2022
    15/04/2022
    22/04/2022
    03/05/2022
    04/05/2022
    10/05/2022
    11/05/2022
    17/05/2022
    23/05/2022
    25/05/2022
    31/05/2022
    03/06/2022
    14/06/2022
    22/06/2022
    28/06/2022
    05/07/2022
    19/07/2022
    Lead Time
    Visualisation objective de l’effet
    de la prise de conscience !
    Cycle time
    « delivery »
    (en jours)
    

    View Slide

30. Le cycle time en histogramme
    Permet de calculer, par typologie de demande, un cycle time moyen sur une période de temps…
    … et de communiquer dessus…
    … et de s’organiser en fonction !
    80% des bugs : 8 jours 80% des US : 15 jours
    

    View Slide

31. Le cycle time en histogramme
    Permet de suivre l’évolution d’une équipe dans le temps
    L’efficacité d’actions d’amélioration continue
    Janvier à Juin 2022 Juillet à Octobre 2022
    Pic autour de 14 jours Pic autour de 10 jours
    

    View Slide

32. Le cycle time
    Prendre conscience des délais inhérents à notre système (délais entre service, délais dû aux process
    d’entreprise, contrôle qualité, …)
    Se recentrer sur le demandeur et sur son temps d’attente
    La fluidité du système est primordial pour l’efficacité du système
    

    View Slide

33. On a parlé productivité…
    On a parlé temps qui passe…
    Et est-ce que les chiffres pourraient nous aider à nous
    informer sur l’état d’esprit des membres de l’équipe ?
    

    View Slide

34. Le « squad health check model » - @spotify
    Mesure le "ressenti" de la « météo » de l’équipe à un instant T
    Très bon support de rétro
    Peut faire écho chez les managers si un mal-être remonte
    Peut permettre de voir une évolution du moral de l’équipe
    

    View Slide

35. Le ressenti d’application des « principes agiles »
    Est-ce que l’équipe est alignée ou non sur les principes agiles ?
    Ici, on sera vigilant à la soutenabilité de
    ce qui est demandé à cette équipe !
    Ici, on travaillera à renforcer le lien
    entre l’équipe et ses demandeurs
    

    View Slide

36. Attention à ne pas tomber dans…
    « cette équipe-ci est Agile » … … et « celle-là non ! »
    

    View Slide

37. Le ressenti d’application des « principes agiles »
    La confiance varie avec la montée en compétences
    Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe
    

    View Slide

38. Le ressenti d’application des « principes agiles »
    La confiance varie avec la montée en compétences
    Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe
    Equipe récemment créée (moins de 6 mois)
    Euphorique, tout roule, pas de problème en vue, pas encore beaucoup de pression à gérer, pas encore de problème de
    personnes à gérer…
    

    View Slide

39. Le ressenti d’application des « principes agiles »
    La confiance varie avec la montée en compétences
    Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe
    Equipe expérimentée (1 an)
    A récemment atteint des objectifs en surmontant une pression forte. Elle devient plus réaliste sur sa capacité à gérer les
    imprévus et à maintenir un niveau de pression important dans la durée.
    

    View Slide

40. Le ressenti d’application des « principes agiles »
    La confiance varie avec la montée en compétences
    Le ressenti est influencé par la « maturité Agile » et l’expérience vécue par l’équipe
    Equipe avec une bonne maturité Agile et une bonne expérience (1,5 an)
    Sort d’un gros projet à grosse pression. Devient plus exigeante et honnête avec elle-même. Notamment sur sa capacité à supporter
    ce rythme dans le temps et sur sa relation insuffisante avec l’utilisateur final.
    

    View Slide

41. On a mis des indicateurs sur la productivité de l’équipe…
    Sur la fluidité du flux…
    Sur le ressenti des équipes…
    Ne manque-t-il pas quelque-chose ?
    

    View Slide

42. Principe #1 du manifeste Agile
    « Notre plus haute priorité est de satisfaire le client
    en livrant rapidement et régulièrement des fonctionnalités à grande valeur ajoutée. »
    

    View Slide

43. La satisfaction client
    Toujours très difficile à obtenir
    C'est pourtant ce qui aurait le plus de valeur !
    Net Promoter Score
    Etude satisfaction des clients Alptis Assurances
    

    View Slide

44. A noter que pleins d'autres indicateurs existent et qui peuvent permettre de poser des
    questions à l'équipe :
    Qualité : couverture de test unitaire, couverture de test fonctionnel, …
    Disponibilité de l'équipe : respect des SLA de run, …
    Débit du système (Nombre d’unité de valeur produite sur un laps de temps…)
    Temps de réactivité (cycle time entre l’expression d’un besoin et le début des devs)
    Nombre et fréquence des incidents de production…
    

    View Slide

45. Conclusions
    

    View Slide

46. Le calcul d'indicateur, levier hyper fort de discussion et d’amélioration continue pour l’équipe :
    Contrairement à ce que je pensais, les indicateurs chiffrés sont utiles !
    Support parfait pour animer une rétro sur une base objective
    Ca met les gens face à leur contradiction
    « delivery »
    (en jours)
    Estimation
    (en points d’effort)
    Exemple :
    Le cycle time est le même quelque-soit
    l’effort estimé ?
    Normal ou pas ?
    On continue à estimer ou pas ?
    Adapte-t-on des choses dans notre
    pratique ?
    

    View Slide

47. Les indicateurs ne sont ainsi plus qu’à destination du management mais aussi de l’équipe
    Confiance
    Sérénité
    Efficacité
    Indicateurs
    visuels et
    chiffrés
    Sponsor / Management
    Equipe
    Amélioration
    continue
    (En pertinence de la valeur produite
    et en capacité à s’adapter)
    

    View Slide

48. Pour moi, si on devait classer la « valeur » des indicateurs « agiles »
    Satisfaction client
    Alignement de l’équipe/organisation avec les valeurs/principes agiles
    Indicateur de fluidité du flux
    Indicateur de quantité de production
    Indicateur de respect du plan
    A privilégier
    A limiter
    A tester !
    

    View Slide

49. Merci !
    A vos questions…
    https://roti.express/r/atam2022-31
    Vos retours m’intéressent…
    

    View Slide