Measuring for DevOps Success – Mit den richtigen KPIs zur erfolgreichen Einführung von DevOps

Im Zuge der Einführung der DevOps-Philosophie in der gesamten IT-Organisation stand Hermes Germany vor der Aufgabe, den Erfolg dieser neuen Ausrichtung im Blick zu behalten und diesen deutlich machen zu können. Um dies zu erreichen wurden die KPIs des DORA-Instituts aufgegriffen. Diese ermöglichen, die Weiterentwicklung der Organisation aussagekräftig darzustellen. Im Vortrag wird vorgestellt, welche Metriken genutzt werden und wie diese zur Prozessoptimierung beitragen.

Über Stephan Stapel
Stephan Stapel ist Head of Development bei Hermes Germany. In dieser Aufgabe arbeitet Stephan kontinuierlich daran, das Arbeitsumfeld für seine Teams zu verbessern. So liegt aktuell der Fokus auf der Nutzung agiler Ansätze, gepaart mit der Nutzung von DevOps-Prinzipien. Dies nutzt er gemeinsam mit seinen Teams, um den Kunden des Unternehmens Mehrwerte mit digitalen Lösungen zu liefern. Stephan hat aufgrund seiner langjährigen Arbeit als Software-Entwickler und Architekt einen technologischen Hintergrund und nutzt dies, um Brücken zwischen Management und Arbeitsrealität, zwischen Organisation und Technologie zu bauen.

Transcript

1. 1
   Measuring for DevOps success.
   Die Organisation in der Cloud-Ära mit den richtigen KPIs
   entwickeln.
   Stephan Stapel
   Hermes Germany GmbH
   

   View Slide

2. 02
   Unsere
   organisatorischen Ziele
   

   View Slide

3. Wir haben die Bremsen gelöst:
   • Wir können uns auf die Erzeugung von Mehrwert
   konzentrieren.
   • Wir können die Erzeugung von Mehrwerten weiter
   beschleunigen.
   • Als Tech-Organisation sind wir ein verlässlicher Partner im
   Unternehmen.
   

   View Slide

4. Ein subjektiver Eindruck.
   Zwei vergleichbare Initiativen für die Wunschzustellung
   von Sendungen:
   • 2014 – altes Arbeitsumfeld: 9 Monate
   • 2020 – neues Arbeitsumfeld: 4 Monate
   

   View Slide

5. Wie behalten wir unsere
   Entwicklung im Blick?
   1. Wie entwickelt sich unser Durchsatz? Können wir stabile
   Vorhersagen treffen?
   2. Wir stecken viel Energie in Continuous Delivery.
   Wie stellen wir sicher, dass sich dies lohnt?
   

   View Slide

6. 9
   Ketut Subiyanto@pexels.com
   

   View Slide

7. Eintrag ins
   Backlog
   Start
   Umsetzung
   Deployment
   Commit Live
   Start
   Design
   Die typische Wertschöpfungskette
   

   View Slide

8. Eintrag ins
   Backlog
   Start
   Umsetzung
   Deployment
   Flow™-Metriken
   DORA-Metriken
   Commit Live
   Lead Time
   Start
   Design
   Die modernen Messinstrumente
   

   View Slide

9. Eintrag ins
   Backlog
   Start
   Umsetzung
   Deployment
   Flow™-Metriken
   DORA-Metriken
   Commit Live
   Lead Time
   Start
   Design
   Unser Fokus heute
   

   View Slide

10. Die vier Schlüssel-Metriken
    als Lösungsansatz:
    Change Fail Rate.
    Lead Time für Changes.
    Deployment-Frequenz.
    Time to Restore Service.
    

    View Slide

11. 03
    Deployment-Frequenz
    

    View Slide

12. Wir haben das CAB ersetzt
    Seit Continuous Delivery war das Change Advisory Board ein
    Fremdkörper. Daher haben wir es abgeschafft.
    Die Changes werden automatisch innerhalb der Deployment-
    Pipelines dokumentiert.
    So können wir die Change-Datenbank zusätzlich nutzen, um
    Metriken zu generieren.
    

    View Slide

13. So messen wir die Deployment-Frequenz:
    t
    Produktions-
    Deployment
    Produktions-
    Deployment
    Produktions-
    Deployment
    

    View Slide

14. Deployment-Frequenz
    Als Beispiel das Team PI – Erzeugung von Labels.
    07/22 08/22
    01/22 02/22 03/22 04/22
    IaaS
    PaaS
    SaaS
    22
    17
    38
    15
    21
    23
    05/22
    22
    06/22
    20
     3,9h
     12,3h
     7,1h
     8,6h
     10,1h
     8,0h
     11,8h
     5,1h
    

    View Slide

15. Unsere Erkenntnisse.
    Wir bewerten Teams nicht anhand Ihrer Deployment-Frequenz!
    Die Metriken eignen sich, um Teams zusammenzubringen.
    Wenn die Lösungen reifer sind, fokussieren die Teams auf Mehrwerte: die
    Deployment-Rate sinkt.
    

    View Slide

16. 04
    Change Fail Rate
    

    View Slide

17. Einführung einer Fix-
    Forward-Rate.
    Mit vollautomatisierten Pipelines sind klassische
    Deployment-Fehler selten. Pipelines sind in der Regel
    in einem gültigen Zustand.
    Die Fix-Forward-Rate scheint eine geeignetere Metrik
    zu sein.
    

    View Slide

18. Messen der Fix-Forward-Rate.
    t
    Produktions-
    Deployment
    Produktions-
    Deployment des Fix
    Deployment erfolgreich.
    Hat zu Fehler in
    Produktion
    geführt.
    Statistisch: typischerweise findet der Fix
    innerhalb von 3 Stunden statt.
    

    View Slide

19. Fix-Forward-Rate
    Als Beispiel das Team PI – Erzeugung von Labels.
    07/22 08/22
    01/22 02/22 03/22 04/22
    IaaS
    PaaS
    SaaS
    22
    17
    38
    15
    21
    23
    05/22
    22
    06/22
    20
    5
    2
    1
    

    View Slide

20. Unsere Erkenntnisse.
    Unser Ansatz ist ein Kompromiss.
    Ich bleibe im Kontakt mit den Teams, um die Richtigkeit sicherzustellen.
    Wir können nachweisen, dass unsere Qualitäts-Instrumente funktionieren.
    Wir können nachweisen, dass Continuous Delivery keine Instabilität erzeugt.
    

    View Slide

21. 05
    Messen der Lead-Time.
    

    View Slide

22. Deployment
    Lead Time im Sinne der DORA-Metriken
    Live
    Commit
    Die Lead Time als Laufzeit der Deployment
    Pipeline.
    Deployment-Pipeline
    

    View Slide

23. Durchschnittliche Laufzeiten unserer Pipelines.
    myHermes.de
    PI
    IaaS
    PaaS
    SaaS
    45 Minuten
    15 Min.
    Die Laufzeit ist wichtig für Feedback und
    eventuelle Re-Deployments.
    Da die Laufzeit sich im Rahmen bewegt, ist dies
    bislang für uns nicht problematisch.
    

    View Slide

24. 06
    Zum Mitnehmen.
    

    View Slide

25. Goodharts Gesetz
    „Jede beobachtete statistische Kennzahl ist nur zu
    gebrauchen, solange kein Druck auf sie ausgeübt
    wird.“
    Charles Goodhart
    

    View Slide

26. Die Arbeit an diesen Metriken hat sich für uns
    gelohnt!
    1. Metriken sind nicht alles. Die Zufriedenheit der Mitarbeiter ist ein mindestens ebenso guter und
    wichtiger Indikator.
    2. Unser größter Fehler: wir haben keine Messung vor der Einführung von Continuous Delivery
    gemacht.
    3. Als Leader helfen mir die Analysen, um mit meinen Teams in Kontakt zu bleiben. Es erlaubt mir,
    gezielt Unterstützung anzubieten.
    

    View Slide

27. Stephan Stapel
    Head of Development
    stephan.stapel@hermesworld.com
    @StephanStapel
    https://www.linkedin.com/in/stephan-stapel
    

    View Slide

28. View Slide

29. Backlog
    entry
    Start
    development
    Deployment
    Flow™ metrics
    DORA metrics
    Commit Live
    lead time
    Start
    design
    

    View Slide