Measuring for DevOps Success – Mit den richtigen KPIs zur erfolgreichen Einführung von DevOps

Im Zuge der Einführung der DevOps-Philosophie in der gesamten IT-Organisation stand Hermes Germany vor der Aufgabe, den Erfolg dieser neuen Ausrichtung im Blick zu behalten und diesen deutlich machen zu können. Um dies zu erreichen wurden die KPIs des DORA-Instituts aufgegriffen. Diese ermöglichen, die Weiterentwicklung der Organisation aussagekräftig darzustellen. Im Vortrag wird vorgestellt, welche Metriken genutzt werden und wie diese zur Prozessoptimierung beitragen.

Über Stephan Stapel
Stephan Stapel ist Head of Development bei Hermes Germany. In dieser Aufgabe arbeitet Stephan kontinuierlich daran, das Arbeitsumfeld für seine Teams zu verbessern. So liegt aktuell der Fokus auf der Nutzung agiler Ansätze, gepaart mit der Nutzung von DevOps-Prinzipien. Dies nutzt er gemeinsam mit seinen Teams, um den Kunden des Unternehmens Mehrwerte mit digitalen Lösungen zu liefern. Stephan hat aufgrund seiner langjährigen Arbeit als Software-Entwickler und Architekt einen technologischen Hintergrund und nutzt dies, um Brücken zwischen Management und Arbeitsrealität, zwischen Organisation und Technologie zu bauen.

Transcript

1. 1 Measuring for DevOps success. Die Organisation in der Cloud-Ära mit den richtigen KPIs entwickeln. Stephan Stapel Hermes Germany GmbH
2. 02 Unsere organisatorischen Ziele
3. Wir haben die Bremsen gelöst: • Wir können uns auf die Erzeugung von Mehrwert konzentrieren. • Wir können die Erzeugung von Mehrwerten weiter beschleunigen. • Als Tech-Organisation sind wir ein verlässlicher Partner im Unternehmen.
4. Ein subjektiver Eindruck. Zwei vergleichbare Initiativen für die Wunschzustellung von Sendungen: • 2014 – altes Arbeitsumfeld: 9 Monate • 2020 – neues Arbeitsumfeld: 4 Monate
5. Wie behalten wir unsere Entwicklung im Blick? 1. Wie entwickelt sich unser Durchsatz? Können wir stabile Vorhersagen treffen? 2. Wir stecken viel Energie in Continuous Delivery. Wie stellen wir sicher, dass sich dies lohnt?
6. 9 Ketut Subiyanto@pexels.com
7. Eintrag ins Backlog Start Umsetzung Deployment Commit Live Start Design Die typische Wertschöpfungskette
8. Eintrag ins Backlog Start Umsetzung Deployment Flow™-Metriken DORA-Metriken Commit Live Lead Time Start Design Die modernen Messinstrumente
9. Eintrag ins Backlog Start Umsetzung Deployment Flow™-Metriken DORA-Metriken Commit Live Lead Time Start Design Unser Fokus heute
10. Die vier Schlüssel-Metriken als Lösungsansatz: Change Fail Rate. Lead Time für Changes. Deployment-Frequenz. Time to Restore Service.
11. 03 Deployment-Frequenz
12. Wir haben das CAB ersetzt Seit Continuous Delivery war das Change Advisory Board ein Fremdkörper. Daher haben wir es abgeschafft. Die Changes werden automatisch innerhalb der Deployment- Pipelines dokumentiert. So können wir die Change-Datenbank zusätzlich nutzen, um Metriken zu generieren.
13. So messen wir die Deployment-Frequenz: t Produktions- Deployment Produktions- Deployment Produktions- Deployment
14. Deployment-Frequenz Als Beispiel das Team PI – Erzeugung von Labels. 07/22 08/22 01/22 02/22 03/22 04/22 IaaS PaaS SaaS 22 17 38 15 21 23 05/22 22 06/22 20  3,9h  12,3h  7,1h  8,6h  10,1h  8,0h  11,8h  5,1h
15. Unsere Erkenntnisse. Wir bewerten Teams nicht anhand Ihrer Deployment-Frequenz! Die Metriken eignen sich, um Teams zusammenzubringen. Wenn die Lösungen reifer sind, fokussieren die Teams auf Mehrwerte: die Deployment-Rate sinkt.
16. 04 Change Fail Rate
17. Einführung einer Fix- Forward-Rate. Mit vollautomatisierten Pipelines sind klassische Deployment-Fehler selten. Pipelines sind in der Regel in einem gültigen Zustand. Die Fix-Forward-Rate scheint eine geeignetere Metrik zu sein.
18. Messen der Fix-Forward-Rate. t Produktions- Deployment Produktions- Deployment des Fix Deployment erfolgreich. Hat zu Fehler in Produktion geführt. Statistisch: typischerweise findet der Fix innerhalb von 3 Stunden statt.
19. Fix-Forward-Rate Als Beispiel das Team PI – Erzeugung von Labels. 07/22 08/22 01/22 02/22 03/22 04/22 IaaS PaaS SaaS 22 17 38 15 21 23 05/22 22 06/22 20 5 2 1
20. Unsere Erkenntnisse. Unser Ansatz ist ein Kompromiss. Ich bleibe im Kontakt mit den Teams, um die Richtigkeit sicherzustellen. Wir können nachweisen, dass unsere Qualitäts-Instrumente funktionieren. Wir können nachweisen, dass Continuous Delivery keine Instabilität erzeugt.
21. 05 Messen der Lead-Time.
22. Deployment Lead Time im Sinne der DORA-Metriken Live Commit Die Lead Time als Laufzeit der Deployment Pipeline. Deployment-Pipeline
23. Durchschnittliche Laufzeiten unserer Pipelines. myHermes.de PI IaaS PaaS SaaS 45 Minuten 15 Min. Die Laufzeit ist wichtig für Feedback und eventuelle Re-Deployments. Da die Laufzeit sich im Rahmen bewegt, ist dies bislang für uns nicht problematisch.
24. 06 Zum Mitnehmen.
25. Goodharts Gesetz „Jede beobachtete statistische Kennzahl ist nur zu gebrauchen, solange kein Druck auf sie ausgeübt wird.“ Charles Goodhart
26. Die Arbeit an diesen Metriken hat sich für uns gelohnt! 1. Metriken sind nicht alles. Die Zufriedenheit der Mitarbeiter ist ein mindestens ebenso guter und wichtiger Indikator. 2. Unser größter Fehler: wir haben keine Messung vor der Einführung von Continuous Delivery gemacht. 3. Als Leader helfen mir die Analysen, um mit meinen Teams in Kontakt zu bleiben. Es erlaubt mir, gezielt Unterstützung anzubieten.
27. Stephan Stapel Head of Development stephan.stapel@hermesworld.com @StephanStapel https://www.linkedin.com/in/stephan-stapel
29. Backlog entry Start development Deployment Flow™ metrics DORA metrics Commit Live lead time Start design