Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Measuring for DevOps Success – Mit den richtige...

Measuring for DevOps Success – Mit den richtigen KPIs zur erfolgreichen Einführung von DevOps

Im Zuge der Einführung der DevOps-Philosophie in der gesamten IT-Organisation stand Hermes Germany vor der Aufgabe, den Erfolg dieser neuen Ausrichtung im Blick zu behalten und diesen deutlich machen zu können. Um dies zu erreichen wurden die KPIs des DORA-Instituts aufgegriffen. Diese ermöglichen, die Weiterentwicklung der Organisation aussagekräftig darzustellen. Im Vortrag wird vorgestellt, welche Metriken genutzt werden und wie diese zur Prozessoptimierung beitragen.

Über Stephan Stapel
Stephan Stapel ist Head of Development bei Hermes Germany. In dieser Aufgabe arbeitet Stephan kontinuierlich daran, das Arbeitsumfeld für seine Teams zu verbessern. So liegt aktuell der Fokus auf der Nutzung agiler Ansätze, gepaart mit der Nutzung von DevOps-Prinzipien. Dies nutzt er gemeinsam mit seinen Teams, um den Kunden des Unternehmens Mehrwerte mit digitalen Lösungen zu liefern. Stephan hat aufgrund seiner langjährigen Arbeit als Software-Entwickler und Architekt einen technologischen Hintergrund und nutzt dies, um Brücken zwischen Management und Arbeitsrealität, zwischen Organisation und Technologie zu bauen.

Hermes Germany GmbH

September 28, 2022
Tweet

More Decks by Hermes Germany GmbH

Other Decks in Technology

Transcript

  1. 1 Measuring for DevOps success. Die Organisation in der Cloud-Ära

    mit den richtigen KPIs entwickeln. Stephan Stapel Hermes Germany GmbH
  2. Wir haben die Bremsen gelöst: • Wir können uns auf

    die Erzeugung von Mehrwert konzentrieren. • Wir können die Erzeugung von Mehrwerten weiter beschleunigen. • Als Tech-Organisation sind wir ein verlässlicher Partner im Unternehmen.
  3. Ein subjektiver Eindruck. Zwei vergleichbare Initiativen für die Wunschzustellung von

    Sendungen: • 2014 – altes Arbeitsumfeld: 9 Monate • 2020 – neues Arbeitsumfeld: 4 Monate
  4. Wie behalten wir unsere Entwicklung im Blick? 1. Wie entwickelt

    sich unser Durchsatz? Können wir stabile Vorhersagen treffen? 2. Wir stecken viel Energie in Continuous Delivery. Wie stellen wir sicher, dass sich dies lohnt?
  5. Die vier Schlüssel-Metriken als Lösungsansatz: Change Fail Rate. Lead Time

    für Changes. Deployment-Frequenz. Time to Restore Service.
  6. Wir haben das CAB ersetzt Seit Continuous Delivery war das

    Change Advisory Board ein Fremdkörper. Daher haben wir es abgeschafft. Die Changes werden automatisch innerhalb der Deployment- Pipelines dokumentiert. So können wir die Change-Datenbank zusätzlich nutzen, um Metriken zu generieren.
  7. Deployment-Frequenz Als Beispiel das Team PI – Erzeugung von Labels.

    07/22 08/22 01/22 02/22 03/22 04/22 IaaS PaaS SaaS 22 17 38 15 21 23 05/22 22 06/22 20  3,9h  12,3h  7,1h  8,6h  10,1h  8,0h  11,8h  5,1h
  8. Unsere Erkenntnisse. Wir bewerten Teams nicht anhand Ihrer Deployment-Frequenz! Die

    Metriken eignen sich, um Teams zusammenzubringen. Wenn die Lösungen reifer sind, fokussieren die Teams auf Mehrwerte: die Deployment-Rate sinkt.
  9. Einführung einer Fix- Forward-Rate. Mit vollautomatisierten Pipelines sind klassische Deployment-Fehler

    selten. Pipelines sind in der Regel in einem gültigen Zustand. Die Fix-Forward-Rate scheint eine geeignetere Metrik zu sein.
  10. Messen der Fix-Forward-Rate. t Produktions- Deployment Produktions- Deployment des Fix

    Deployment erfolgreich. Hat zu Fehler in Produktion geführt. Statistisch: typischerweise findet der Fix innerhalb von 3 Stunden statt.
  11. Fix-Forward-Rate Als Beispiel das Team PI – Erzeugung von Labels.

    07/22 08/22 01/22 02/22 03/22 04/22 IaaS PaaS SaaS 22 17 38 15 21 23 05/22 22 06/22 20 5 2 1
  12. Unsere Erkenntnisse. Unser Ansatz ist ein Kompromiss. Ich bleibe im

    Kontakt mit den Teams, um die Richtigkeit sicherzustellen. Wir können nachweisen, dass unsere Qualitäts-Instrumente funktionieren. Wir können nachweisen, dass Continuous Delivery keine Instabilität erzeugt.
  13. Deployment Lead Time im Sinne der DORA-Metriken Live Commit Die

    Lead Time als Laufzeit der Deployment Pipeline. Deployment-Pipeline
  14. Durchschnittliche Laufzeiten unserer Pipelines. myHermes.de PI IaaS PaaS SaaS 45

    Minuten 15 Min. Die Laufzeit ist wichtig für Feedback und eventuelle Re-Deployments. Da die Laufzeit sich im Rahmen bewegt, ist dies bislang für uns nicht problematisch.
  15. Goodharts Gesetz „Jede beobachtete statistische Kennzahl ist nur zu gebrauchen,

    solange kein Druck auf sie ausgeübt wird.“ Charles Goodhart
  16. Die Arbeit an diesen Metriken hat sich für uns gelohnt!

    1. Metriken sind nicht alles. Die Zufriedenheit der Mitarbeiter ist ein mindestens ebenso guter und wichtiger Indikator. 2. Unser größter Fehler: wir haben keine Messung vor der Einführung von Continuous Delivery gemacht. 3. Als Leader helfen mir die Analysen, um mit meinen Teams in Kontakt zu bleiben. Es erlaubt mir, gezielt Unterstützung anzubieten.