Slide 1

Slide 1 text

1 Measuring for DevOps success. Die Organisation in der Cloud-Ära mit den richtigen KPIs entwickeln. Stephan Stapel Hermes Germany GmbH

Slide 2

Slide 2 text

02 Unsere organisatorischen Ziele

Slide 3

Slide 3 text

Wir haben die Bremsen gelöst: • Wir können uns auf die Erzeugung von Mehrwert konzentrieren. • Wir können die Erzeugung von Mehrwerten weiter beschleunigen. • Als Tech-Organisation sind wir ein verlässlicher Partner im Unternehmen.

Slide 4

Slide 4 text

Ein subjektiver Eindruck. Zwei vergleichbare Initiativen für die Wunschzustellung von Sendungen: • 2014 – altes Arbeitsumfeld: 9 Monate • 2020 – neues Arbeitsumfeld: 4 Monate

Slide 5

Slide 5 text

Wie behalten wir unsere Entwicklung im Blick? 1. Wie entwickelt sich unser Durchsatz? Können wir stabile Vorhersagen treffen? 2. Wir stecken viel Energie in Continuous Delivery. Wie stellen wir sicher, dass sich dies lohnt?

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Eintrag ins Backlog Start Umsetzung Deployment Commit Live Start Design Die typische Wertschöpfungskette

Slide 8

Slide 8 text

Eintrag ins Backlog Start Umsetzung Deployment Flow™-Metriken DORA-Metriken Commit Live Lead Time Start Design Die modernen Messinstrumente

Slide 9

Slide 9 text

Eintrag ins Backlog Start Umsetzung Deployment Flow™-Metriken DORA-Metriken Commit Live Lead Time Start Design Unser Fokus heute

Slide 10

Slide 10 text

Die vier Schlüssel-Metriken als Lösungsansatz: Change Fail Rate. Lead Time für Changes. Deployment-Frequenz. Time to Restore Service.

Slide 11

Slide 11 text

03 Deployment-Frequenz

Slide 12

Slide 12 text

Wir haben das CAB ersetzt Seit Continuous Delivery war das Change Advisory Board ein Fremdkörper. Daher haben wir es abgeschafft. Die Changes werden automatisch innerhalb der Deployment- Pipelines dokumentiert. So können wir die Change-Datenbank zusätzlich nutzen, um Metriken zu generieren.

Slide 13

Slide 13 text

So messen wir die Deployment-Frequenz: t Produktions- Deployment Produktions- Deployment Produktions- Deployment

Slide 14

Slide 14 text

Deployment-Frequenz Als Beispiel das Team PI – Erzeugung von Labels. 07/22 08/22 01/22 02/22 03/22 04/22 IaaS PaaS SaaS 22 17 38 15 21 23 05/22 22 06/22 20  3,9h  12,3h  7,1h  8,6h  10,1h  8,0h  11,8h  5,1h

Slide 15

Slide 15 text

Unsere Erkenntnisse. Wir bewerten Teams nicht anhand Ihrer Deployment-Frequenz! Die Metriken eignen sich, um Teams zusammenzubringen. Wenn die Lösungen reifer sind, fokussieren die Teams auf Mehrwerte: die Deployment-Rate sinkt.

Slide 16

Slide 16 text

04 Change Fail Rate

Slide 17

Slide 17 text

Einführung einer Fix- Forward-Rate. Mit vollautomatisierten Pipelines sind klassische Deployment-Fehler selten. Pipelines sind in der Regel in einem gültigen Zustand. Die Fix-Forward-Rate scheint eine geeignetere Metrik zu sein.

Slide 18

Slide 18 text

Messen der Fix-Forward-Rate. t Produktions- Deployment Produktions- Deployment des Fix Deployment erfolgreich. Hat zu Fehler in Produktion geführt. Statistisch: typischerweise findet der Fix innerhalb von 3 Stunden statt.

Slide 19

Slide 19 text

Fix-Forward-Rate Als Beispiel das Team PI – Erzeugung von Labels. 07/22 08/22 01/22 02/22 03/22 04/22 IaaS PaaS SaaS 22 17 38 15 21 23 05/22 22 06/22 20 5 2 1

Slide 20

Slide 20 text

Unsere Erkenntnisse. Unser Ansatz ist ein Kompromiss. Ich bleibe im Kontakt mit den Teams, um die Richtigkeit sicherzustellen. Wir können nachweisen, dass unsere Qualitäts-Instrumente funktionieren. Wir können nachweisen, dass Continuous Delivery keine Instabilität erzeugt.

Slide 21

Slide 21 text

05 Messen der Lead-Time.

Slide 22

Slide 22 text

Deployment Lead Time im Sinne der DORA-Metriken Live Commit Die Lead Time als Laufzeit der Deployment Pipeline. Deployment-Pipeline

Slide 23

Slide 23 text

Durchschnittliche Laufzeiten unserer Pipelines. myHermes.de PI IaaS PaaS SaaS 45 Minuten 15 Min. Die Laufzeit ist wichtig für Feedback und eventuelle Re-Deployments. Da die Laufzeit sich im Rahmen bewegt, ist dies bislang für uns nicht problematisch.

Slide 24

Slide 24 text

06 Zum Mitnehmen.

Slide 25

Slide 25 text

Goodharts Gesetz „Jede beobachtete statistische Kennzahl ist nur zu gebrauchen, solange kein Druck auf sie ausgeübt wird.“ Charles Goodhart

Slide 26

Slide 26 text

Die Arbeit an diesen Metriken hat sich für uns gelohnt! 1. Metriken sind nicht alles. Die Zufriedenheit der Mitarbeiter ist ein mindestens ebenso guter und wichtiger Indikator. 2. Unser größter Fehler: wir haben keine Messung vor der Einführung von Continuous Delivery gemacht. 3. Als Leader helfen mir die Analysen, um mit meinen Teams in Kontakt zu bleiben. Es erlaubt mir, gezielt Unterstützung anzubieten.

Slide 27

Slide 27 text

Stephan Stapel Head of Development [email protected] @StephanStapel https://www.linkedin.com/in/stephan-stapel

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

Backlog entry Start development Deployment Flow™ metrics DORA metrics Commit Live lead time Start design