1
Measuring for DevOps success.
Die Organisation in der Cloud-Ära mit den richtigen KPIs
entwickeln.
Stephan Stapel
Hermes Germany GmbH
Slide 2
Slide 2 text
02
Unsere
organisatorischen Ziele
Slide 3
Slide 3 text
Wir haben die Bremsen gelöst:
• Wir können uns auf die Erzeugung von Mehrwert
konzentrieren.
• Wir können die Erzeugung von Mehrwerten weiter
beschleunigen.
• Als Tech-Organisation sind wir ein verlässlicher Partner im
Unternehmen.
Slide 4
Slide 4 text
Ein subjektiver Eindruck.
Zwei vergleichbare Initiativen für die Wunschzustellung
von Sendungen:
• 2014 – altes Arbeitsumfeld: 9 Monate
• 2020 – neues Arbeitsumfeld: 4 Monate
Slide 5
Slide 5 text
Wie behalten wir unsere
Entwicklung im Blick?
1. Wie entwickelt sich unser Durchsatz? Können wir stabile
Vorhersagen treffen?
2. Wir stecken viel Energie in Continuous Delivery.
Wie stellen wir sicher, dass sich dies lohnt?
Slide 6
Slide 6 text
9
Ketut Subiyanto@pexels.com
Slide 7
Slide 7 text
Eintrag ins
Backlog
Start
Umsetzung
Deployment
Commit Live
Start
Design
Die typische Wertschöpfungskette
Slide 8
Slide 8 text
Eintrag ins
Backlog
Start
Umsetzung
Deployment
Flow™-Metriken
DORA-Metriken
Commit Live
Lead Time
Start
Design
Die modernen Messinstrumente
Slide 9
Slide 9 text
Eintrag ins
Backlog
Start
Umsetzung
Deployment
Flow™-Metriken
DORA-Metriken
Commit Live
Lead Time
Start
Design
Unser Fokus heute
Slide 10
Slide 10 text
Die vier Schlüssel-Metriken
als Lösungsansatz:
Change Fail Rate.
Lead Time für Changes.
Deployment-Frequenz.
Time to Restore Service.
Slide 11
Slide 11 text
03
Deployment-Frequenz
Slide 12
Slide 12 text
Wir haben das CAB ersetzt
Seit Continuous Delivery war das Change Advisory Board ein
Fremdkörper. Daher haben wir es abgeschafft.
Die Changes werden automatisch innerhalb der Deployment-
Pipelines dokumentiert.
So können wir die Change-Datenbank zusätzlich nutzen, um
Metriken zu generieren.
Slide 13
Slide 13 text
So messen wir die Deployment-Frequenz:
t
Produktions-
Deployment
Produktions-
Deployment
Produktions-
Deployment
Slide 14
Slide 14 text
Deployment-Frequenz
Als Beispiel das Team PI – Erzeugung von Labels.
07/22 08/22
01/22 02/22 03/22 04/22
IaaS
PaaS
SaaS
22
17
38
15
21
23
05/22
22
06/22
20
3,9h
12,3h
7,1h
8,6h
10,1h
8,0h
11,8h
5,1h
Slide 15
Slide 15 text
Unsere Erkenntnisse.
Wir bewerten Teams nicht anhand Ihrer Deployment-Frequenz!
Die Metriken eignen sich, um Teams zusammenzubringen.
Wenn die Lösungen reifer sind, fokussieren die Teams auf Mehrwerte: die
Deployment-Rate sinkt.
Slide 16
Slide 16 text
04
Change Fail Rate
Slide 17
Slide 17 text
Einführung einer Fix-
Forward-Rate.
Mit vollautomatisierten Pipelines sind klassische
Deployment-Fehler selten. Pipelines sind in der Regel
in einem gültigen Zustand.
Die Fix-Forward-Rate scheint eine geeignetere Metrik
zu sein.
Slide 18
Slide 18 text
Messen der Fix-Forward-Rate.
t
Produktions-
Deployment
Produktions-
Deployment des Fix
Deployment erfolgreich.
Hat zu Fehler in
Produktion
geführt.
Statistisch: typischerweise findet der Fix
innerhalb von 3 Stunden statt.
Slide 19
Slide 19 text
Fix-Forward-Rate
Als Beispiel das Team PI – Erzeugung von Labels.
07/22 08/22
01/22 02/22 03/22 04/22
IaaS
PaaS
SaaS
22
17
38
15
21
23
05/22
22
06/22
20
5
2
1
Slide 20
Slide 20 text
Unsere Erkenntnisse.
Unser Ansatz ist ein Kompromiss.
Ich bleibe im Kontakt mit den Teams, um die Richtigkeit sicherzustellen.
Wir können nachweisen, dass unsere Qualitäts-Instrumente funktionieren.
Wir können nachweisen, dass Continuous Delivery keine Instabilität erzeugt.
Slide 21
Slide 21 text
05
Messen der Lead-Time.
Slide 22
Slide 22 text
Deployment
Lead Time im Sinne der DORA-Metriken
Live
Commit
Die Lead Time als Laufzeit der Deployment
Pipeline.
Deployment-Pipeline
Slide 23
Slide 23 text
Durchschnittliche Laufzeiten unserer Pipelines.
myHermes.de
PI
IaaS
PaaS
SaaS
45 Minuten
15 Min.
Die Laufzeit ist wichtig für Feedback und
eventuelle Re-Deployments.
Da die Laufzeit sich im Rahmen bewegt, ist dies
bislang für uns nicht problematisch.
Slide 24
Slide 24 text
06
Zum Mitnehmen.
Slide 25
Slide 25 text
Goodharts Gesetz
„Jede beobachtete statistische Kennzahl ist nur zu
gebrauchen, solange kein Druck auf sie ausgeübt
wird.“
Charles Goodhart
Slide 26
Slide 26 text
Die Arbeit an diesen Metriken hat sich für uns
gelohnt!
1. Metriken sind nicht alles. Die Zufriedenheit der Mitarbeiter ist ein mindestens ebenso guter und
wichtiger Indikator.
2. Unser größter Fehler: wir haben keine Messung vor der Einführung von Continuous Delivery
gemacht.
3. Als Leader helfen mir die Analysen, um mit meinen Teams in Kontakt zu bleiben. Es erlaubt mir,
gezielt Unterstützung anzubieten.
Slide 27
Slide 27 text
Stephan Stapel
Head of Development
stephan.stapel@hermesworld.com
@StephanStapel
https://www.linkedin.com/in/stephan-stapel
Slide 28
Slide 28 text
No content
Slide 29
Slide 29 text
Backlog
entry
Start
development
Deployment
Flow™ metrics
DORA metrics
Commit Live
lead time
Start
design