Kafka – Wie eine Schildkröte uns hilft, Ketten zu sprengen Florian Albrecht & Gunnar Kiesel System Architektur 1

Wie eine Schildkröte uns hilft, Ketten zu sprengen Event Driven Architecture in einer agilen Organisation. Florian Albrecht & Gunnar Kiesel Hermes Germany GmbH Hamburg, September 2022

Hermes 4 Bis zu 11.000 Zustellende liefern für Hermes aus. Bis zu 2,5 Mio. Zustellungen am Tag. Hermes ist in Deutschland der Marktführer im Großstücksegment und die Nr. 2 in der B2C-Paketzustellung. > 45.000 Annahmestellen in ganz Europa. > 500 aktive IT-Applikationen. 18.255 Mitarbeitende sind bei der Hermes Gruppe weltweit angestellt. 350 Mitarbeitende in der IT. Über 16.500 Hermes PaketShops in ganz Deutschland. 2,54 Milliarden EUR betrug der Gesamtumsatz der Hermes Gruppe im Geschäftsjahr 2020/21. Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation.

• behindern Veränderung • sind ein Resilienz-Risiko • verlängern Laufzeiten • erschweren die Nachvollziehbarkeit Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 5 Schnittstellenketten E-Commerce Auftraggeber Auftrags- Eingang Standort- System Scanner- Schnittstelle Scanner- Backend Scanner- App

• verbessert Resilienz und Dynamik von Apps • bringt Beweglichkeit in Ketten • Information an der Quelle beziehen • Verantwortung liegt beim Handelnden Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 6 Lose Kopplung E-Commerce Auftraggeber Auftrags- Eingang Standort- System Scanner- Backend Scanner- App „Info- Pool“

• Kommunikation anhand wichtiger Geschäftsereignisse • Ereignisse beschreiben, was passiert ist, nicht, was als nächstes passieren soll • Publish/Subscribe Pattern ermöglicht lose gekoppelte 1:n Schnittstellen • Standardisierte Nachrichtenformate Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 7 Event Driven Architecture 22:47 - Ankunft der Sendung für Di. 8-10 Uhr prognostiziert 9:23 - Wunschzustellung „Paketshop“ gebucht

• DevOps-Teams haben Produktfokus • übergreifende Regeln lassen sich schwer durchsetzen • wenig Raum für technische Innovation, wenn sich dadurch kein direkter Produktvorteil ergibt • Quality-Gates würden Geschwindigkeit beeinträchtigen • Apache Kafka allein führt nicht zu einer Event Driven Architecture Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 8 Umsetzung in der agilen Organisation

Lösungsansatz: Galapagos Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 9 Kafka Self-Service Software, die unseren Architekturansatz stützt und gleichzeitig einen Mehrwert für die DevOps-Teams liefert. • Event-Registry mit Schema- Kompatibilität • automatisierte Schnittstellen- Dokumentation • Auditierte Rechtevergabe • DevOps werden zur EDA geführt • Keine (manuellen) Quality Gates • Unterstützung bei Konfiguration und Nutzung • Self-Service Zugang zu Kafka • Staging- Unterstützung

Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 11 Neue Produktidee Daten werden benötigt Recherche Vorhandene Topics durchsuchen Anforderung Neues Geschäftsereignis ggf. anfordern Staging Auf weitere Stages bis zur Produktion Abonnieren Leserechte auf Topic erhalten Anbindung Kafka-Consumer implementieren Freigabe Geschützte Topics: Freigabe durch Anbieter Zugangsdaten Kafka-Zugangsdaten beziehen Konsumenten-Workflow

Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 13 Aktualität • Echtzeit-Eventstreaming möglich • Zentrale Informationsquelle für Datenstruktur und Änderungen • Schnell neue potentielle Mehrwerte erkennen Transparenz • Volles Wissen über Konsumenten • Datenflüsse • Optimierung von Prozessen Zuverlässigkeit • Kompatibilitätsgarantien • „Deprecation“ Workflow für Topics (mit Mindestlaufzeit) Entkopplung • Technisch durch Kafka • Fachlich: Keine Absprache mit Datenanbieter erforderlich (außer ggf. Freigabe) Vorteile

• Standard-Java-Applikation (Spring Boot) mit Angular-Frontend, als Docker-Image paketiert • Alle Metadaten werden in Kafka-Topics gespeichert • Open Source seit Ende 2020 • Integration mit EAM-Tools wie LeanIX über Kafka- Topics • Keine Unterstützung von Cloud-Anbieter- Lösungen wie Amazon KMS oder Google Pub/Sub aufgrund fehlender Features Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 14 Technische Daten

• EDA und Galapagos bei Hermes inzwischen verankert, kontinuierlicher Ausbau • Erste weitere Nutzer, z.B. Otto • Verstärkte Partnerschaft mit Confluent, z.B. Webinare und Podcast • Mit Einführung von Kafka und Galapagos ist es nicht getan: Idee der EDA braucht Supporter und Kommunikation Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 15 Zusammenfassung und Ausblick • Contributors Welcome! • GitHub-Projekt erste Anlaufstelle, z.B. EDA Principles • Demo-Setup verfügbar

Wie eine Schildkröte uns hilft, Ketten zu sprengen - Event Driven Architecture in einer agilen Organisation. 16 Florian Albrecht Solution Architect Hermes Germany GmbH Essener Strasse 89 22419 Hamburg [email protected] Gunnar Kiesel Teamlead Architecture & Information Security Hermes Germany GmbH Essener Strasse 89 22419 Hamburg [email protected]