Kafka ist nicht nur ein Autor Hamburg, 28.03.2019 Flah-Uddin Ahmad Solution Architect

„Nichtstun ist eine der größten und verhältnismäßigen leicht zu beseitigenden Dummheiten.“

Inhalt 01 Ein kurzer Überblick über Hermes Germany 02 Was ist überhaupt Apache Kafka? 03 Wer nutzt alles Kafka? 04 Anwendungsmöglichkeiten von Kafka 05 Wie wird Kafka bei Hermes verwendet? 06 Kernkonzepte von Kafka 07 Unterschiede zwischen Kafka und Queueing-Lösungen 08 Live Demo

Ein kurzer Überblick über Hermes Germany 01

Hermes Germany ist einer der größten Paket-Logistiker Deutschlands. • Gegründet 1972 • Wir stellen derzeit etwa 400 Millionen Pakete pro Jahr zu • Wir stellen uns mit 250 IT-Spezialisten den Herausforderungen der Logistik • Wir sind Teil der Otto-Gruppe • Neben Privatkunden sind unsere Hauptkunden Otto, Amazon, H&M und Zalando

Was ist überhaupt Apache Kafka? 02

Was ist überhaupt Apache Kafka? 7 Verteilte Streaming Plattform Drei Haupteigenschaften • Publish / Subscribe • Fehlertoleranz • Garantierte Reihenfolge Aktuelle Version 2.1.1 (Feb 15, 2019) Entwickelt in Scala / Java

Historie von Kafka 8 Entwickelt von LinkedIn • Open Source seit 2011 • Seit 2012 Teil der Apache Foundation Confluent • Gegründet im Jahr 2014 • Fokussiert sich auf die Weiterentwicklung von Kafka

Begrifflichkeiten 9 • Producer • Consumer • Broker • Kafka Cluster • Topic

Wer nutzt alles Kafka? 03

Wer nutzt alles Kafka? 11

Wer nutzt alles Kafka? 12

Wer nutzt alles Kafka? 13

Anwendungs- möglichkeiten von Kafka 04

Kafka als Messaging System 15 Message Queue Lastverteilung Kein Multi-Subscriber Publish / Subscribe Multi Subscriber Keine Lastverteilung Kafka vereint beide Vorteile => Consumer Groups

Kafka als Storage System 16 • Jedes Messaging System, das ohne Kopplung Nachrichten erzeugen und lesen kann • Alle Daten werden in Kafka auf die Festplatte geschrieben und für die Ausfallsicherheit repliziert • Kafka bietet für Producer ein Acknowledgement an => Persistierung erfolgreich • Kafka verhält sich gleich egal, ob auf dem Server 50KB oder 50TB persistenter Daten liegen • Kafka kann als verteiltes, hoch performantes Dateisystem mit niedriger Latenz und Replizierung angesehen werden

Kafka für Stream Processing 17 • Es reicht nicht aus Datenströme lesen, schreiben und speichern zu können • Der Zweck ist die Echtzeit-Verarbeitung von Streams • Ein Stream Processor in Kafka ist alles was: 1. Kontinuierliches Lesen von Daten aus einem Input-Topic 2. Manipulation der gelesenen Daten in beliebiger Form 3. Schreiben der modifizierten Daten in einen Output-Topic

Alle Anwendungsmöglichkeiten vereint! 18

Wie wird Kafka bei Hermes verwendet? 05

No content

Architektur von Last Mile Analytics 21

Kernkonzepte von Kafka 06

Kafka hat 4 Kern-APIs 23 • Producer API • Consumer API • Streams API • Connector API

Apache ZooKeeper 24 • Koordinator für verteilte Systeme • Managt das Kafka Cluster • Kafka läuft nicht ohne Aufgaben • Leadership election • Broker & Topic • Service discovery • Topologie • Neuer Broker gejoined • Broker nicht länger erreichbar • Neues Topic oder Topic gelöscht ZooKeeper Cluster

Topics & Partitions 25 • Topics sind eine Kernabstraktion in Kafka • Topic = Stream von Records • Ein Topic hat einen eindeutigen Namen im Cluster • Topics sind immer Multi-Subscriber fähig • Jedes Topic in Kafka besteht aus mindestens einer Partition • Jede Partition ist geordnet und eine unveränderbare Sequenz von Records • Jedem Record wird eine sequentielle ID innerhalb der Partition zugewiesen => Offset

Persistence & Retention 26 • Kafka persistiert alle Records für einen definierten Zeitraum => Cleanup Policies • Dabei spielt es keine Rolle, ob ein Record consumed wurde oder nicht • Kafka schreibt alle Daten auf die Festplatte • Cleanup Policies • Retention-Time • Retention-Size • Log-Compaction

Log-Compaction Guarantees 27 • Consumer, die mit dem Head mithalten, können alle Records sehen • Die Zeitspanne für die Komprimierung kann festgelegt werden • Ordnung bleibt bestehen • Nachrichten werden nur gelöscht • Offset eines Records bleibt immer gleich

Producer 28 • Veröffentlichen Daten in einem Topic ihrer Wahl • Senden die Daten direkt zu dem Partition Leader • Jeder Broker kann mitteilen, wer der Leader ist • Producer sind dafür verantwortlich, die Partition für ihre Records auszuwählen • Über einen Key • Random • Round-Robin (Standard)

Consumer 29 • Sind Teil einer Consumer Group • Geben den Topic an, welchen sie konsumieren möchten • Partitionen eines Topics werden auf die Consumer in einer Consumer Group aufgeteilt • Eine Partition wird genau einem Consumer zugeordnet

Consumer 30 Was passiert, wenn wir mehr Consumer als Partitionen haben?

Consumer 31 Was passiert, wenn wir mehr Consumer als Partitionen haben? Was passiert, wenn wir mehrere Consumer Groups haben?

Consumer 32 Was passiert, wenn wir mehrere Consumer Groups haben?

Skalierbarkeit durch Partitionierung & Ausfallsicherheit durch Replizierung 33 Producer Kafka Cluster Broker 1 Broker 2 Broker 3 Topic 1 Partition 0 Partition 1 Partition 2 Topic 1 Partition 0 Partition 1 Partition 2 Topic 1 Partition 0 Partition 1 Partition 2

Unterschiede zwischen Kafka und Queueing- Lösungen 07

„Es gibt Möglichkeiten für mich, gewiss, aber unter welchem Stein liegen sie?“

Unterschiede zwischen Kafka und Queueing-Lösungen 36 Vergleichsthemen Apache Kafka Message Queue Modell Consumer Groups Publish / Subscribe oder Queueing Persistierung Message Retention Time to Live bis Konsumierung Reihenfolge der Nachrichten Fest auf Partitionsebene Fest für genau einem Consumer Verteilungsprinzip Pull Push Skalierbarkeit Design Prinzip Add On Anwendungsmöglichkeit Vielseitig Begrenzt Logik / Intelligenz Dumb Pipes & Smart Endpoints Smart Broker

Live Demo 08

Live Demo Cloud 38 OTC Docker (AppAgile) Web App Java Spring Producer Kafka Cluster Java Spring Consumer

http://jug-producer-web-app-jug-kafka.aotp010.mcs-paas.io/ 39

Live Demo Lokal 40 Docker (Local) Kafka Cluster Kafka Console Producer Kafka Console Consumer

Kontakt Flah-Uddin Ahmad Solution Architect Hermes Germany GmbH Essener Bogen 1 22419 Hamburg [email protected] www.hermesworld.com

Inhalt Platzhalter Präsentationstitel