ETL 2.0 - Produktdatenverarbeitung von Batch zu Event getrieben

Seit vielen Jahren verarbeitet Breuninger seine Produktdaten mit klassischen Batch Jobs. Durch die immer höher werdenden fachlichen Anforderungen ist diese Art der Verarbeitung nicht mehr möglich. Wir haben daher unsere Verarbeitungs-Pipeline auf einen event-getriebenen Ansatz umgebaut. Diese neue Pipeline, ihre Vor- und Nachteile wollen wir euch in diesem Talk vorstellen. Verwendete Technologien sind Java11, Kafka, MongoDB und Atom-Feeds über HTTP & JSON.

Transcript

1. Till Lorentzen, Benedikt Stemmildt ETL 2.0 Produktdatenverarbeitung von Batch zu Event getrieben
2. TILL Software Engineer @soneyworld BENE Lead Software Architect @slashbene
3. WHY ETL 2.0 GAIN
4. DER MARKT SPRICHT ÜBER VERÄNDERUNG WIR SPEICHERN ZUSTÄNDE
5. THERE IS A BATCH FOR THAT EINE BUSINESS REGEL VERÄNDERT SICH
6. MEHRERE BATCH JOBS MÜSSEN KOORDINIERT WERDEN
8. EFFIZIENTE ARBEIT IST SCHNELLE VERÄNDERUNG ARBEIT IST VERÄNDERUNG
9. FOKUS AUF DIE ARBEIT, NICHT DEN ZUSTAND FAZIT: UMDENKEN ERFORDERLICH
10. WHY ETL 2.0 GAIN
11. EVENT SOURCING
12. EVENT SOURCING
13. CQS/CQRS
14. CQS/CQRS Database UI Query Model Command Model
15. ETL 2.0
17. EINE FACHLICHKEIT EIN SCHRITT
18. WHY ETL 2.0 GAIN
19. PROZESS- NACHVOLLZIEHBARKEIT Die Folgen
20. PROZESS- GESCHWINDIGKEIT Die Folgen
21. DATENGETRIEBENE ENTSCHEIDUNGEN Die Folgen
22. CHANGE IS DEFAULT
23. MEETUS! WIR ORGANISIEREN MEETUPS UND KONFERENZEN IN STUTTGART Tomorrow Ländle http://www.tomorrow-ländle.de DOS - DevOps Stuttgart https://www.meetup.com/de-DE/devops-stuttgart DTS - Digital Topics Stuttgart https://www.meetup.com/de-DE/digital-topics-stuttgart
24. TILL LORENTZEN BENEDIKT STEMMILDT JOIN US! TEAM.BREUNINGER.COM TILL.LORENTZEN@BREUNINGER.DE BENE@BREUNINGER.DE