Wind Him Up – Mit Saga verteilte Transaktionen in einer Kafka-Architektur verwalten

In modernen Microservice-Architekturen mit eigener Datenhaltung besteht immer wieder das Problem der Datenkonsistenz bei Fehlerfällen innerhalb verteilter Transaktionen. Anstatt Distributed Transactions zu verwenden wird mittlerweile hauptsächlich auf die Verwendung des Saga-Patterns gesetzt. In diesem Vortrag möchte ich gerne auf die Problemstellungen und Lösungen dazu im theoretischen wie auch im praktischen Beispiel darauf eingehen.

Transcript

1. WIND HIM UP Mit SAGA service-übergreifende Transaktionen verwalten
2. Ü B E R M I C H Thomas Müller sidion GmbH Senior Software-Developer thomas.mueller@sidion.de @zaroselectro
3. A G E N D A 1. Szenario / Problemstellung 2. Distributet Transactions 3. Saga-Pattern 4. Choreography-based Saga 5. Orchestration-based Saga 6. Edge Cases 7. Coding 3
4. SZENARIO / PROBLEMSTELLUNG 4
5. S Z E N A R I O
6. S E R V I C E S BookingService FlightBooking Service HotelBooking Service PaymentService Confirmation Service - REST-API für Frontend - Koordinator der Buchung - handelt Flugbuchung - handelt Hotelbuchung - Validiert Kreditkarte - handelt Zahlung - Bestätigungs-Email
7. T R A N S A K T I O N { }
8. M O N O L I T H
9. M I C R O S E R V I C E - A N S A T Z
10. M I C R O S E R V I C E - A N S A T Z
11. M I C R O S E R V I C E - A N S A T Z
12. T R A N S A K T I O N { }
13. A – C – I - D A tomicity C onsistency I solation D urability
14. A – C – I - D A tomicity C I D Ausführung aller oder keiner Informationsteile einer Transaktion
15. A – C – I - D A C onsistency I D Transaktionen erzeugen einen gültigen Zustand oder fallen in den alten Zustand zurück
16. A – C – I - D A C I solation D Transaktionen verschiedener Anwender oder Prozesse bleiben voneinander isoliert
17. A – C – I - D A C I D urability Nach einer erfolgreichen Transaktion bleiben die Daten dauerhaft gespeichert
18. DISTRIBUTED TRANSACTIONS
19. 2 - P H A S E - C O M M I T ( 2 P C ) Coordinator Participants PREPARE VOTE COMMIT ACK Vote-Collection Phase Decission Phase
20. SAGA-PATTERN
21. S A G A P A T T E R N 21 Hier steht die Fußzeile SAGA is a sequence of local transactions that are coordinate using messaging Each local transaction updates data in a single service On failure due to the violation of a business rule, it must execute compensation transactions to explicitly undo changes
22. S A G A P A T T E R N 1 2 3 4 5 6 1. Kreditkarte prüfen und Betrag reservieren 2. Flug buchen 3. Hotel buchen 4. Kreditkarte belasten 5. Buchungsbestätigung senden 6. Buchung anschließen
23. COMMAND- VS. EVENT-BASED
24. C O M M A N D - V S . E V E N T - B A S E D §Fakt der bereits passiert ist §Sender kann nicht kontrollieren was damit passiert §Sender weiß nicht wer das Event aufnimmt EVENT orders ORDER_PLACED A B C Service B bucht den Flug Service C bucht das Hotel
25. C O M M A N D - V S . E V E N T - B A S E D §Sender will das etwas passiert §Absicht, Aufforderung §kann nicht ignoriert werden §Empfänger weiß nicht wer das Kommando beauftragt hat COMMAND flights BOOK_FLIGHT A B Service B bucht den Flug
26. CHOREOGRAPHY BASED SAGA
27. C H O R E O G R A P H Y - B A S E D S A G A einzelne Transaktionen die in einer bestimmten Reihenfolge ausgeführt werden Event-Based-Communication jeder Teilnehmer der Saga weiß nach welchem vorherigen Schritt er dran ist Einsatz nur bei sehr wenige Teilnehmer einer Saga
28. C H O R E O G R A P H Y - B A S E D S A G A Message Broker payments PAYMENT_SUCCESS 5 PAYMENT_SUCCESS 5 hotels HOTEL_BOOKED 4 HOTEL_BOOKED 4 flights FLIGHT_BOOKED 3 3 FLIGHT_BOOKED payments CARD_VERIFIED 2 CARD_VERIFIED 2 orders ORDER_PLACED 1 ORDER_PLACED 1 confirmations CONFIRMATION_OK 6 CONFIRMATION_OK 6
29. C H O R E O G R A P H Y - B A S E D S A G A
30. S A G A P A T T E R N 30 Hier steht die Fußzeile SAGA is a sequence of local transactions that are coordinate using messaging Each local transaction updates data in a single service On failure due to the violation of a business rule, it must execute compensation transactions to explicitly undo changes
31. C H O R E O G R A P H Y - B A S E D S A G A
32. 5 . P A Y M E N T _ F A I L E D payments Message Broker PAYMENT_FAILED 5 PAYMENT_FAILED 5 PAYMENT_SUCCESS PAYMENT_FAILED 5 PAYMENT_FAILED 5
33. C H O R E O G R A P H Y - B A S E D S A G A
34. V O R T E I L E / N A C H T E I L E Einfachheit der Schritte Schwieriger zu verstehen Loose Koppelung Zyklische Abhängigkeiten zwischen den Services Risiko der zu engen Koppelung
35. ORCHESTRATION BASED SAGA
36. O R C H E S T R A T I O N - B A S E D S A G A eigenständige Orchestrator-Klasse mit der einzigen Verantwortung die Saga-Teilnehmer ihre Aufgaben zuzuweisen Command / Async-Reply-Style-Interaction
37. 1 . V E R I F Y _ C A R D payments Message Broker SAGA Orchestrator saga-reply VERIFY_CARD 1 VERIFY_CARD 1 CARD_VERIFIED 2 CARD_VERIFIED 2
38. 2 . B O O K _ F L I G H T flights Message Broker SAGA Orchestrator saga-reply BOOK_FLIGHT 3 BOOK_FLIGHT 3 FLIGHT_OK 4 FLIGHT_OK 4
39. 3 . B O O K _ H O T E L hotels Message Broker SAGA Orchestrator saga-reply BOOK_HOTEL 5 BOOK_HOTEL 5 HOTEL_OK 6 HOTEL_OK 6
40. 4 . D E B I T _ C A R D payments Message Broker SAGA Orchestrator saga-reply DEBIT_CARD 7 DEBIT_CARD 7 DEBIT_OK 8 DEBIT_OK 8
41. 5 . S E N D _ C O N F I R M A T I O N outbox Message Broker SAGA Orchestrator saga-reply SEND_CONFIRMATION 9 SEND_CONFIRMATION 9 CONFIRMATION_OK 10 CONFIRMATION_OK 10
42. O R C H E S T R A T I O N - B A S E D S A G A hotels flights payments Message Broker SAGA Orchestrator saga-reply outbox
43. O R C H E S T R A T I O N - B A S E D S A G A
44. O R C H E S T R A T I O N - B A S E D S A G A
45. R E J E C T S E R V I C E S flights Message Broker SAGA Orchestrator hotels REJECT_FLIGHT REJECT_FLIGHT REJECT_HOTEL REJECT_HOTEL
46. O R C H E S T R A T I O N - B A S E D S A G A
47. V O R T E I L E / N A C H T E I L E Einfache Abhängigkeiten Risiko der Zentralisierung Loose Koppelung Trennung der Verantwortlichkeit
48. S A G A - S T R U K T U R Step Service Transaction Compensation Transaction 1 PaymentService verifyCard() --- 2 FlightBookingService bookFlight() rejectFlight() 3 HotelBookingService bookHotel() rejectHotel() 4 PaymentService debitCard() --- 5 ConfirmationService sendConfirmation() --- B A C B A C Compensatable transactions Pivot transactions Retriable transactions
49. EDGE CASES
50. A C I D I N S A G A A tomicity C onsistency I solation D urability è Lack Of Isolation
51. A N O M A L I E N I N S A G A Lost Updates Dirty Reads Fuzzy / Nonerepeatable Reads
52. C O U N T E R M E A S U R E S Semantic Lock Commutative Updates Reread Value Pessimistic View
53. S E M A N T I C L O C K Step Service SUCCES FAIL 1 PaymentService 2 FlightBookingService 3 HotelBookingService 4 PaymentService 5 ConfirmationService --- B A C B A C Compensatable transactions Pivot transactions Retriable transactions
54. S E M A N T I C L O C K BOOKING_ID STATE PRICE 1 PENDING 250 Saga 1 Saga 2
55. C O D I N G
56. B U C H V O R S C H L A G 56 Microservices Patterns von Chris Richardson
57. C O D E 57 Die ausführlichen Codebeispiele findet Ihr unter: https://gitlab.com/zaroselectro-public/saga-pattern
58. SIDION Zuhören. Analysieren. Beraten.