Erfahrungen mit Queues — von ActiveMQ über Hazelcast zu Disque

Queues werden häufig in verteilten Systemen verwendet, um Komponenten zu entkoppeln und die parallele Verarbeitung von Aufgaben zu ermöglichen. Im Gegensatz zu Datenbanken genießen Queues jedoch relativ wenig Aufmerksamkeit — dieser Vortrag soll dieses Problem beheben.

Wir sehen uns an, welche Aufgaben Queues in verteilten Systemen übernehmen können und welche allgemeinen Eigenschaften sie aufweisen. Danach diskutieren wir den Anwendungsfall von Electronic Data Interchange (EDI) — Daten werden über verschiedene Konnektoren empfangen, parallel verarbeitet und abschließend wieder weiterversendet.

Wir haben begonnen mit ActiveMQ zu arbeiten, was funktioniert, aber einige Nachteile mit sich bringt. Danach haben wir Hazelcast entdeckt, das alle Probleme zu lösen schien. Nur um danach festzustellen, dass wir die Probleme gegen andere eintauschen. Glücklicherweise wurde kürzlich Disque veröffentlicht, das sehr vielversprechend aussieht. Obwohl der Code noch nicht stabil ist, haben wir bereits teilweise darauf umgestellt mit vielversprechenden Resultaten.

Transcript

1. para//el 2016 Erfahrungen mit Queues von ActiveMQ über Hazelcast zu Disque Philipp Krenn̴̴̴̴̴̴̴̴̴̴̴@xeraa
2. Wien
3. Wien
4. Wien
5. ViennaDB Papers We Love Vienna
6. Elastic Infrastructure | Developer Advocate
7. Electronic Data Interchange EDI
9. Einzelhandel Automotive
10. Übertragungsprotokolle AS2, X.400, OFTP, FTP, SMTP, IMAP, Web Services,... Dokumentenformate EDIFACT, X12, ODETTE, VDA,...
13. Architektur +--------+ | | +----+ | +--------+ | | | | | | | | | | +--------+ v + | | | | | | +------------> Verarbeitung +-|-|----+ | | + | | | | | +-|------+ | | | | <--------------+ +--------+ Schnittstellen
15. Datenfluss Camel Komponente / Protokoll-Implementierung + ^ | | | | v + Camel Routing + ^ | | | | v + Queue + ^ | | | | v + Verarbeitung
16. Queues Entkoppeln Erstellung und Verarbeitung
17. !
18. !
19. Networked message queues like ActiveMQ, RabbitMQ, ZeroMQ, and a host of other Java inspired software tumors are crutches of systems design. — Ted Dziuba, http://widgetsandshit.com/teddziuba/2011/02/the-case- against-queues.html
20. "The Blocking Consumer"
21. "Collecting Data for Offline Processing"
22. "Everybody Loves System Complexity"
23. There are only two hard problems in distributed systems: 2. Exactly-once delivery 1. Guaranteed order of messages 2. Exactly-once delivery — Mathias Verraes, https://twitter.com/mathiasverraes/status/ 632260618599403520
24. Order Als wäre nur eine Instanz involviert http://book.mixu.net/distsys/time.html
25. http://blog.acolyer.org/2016/02/26/distributed-consistency-and- session-anomalies/
26. Exactly-Once Das gewünschte Verhalten
27. Bestätigung / ACK Vor der Verarbeitung: At-Most-Once Nach der Verarbeitung: At-Least-Once
28. At-Most-Once Strikte Konsistenz, die Kommunikations-Overhead erzeugt Netzwerk-Split — Mehrheit
29. At-Least-Once Leichter zu verteilen Idempotente Konsumation Timeouts anpassen
30. Queues and databases http://antirez.com/news/78 antirez 632 days ago
31. Schummeln Order
32. Schummeln 1. Empfangen 2a. In RDS speichern (MySQL) 2b. Camel Routing + Queue 3. Acknowledge
33. Ziele Verfügbarkeit Liveness At-Most-Once
34. Maschinen Warten Versuchen es später erneut
35. Amazon Simple Queue Service (SQS) Schnell, zuverlässig, skalierbar und von AWS verwaltet
37. Aber... At-Least-Once 64KB (mittlerweile 256KB) Payload
39. Master Slave Gemeinsames Dateisystem JDBC Replizierte LevelDB + ZooKeeper
40. <bean id="mysql-ds" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close"> <property name="driverClassName" value="com.mysql.jdbc.Driver"/> <property name="jdbcUrl" value="jdbc:mysql://{{rds.hostname}}:3306/{{rds.activemq.database}}"/> <property name="username" value="{{rds.activemq.user}}"/> <property name="password" value="{{rds.activemq.pass}}"/> <property name="validationTimeout" value="5000"/> <property name="minimumIdle" value="2"/> <property name="maximumPoolSize" value="20"/> <property name="idleTimeout" value="600000"/> <property name="maxLifetime" value="1800000"/> <property name="initializationFailFast" value="false"/> <property name="allowPoolSuspension" value="false"/> <property name="dataSourceProperties"> <props> <prop key="relaxAutoCommit">true</prop> <prop key="socketTimeout">10000</prop> <prop key="connectTimeout">10000</prop> <prop key="useJDBCCompliantTimezoneShift">true</prop> </props> </property> </bean>
41. RDS down !
44. In-memory data grid Sets, Listen, Maps, Queues, Topics, Locks, Atomic Long,... Query, Aggregate, MapReduce Hibernate 2nd Level Cache, Session Replication
45. Eierlegende Wollmilchsau
46. Gut Löst alle Probleme für Java Apps Multi-Master HA Schnell
47. Weniger gut Wenige Anwender der Queue- Komponente Bugs bei IP / DNS Änderungen Stop-the-World Upgrades
48. Currently our action is to create bug for these scenarios and try to ensure exactly-once. — Enes Akar, https://groups.google.com/forum/#!msg/hazelcast/ u_KLHVnvT_U/Qx5Km8COk_oJ
49. Kafka Echtzeit Fokus At-Least-Once https://cwiki.apache.org/confluence/display/KAFKA/Idempotent +Producer
50. Kestrel Tot !
51. RabbitMQ Zu viel Middleware
52. In the event of network failure (or a node crashing), messages can be duplicated, and consumers must be prepared to handle them. — https://www.rabbitmq.com/reliability.html
54. [...] no one try to use N Redis independent nodes and the offered primitives as a building block for a distributed system [...] — Salvatore Sanfilippo, http://antirez.com/news/78
55. Disque is a distributed message broker — https://github.com/antirez/disque
56. Gut Dokumentation Fokus auf Queue Multi-Master HA Konfigurierbare ACK Ähnlich Redis
57. Client: Spinach "A scalable Java Disque client" basierend auf Lettuce: "A scalable Java Redis client"
58. Mark Paluch https://github.com/mp911de
59. ! Kinderkrankheiten
60. Aktuelle Konfiguration Pro Nachricht Replikations-Faktor: 1 Retry-Time: 0 Keine Persistenz
61. Aktuelle Verwendung Verrechnung seit 07/2015 Bald voller Ersatz für ActiveMQ?
62. WARNING: This is beta code and may not be suitable for production usage. — https://github.com/antirez/disque
63. Oder doch Redis?
64. Zusammenfassung
66. Optionen Disque (Redis) ActiveMQ Kafka RabbitMQ Hazelcast SQS
67. PS: Elastic
68. Danke! Fragen?! @xeraa
69. Bilder · Schnitzel https://flic.kr/p/9m27wm · Architektur https://flic.kr/p/6dwCAe · Conchita https://flic.kr/p/nBqSHT · Papier https://flic.kr/p/83thLf · Lu!brücke https://commons.wikimedia.org/wiki/ File:C-54landingattemplehof.jpg · Bier https://flic.kr/p/aBSmtY · Eierlegende Wollmilchsau https://flic.kr/p/GzQTT · Li! https://flic.kr/p/iBNr9x