Pro Yearly is on sale from $80 to $50! »

Robuste Anwendungen mit Hystrix

Robuste Anwendungen mit Hystrix

Anwendungen benötigen meist mehr als nur Daten aus ihrer eigenen Datenbank. Mit zunehmender Verknüpfung mit externen Diensten steigt jedoch die Gefahr von Ausfällen der eigenen Anwendung, wenn diese Dienste gar nicht, falsch oder zu langsam antworten. Schnell wird die eigene Anwendung unbedienbar, sobald ein Dienst ausfällt.

Hystrix, das von Netflix als Open Source Projekt bereitgestellt wurde, ermöglicht einfach und konsistent Sollbruchstellen und Backupstrategien zu implementieren. Alle wichtigen Informationen zum Zustand der Schnittstellen zu den Diensten können komfortabel überwacht, zur Laufzeit rekonfiguriert und in Echtzeit als Dashboard dargestellt werden.

Hystrix kann auch in bestehenden Software-Projekten mit wenigen Schritten Schnittstelle für Schnittstelle integriert werden. Bestehende Bibliotheken können gekapselt werden, um nachträglich eine Absicherung hinzuzufügen.

5f528a3f6814d28b583f31842e3e8d9e?s=128

Alexander Schwartz

March 07, 2018
Tweet

Transcript

  1. .consulting .solutions .partnership Robuste Anwendungen für die Cloud mit Hystrix

    Alexander Schwartz, Principal IT Consultant
  2. Robuste Anwendungen für die Cloud mit Hystrix 6 © msg

    | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz Anwendungen mit externen Diensten 1 Einbau von Hystrix Schritt für Schritt 2 Anwendungsüberwachung mit Hystrix 3 Hystrix - für jede Anwendung geeignet? 4 Zusammenfassung 5
  3. Idealisierte Anwendungen haben keine Abhängigkeiten © msg | März 2018

    | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 7 Anwendungen mit externen Diensten Registrierung
  4. Echte Anwendungen haben Abhängigkeiten © msg | März 2018 |

    Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 8 Anwendungen mit externen Diensten Registrierung Kontodaten- validierung Kunden- datenbank
  5. Anwendungen mit externen Diensten 1. Peter Deutsch: Fallacies of Distributed

    Computing (1994) https://en.wikipedia.org/wiki/Fallacies_of_distributed_computing Ein Dominoeffekt tritt auf, wenn eine Komponente ausfällt © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 9 • Ein verteiltes System bietet viele Fehlermöglichkeiten • Ein Nutzer kann sich nur registrieren, wenn alle drei Komponenten funktionieren. • (Performance-)Probleme können sich fortpflanzen und verstärken.
  6. Anwendungen mit externen Diensten Domino: Eine langsame Kundendatenbank destabilisiert das

    System © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 10 • Eine langsame Kundendatenbank führt zur Überlastung der Kontovalidierung. • Die aufgestauten Nutzer führen zu einer Überlastung der Registrierung. • Das System kann nicht ohne Hilfe in einen stabilen Zustand gelangen. Registrierung Kontodaten- validierung Kunden- datenbank
  7. Anwendungen mit externen Diensten Probleme in einer Komponente sollen sich

    nicht fortpflanzen © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 11 Möglichkeit 1: Asynchrone Verarbeitung • Warteschlangen: Die Kunden werden nach der Registrierung asynchron in der Kundendatenbank angelegt. • Ergebnis: Maximale Entkopplung von Systemen Aber: Funktioniert nicht bei synchroner Rückgabe von Werten wie bei der Kontovalidierung. Möglichkeit 2: Robuste synchrone Verarbeitung • Beschränkung der Antwortzeit (Timeout) • Sicherungen beim Abweichen vom Normbereich (Circuit Breaker) • Abschottung der Komponenten untereinander (Bulkhead) Technische Implementierung: • In diesem Vortrag im Fokus: Netflix Hystrix (in process) • Alternativen: Service-Mesh Implementierungen wie Linkerd, envoy, istio (Sidecar Ansatz)
  8. Robuste Anwendungen für die Cloud mit Hystrix 12 © msg

    | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz Anwendungen mit externen Diensten 1 Einbau von Hystrix Schritt für Schritt 2 Anwendungsüberwachung mit Hystrix 3 Hystrix - für jede Anwendung geeignet? 4 Zusammenfassung 5
  9. Einbau von Hystrix Schritt für Schritt Netflix Hystrix: Kapselung von

    Schnittstellen © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 13 • Java-Bibliothek: kann beliebige Schnittstellen kapseln • Implementiert Patterns für robuste Anbindung von Schnittstellen • Open Source seit 2011 • Hystrix @ Github: https://github.com/Netflix/Hystrix • Hystrix Tutorial: https://github.com/ahus1/hystrix-examples
  10. Einbau von Hystrix Schritt für Schritt 1. https://developer.ibm.com/dwblog/2017/istio/ Istio: Kapselung

    von Schnittstellen © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 14 • Sidecar-Ansatz: Kapselt Schnittstellen, unabhängig von der Programmiersprache der Anwendung • Implementiert Patterns für robuste Anbindung von Schnittstellen • Zusätzlich: Service-Discovery, Routing und Load Balancing, Verschlüsselung, Policies und Authentifikation • Open Source seit Mai 2017 • Angekündigt von IBM, Google und Lyft. Unterstützt unter anderem von RedHat und Pivotal. • Istio @ Github: https://github.com/istio/istio
  11. Anwendungen mit externen Diensten Hystrix: wird in jede Anwendung als

    Bibliothek eingebaut © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 15 • Läuft im gleichen Prozess wie die Anwendung. • Gleicher Konfigurationsmechanismus wie die Anwendung selbst. Kontodaten- validierung Kunden- datenbank Registrierung
  12. Anwendungen mit externen Diensten Istio: als Sidecar zu eigentlichen Anwendung

    © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 16 • Läuft als eigenständiger Prozess neben der Anwendung auf dem gleichen Host. • Konfigurationsmechanismus unabhängig von der Anwendung selbst. • Timeouts und Verbindungsfehler werden in HTTP-Fehlercodes übersetzt. Kontodaten- validierung Kunden- datenbank Registrierung
  13. Anwendungen mit externen Diensten Istio: als Sidecar zu eigentlichen Anwendung

    © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 17 • Läuft als eigenständiger Prozess neben der Anwendung auf dem gleichen Host. • Konfigurationsmechanismus unabhängig von der Anwendung selbst. • Timeouts und Verbindungsfehler werden in HTTP-Fehlercodes übersetzt. Kontodaten- validierung Kunden- datenbank Registrierung
  14. Einbau von Hystrix Schritt für Schritt Ausgangsbasis: Aufruf des externen

    Services ohne Absicherung © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 18 if (!IBANValidator.isValid(account)) { throw new ValidationException("invalid"); }
  15. Einbau von Hystrix Schritt für Schritt Schritt 1: Kapselung des

    Aufrufs als HystrixCommand © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 19 private static class IBANValidatorCommand extends HystrixCommand<Boolean> { private Account account; protected IBANValidatorCommand(Account account) { super(Setter.withGroupKey(HystrixCommandGroupKey.Factory .asKey("iban"))); this.account = account; } @Override protected Boolean run() throws Exception { return IBANValidator.isValid(account); } }
  16. Einbau von Hystrix Schritt für Schritt Schritt 2: Anpassen des

    ursprünglichen Codes © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 20 if (!new IBANValidatorCommand(account).execute()) { throw new ValidationException("invalid"); } IBANValidatorCommand wirft HystrixRuntimeExceptions. Die Exceptions des gekapselten Aufrufs werden in HystrixRuntimeExceptions eingepackt.
  17. Einbau von Hystrix Schritt für Schritt Schritt 2b: Entpacken der

    ursprünglichen Exceptions (bei Bedarf) © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 21 try { if (!new IBANValidatorCommand(account).execute()) { throw new ValidationException("invalid"); } } catch (HystrixRuntimeException e) { if (e.getCause() instanceof MyException) { throw (MyException) e.getCause(); } throw e; }
  18. Einbau von Hystrix Schritt für Schritt Standardverhalten von Hystrix implementiert

    alle drei Patterns © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 22 • Zeitlimit von 1.000 ms für die Antwort (Timeout) • Maximal 10 parallele Anfragen (Bulkhead) • Abschaltung, wenn mehr als 50% der Aufrufe fehlschlagen (Circuit Breaker) • Nach einer Abschaltung: Wiederanlaufversuch alle 5 Sekunden (Circuit Breaker) Die Standardwerte und die individuellen Werte auf Kommandoebene sind konfigurierbar.
  19. Einbau von Hystrix Schritt für Schritt Schritt 3: Hinzufügen von

    Fallbacks © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 23 private static class IBANValidatorCommand ... { /* ... */ @Override protected Boolean getFallback() { return IBANFallback.isCheckDigitValid(account); } }
  20. Einbau von Hystrix Schritt für Schritt Schritt 4: Konfiguration zur

    Laufzeit © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 24 • Hystrix wird standardmäßig über Archaius konfiguriert. • Archaius kann die Werte aus einer Datenbank, einer Datei, etc. auslesen. • Änderungen werden ohne Neustart aktiv. (Mehr Informationen: https://github.com/Netflix/Hystrix/wiki/Configuration) # Java Start-Parameter -Darchaius.configurationSource.additionalUrls=file:///.../archaius.properties -Darchaius.fixedDelayPollingScheduler.delayMills=1000 -Darchaius.fixedDelayPollingScheduler.initialDelayMills=1000 # archaius.properties (Standard-Werte) hystrix.command.default.execution.isolation.thread.timeoutInMilliseconds=1000 hystrix.command.default.circuitBreaker.errorThresholdPercentage=50 hystrix.command.default.circuitBreaker.requestVolumeThreshold=20 hystrix.command.default.circuitBreaker.sleepWindowInMilliseconds=5000 # archaius.properties (spezifische Werte für ein HystrixCommand) hystrix.command.IBANValidatorCommand.execution.isolation.thread.timeoutInMilliseconds=1000 hystrix.command.IBANValidatorCommand.circuitBreaker.errorThresholdPercentage=50 hystrix.command.IBANValidatorCommand.circuitBreaker.requestVolumeThreshold=20 hystrix.command.IBANValidatorCommand.circuitBreaker.sleepWindowInMilliseconds=5000
  21. Einbau von Hystrix Schritt für Schritt Option: Verwendung von Futures

    © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 25 Future<Boolean> futureResult = new IBANValidatorCommand(account).queue(); /* ... do something in between ... */ // see if the call has completed in the meantime if(futureResult.isDone()) { /* ... */ } // retrieve result - wait if necessary Boolean result = futureResult.get();
  22. Einbau von Hystrix Schritt für Schritt Option: Verwendung von Observables

    © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 26 Observable<Boolean> result = new IBANValidatorCommand(account).observe(); // Java 7 result.subscribe(new Action1<Boolean>() { @Override public void call(Boolean b) { // do something once the response is ready } }); // Java 8 result.subscribe(b -> /* ... */ );
  23. Einbau von Hystrix Schritt für Schritt 1. Quelle: https://github.com/Netflix/Hystrix/wiki/How-it-Works Interner

    schematischer Ablauf eines HystrixCommands © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 27
  24. Robuste Anwendungen für die Cloud mit Hystrix 28 © msg

    | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz Anwendungen mit externen Diensten 1 Einbau von Hystrix Schritt für Schritt 2 Anwendungsüberwachung mit Hystrix 3 Hystrix - für jede Anwendung geeignet? 4 Zusammenfassung 5
  25. Anwendungsüberwachung mit Hystrix Langzeit- und Echtzeit-Überwachung © msg | März

    2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 29 • Überwachung liefert mir wichtige Informationen:  Funktioniert die Anbindung wie gewünscht?  Hat sich der Normbereich verändert? • Alle Parameter und Kennzahlen sind verfügbar per API oder Konnektoren für Yammer Metrics, Netflix Servo, JMX, … • Proof of Concept mit Zabbix, Riemann und Prometheus im Tutorial • Hystrix Dashboard ist Teil der Hystrix Distribution: Browser-Seite mit Commands und Thread Pools pro Anwendung im Cluster
  26. Anwendungsüberwachung mit Hystrix Echtzeitinformationen werden im Hystrix Dashboard angezeigt ©

    msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 30 Anfragen Fehlerrate Zustand Verlauf der letzten Minuten Anzahl der Hosts im Cluster Antwortverhalten IBANValidatorCom… Ergebnisse absolut
  27. Anwendungsüberwachung mit Hystrix Echtzeitinformationen werden im Hystrix Dashboard angezeigt ©

    msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 31
  28. Anwendungsüberwachung mit Hystrix Operationales Monitoring mit Prometheus © msg |

    März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 33
  29. Robuste Anwendungen für die Cloud mit Hystrix 35 © msg

    | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz Anwendungen mit externen Diensten 1 Einbau von Hystrix Schritt für Schritt 2 Anwendungsüberwachung mit Hystrix 3 Hystrix - für jede Anwendung geeignet? 4 Zusammenfassung 5
  30. Hystrix – für jede Anwendung geeignet? Rezept für die Einführung

    von Hystrix © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 36 1. Bewusstsein schaffen: Komponenten können ausfallen, Fehler dürfen sich nicht fortpflanzen. 2. Vermessung des Normalzustands. 3. Identifikation der geeigneten Schnittstellen (synchron und idempotent). 4. Akzeptieren, dass zu langsame Antworten als Fehler gewertet werden. 5. Aufbau Monitoring und Einbau und Aktivierung von Hystrix in die Anwendung.
  31. Hystrix – für jede Anwendung geeignet? Alternative: Rezept II für

    die Einführung von Hystrix © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 37 1. Identifikation der geeigneten Schnittstellen (synchron und idempotent). 2. Einbau von Hystrix mit neutralisierter/deaktivierter Funktion. 3. Aufbau Monitoring und Vermessung des Normalzustands. 4. Akzeptieren, dass zu langsame Antworten als Fehler gewertet werden. 5. Hystrix scharfschalten.
  32. Hystrix – für jede Anwendung geeignet? Mögliche Herausforderungen rund um

    Hystrix © msg | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 38 1. Hystrix ist Open-Source-Software Für Korrekturen und neue Funktionalität ist Mitarbeit am Code explizit gewünscht. 2. Timeouts basieren auf Threads Kein Problem in Apache Tomcat, ggf. in anderen Application Servern. JEE7 JSR 236 (Concurrency Utilities for Java EE) (noch) nicht unterstützt 3. Exceptions des Service werden als HystrixRuntimeExceptions verpackt Wenn der eigene Code die Exceptions des Service erwartet, so müssen die HystrixRuntimeExceptions entpackt werden. 4. Monitoring in Produktion ist notwendig Circuit-Breaker und Latenzen müssen überwacht werden. Mit modernen Timeseries-Monitoring-Systemen wie Prometheus können dynamische Cluster überwacht werden und Metriken auf Knoten- und Cluster- Ebene überwacht werden.
  33. Robuste Anwendungen für die Cloud mit Hystrix 39 © msg

    | März 2018 | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz Anwendungen mit externen Diensten 1 Einbau von Hystrix Schritt für Schritt 2 Anwendungsüberwachung mit Hystrix 3 Hystrix - für jede Anwendung geeignet? 4 Zusammenfassung 5
  34. Zusammenfassung Hystrix ermöglicht widerstandsfähige Anwendungen © msg | März 2018

    | Robuste Anwendungen für die Cloud mit Hystrix | Alexander Schwartz 40 • Mit Hystrix steht eine erprobte technische Lösung für bewährte Patterns zur Verfügung. • Ein Umbau bestehender Anwendungen ist auch nachträglich möglich. • Integration in das Monitoring ist notwendig. • Statt dezentraler Verwendung von Hystrix kann ein zentral bereitgestelltes Service Mesh verwendet werden. Literatur: • Release It! – Design and Deploy Production-Ready Software (Michael Nygard) • Fallacies of Distributed Computing (Peter Deutsch, 1994) https://en.wikipedia.org/wiki/Fallacies_of_distributed_computing Hystrix @ Github: https://github.com/Netflix/Hystrix Hystrix @ Heise Developer: http://heise.de/-2176465 Hystrix Examples: http://ahus1.github.io/hystrix-examples/ @ahus1de
  35. .consulting .solutions .partnership Alexander Schwartz Principal IT Consultant +49 171

    5625767 alexander.schwartz@msg.group @ahus1de msg systems ag (Headquarters) Robert-Buerkle-Str. 1, 85737 Ismaning Germany www.msg.group