Resilience mit Hystrix: Fehlertoleranz statt Hochverfügbarkeit

Die Hystrix-Bibliothek aus dem Netflix-Stack isoliert einen Service von den Aussetzern und Fehlern seiner Abhängigkeiten. Verbindungen werden im Fehlerfall zeitweilig gekappt: Statt Timeouts und Exceptions können wohl definierte Defaults zurückgegeben werden.Im Talk werden wir - nach einem kurzem Intro - die Erfahrungen und Lessons Learned aus zwei verschiedenen Hystrix-Projekten teilen. Unser Projekt-Setup, die Fallen, in die wir gelaufen sind und natürlich unsere Erfolge. Außerdem erfährst Du, wieviel Spaß wir in unseren Projekten mit dem Hystrix-Dashboard und einem µService-Integration-Day hatten.

Transcript

1. Resilience mit Hystrix: Fehlertoleranz statt Hochverfügbarkeit Benjamin Wilms, Felix Braun
2. 2 Agenda
3. 3 Agenda Hystrix Einführung Resilience Patterns Praxis 1: Hystrix und Legacy Backends Demo Praxis 2: Hystrix Erfahrungen Advanced Features
4. 4 About us Benjamin Wilms Felix Braun Senior Agile IT-Consultant www.codecentric.de blog.codecentric.de Senior IT-Consultant
5. 5 Hystrix Introduction
7. 7 99,99 %
8. 8 Bei 30 abhängigen µServices: 99,7 %
9. 9 2 Stunden und 15 Minuten Downtime pro Monat
10. 10 Welche Features bietet Hystrix?
12. 12 Hystrix Flow Chart
13. 13 Hello World public class CommandHelloWorld extends HystrixCommand<String> { private final String name; public CommandHelloWorld(String name) { super(HystrixCommandGroupKey.Factory.asKey("ExampleGroup")); this.name = name; } @Override protected String run() { return "Hello " + name; } }
14. 14 Hello World public class CommandHelloWorld extends HystrixCommand<String> { [...] @Override protected String run() { return getLocalizedHello(name); } @Override protected String getFallback(){ return "Hello " + name; } }
15. 15 8 Resilience Patterns
16. 16 Pattern • Timeout (Hystrix) • Bulkheads (Hystrix) • Circuit Breaker (Hystrix) • Steady State • Fail Fast • Handshaking • Test harness • Decoupling middleware
17. 17 Real World #1
18. 18 “Architektur”
19. 19 Gewonnene Erfahrungen
20. 20 Funktioniert
21. 21 Gewonnene Erfahrung Laufzeit- Konfiguration
22. 22 Gewonnene Erfahrung Exception Wrapping Flickr: Jessica Spengler
23. 23 Gewonnene Erfahrung Gut geschnitten? Flickr: Roger
24. 24 Gewonnene Erfahrung Viel Schreibarbeit….
25. 25 Java 8 new LambdaHystrixCmd<> ("PingCmd",() -> getPing(), () -> "pong");
26. 26 Java 8 public class LambdaHystrixCommand<T> extends HystrixCommand<T> { private Supplier<T> runSupplier; private Supplier<T> fallbackSupplier; public LambdaHystrixCommand(String cmdkey, Supplier<T> runSup, Supplier<T> fallbackSup) { [...] } @Override protected T run() throws Exception { return runSupplier.get();} @Override protected T getFallback() { return fallbackSupplier.get();} }
27. 27 Annotationsbasiert: Spring Cloud / hystrix-javanica @HystrixCommand(fallbackMethod=“defaultUser“) public User getUserById(String id) { return userResource.getUserById(id); }
28. 28 Integration Day
29. 29 Integration Day
30. 30 Hystrix Dashboard
31. 31 Quo Vadis Hystrix Dashboard?
32. 32 Hystrix Dashboard
33. 33 New Visualization at Netflix
34. 34 Historisierung der Daten
35. 35 Real World #2
36. 36 24/7 Kundenportal Flickr: Jessica Spengler
37. 37 geplante Ausfallzeiten
38. 38 ungeplante Ausfallzeiten
39. 39 Legacy Backend via Hystrix
40. 40 Demo-Anwendung
41. 41 Sender & Receiver Transport (SRT)
42. 42 Demo-Architektur
43. 43 Demo-Architektur
44. 44 Hystrix & Archaius
45. 45 Hystrix & Archaius • dynamic & typed • thread safe • polling framework • callback mechanism • dynamic configuration
46. 46 Hystrix & Archaius • AWS Dynamo DB • Apache ZooKeeper • CoreOS etcd
47. 47 CoreOS etcd • Distributed key value store • REST API • Cluster ready
48. 48 Architektur
49. 49 Archaius & etcd // Config fallback (config.properties) and Etcd configuration compositeConfig = new ConcurrentCompositeConfiguration(); ClasspathPropertiesConfiguration.initialize(); // File based config // CoreOS Etcd service configuration etcdConfigSource = new EtcdConfigurationSource(etcd, "/hystrix/"); etcdConfig = new DynamicWatchedConfiguration(etcdConfigSource); compositeConfig.addConfiguration(etcdConfig,"etcd dynamic override config"); ConfigurationManager.install(compositeConfig);
50. 50 Chaos Monkey
51. 51 Chaos Monkey
52. 52 Simian Army
53. 53 Archaius & etcd Timeouts Exceptions
54. 54 Archaius & etcd curl -L -X PUT http://etcd:2379/v2/keys/hystrix/chaos.monkey.active -d value=true
55. 55 Archaius & etcd DynamicBooleanProperty chaosMonkeyActive = DynamicPropertyFactory.getInstance(). getBooleanProperty("chaos.monkey.active", false); chaosMonkeyActive.get();
56. 56 Demo
57. 57 Spring Cloud Netflix & Spring Boot @SpringBootApplication @EnableCircuitBreaker @EnableHystrixDashboard @Import(ArchaiusConfiguration.class) public class TransportServiceAppl { public static void main(String[] args) { SpringApplication.run(TransportServiceApp.class, args); } }
58. 58 new HystrixCmd<>(“DemoCmd", () -> showLiveDemo(), () -> showFallbackVideo() );
59. 59 Demo Zusammenfassung
60. 60 Zusammenfassung • Chaos Monkey aktiviert • Remote Services konfiguriert • Hystrix Timeouts gesetzt • Hystrix Circuit Breaker open/close • Hystrix Fallbacks deaktiviert
61. 61 Advanced Features
62. 62 Request Collapsing
63. 63 Request Caching
64. 64 Request Caching • Caching auf Request-Ebene (HystrixRequestContext per Thread) • Aktiviert durch implementieren von HystrixCommand.getCacheKey()
65. 65 Cache-Example @GET @Path("/cacheTest/{name}") public void cacheTest(@PathParam("name") String name) { try (HystrixRequestContext context = HystrixRequestContext.initializeContext()) { for (int i = 0; i < 3; i++) { LambdaHystrixCommand<String> pingCmd = new LambdaHystrixCommand<>( „CacheCmd", „CacheCmdCache",() -> getPing(name), () -> "pong"); String result = pingCmd.execute(); System.out.println(i + ": " + result + " is from cache: " + pingCmd.isResponseFromCache()); }} }
66. 66 Cache-Example @GET @Path("/cacheTest/{name}") public void cacheTest(@PathParam("name") String name) { try (HystrixRequestContext context = HystrixRequestContext.initializeContext()) { for (int i = 0; i < 3; i++) { LambdaHystrixCommand<String> pingCmd = new LambdaHystrixCommand<>( „CacheCmd", „CacheCmdCache",() -> getPing(name), () -> "pong"); String result = pingCmd.execute(); System.out.println(i + ": " + result + " is from cache: " + pingCmd.isResponseFromCache()); }} }
67. 67 Cache-Example @GET @Path("/cacheTest/{name}") public void cacheTest(@PathParam("name") String name) { try (HystrixRequestContext context = HystrixRequestContext.initializeContext()) { for (int i = 0; i < 3; i++) { LambdaHystrixCommand<String> pingCmd = new LambdaHystrixCommand<>( „CacheCmd", „CacheCmdCache",() -> getPing(name), () -> "pong"); String result = pingCmd.execute(); System.out.println(i + ": " + result + " is from cache: " + pingCmd.isResponseFromCache()); }} }
68. 68 Request Cancelling
69. 69 Request Cancelling Service A Service B Hystrix DB
70. 70 Request Cancelling with Futures Future<String> future = command.queue(); //something happened //sends an interrupt to the command thread future.cancel(true)
71. 71 Request Cancelling with Observables final Observable<String> o = command.observe(); // returns a hot-observable final Subscription s = o.subscribe((v) -> { System.out.println("Result: " + v); }); //some conditions or other calls... // unsubscribe=cancel s.unsubscribe();
72. 72 Was kostet das?
73. 73 One HystrixCommand executed at 60 r/s on a Single API instance
74. 74 median (and lower): no cost Q0.90 = cost of 3ms Q0.99 = cost of 9ms (Source Netflix)
75. 75 GitHub Demo-Projekt unter: github.com/MrBW/hystrix-warstories-applications
76. 76 Danke. Fragen?