JPoint 2017

Transcript

1. Где мой сервис, чувак?
2. Việt [вьет] 2
3. Việt [вьет] 3 ‣ Пишу код больше 10 лет ‣ Начинал как фронтендер ‣ Написал распределенный компилятор - полюбил бекенд ‣ Больше 6 лет на Java
4. Việt [вьет] 4 ‣ Пишу код больше 10 лет ‣ Начинал как фронтендер ‣ Написал распределенный компилятор - полюбил бекенд ‣ Больше 6 лет на Java
5. Việt [вьет] 5 ‣ Пишу код больше 10 лет ‣ Начинал как фронтендер ‣ Написал распределенный компилятор - полюбил бекенд ‣ Больше 6 лет на Java
7. 7 DevOps
8. 8 Конфиги! Они везде
9. @EnableEverything @FixThis @FixThat @DoWhatever public class App { // no code - no cry } 9 :(
10. О чём доклад? ‣ Обновление микросервисов 
 без недоступности
 ‣ Тулзы ‣ Конфиги ‣ Заклятья 10
11. О чём доклад? ‣ Обновление микросервисов 
 без недоступности
 ‣ Тулзы ‣ Конфиги ‣ Заклятья 11
12. 12 Монолит Микросервисы
13. 13 UI UI UI
14. 14 UI UI UI API API API API API API API API API
15. 15 UI UI UI API API API API API API API API API API API API API
16. 16 UI UI UI API API API API API API API API API API API API API DB DB DB
17. 17 UI UI UI API API API API API API API API API API API API API DB DB DB
18. 18 UI UI UI API API API API API API API API API API API API API DB DB DB
19. 19 UI UI UI API API API API API API API API API API API API API DB DB DB
20. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 20
21. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 21
22. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 22
23. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 23 ? ? ?
24. Следствия ‣ В распределенных системах 
 отказы - обычное дело ‣ Нужно воспринимать это 
 как естественный атрибут системы ‣ Принять и осознанно проектировать систему 24
25. “Hope 
 is not 
 a strategy” 25
27. KISS FTW 27 cards API transactions API :8081 :8080 Client
28. KISS FTW 28 cards API transactions API :8081 :8080 Client
29. Где мои деньги?!
30. KISS FTW 30 cards API transactions API :8081 :8080 Client
31. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 31
32. vegeta KISS FTW 32 cards API :8081 :8080 ansible transactions API
33. vegeta $ echo "GET http://localhost” \ | vegeta attack \ | vegeta report 33
34. vegeta $ echo "GET http://localhost” \ | vegeta attack \ | vegeta report 34
35. vegeta $ echo "GET http://localhost” \ | vegeta attack \ | vegeta report 35
36. vegeta $ echo "GET http://localhost” | vegeta attack | vegeta report 
 Requests [total, rate] 500, 50.10 Duration [total, attack, wait] 9.9s, 9.9s, 8.2ms Latencies [mean, 50, 95, 99, max] 9.7ms, 7.4ms, … Bytes In [total, mean] 73260, 146.52 Bytes Out [total, mean] 0, 0.00 Success [ratio] 84.20% Status Codes [code:count] 500:79 200:421 36
37. ansible $ ansible-playbook \ -i inventory \ playbook.yml 37
38. ansible $ ansible-playbook \ -i inventory \ playbook.yml 38
39. ansible $ ansible-playbook \ -i inventory \ playbook.yml 39
40. ansible inventory [frontend] server1 server2 [backend] server3 [backend:vars] timeout = 2s 40
41. ansible inventory [frontend] server1 server2 [backend] server3 [backend:vars] timeout = 2s 41
42. ansible inventory [frontend] server1 server2 [backend] server3 [backend:vars] timeout = 2s 42
43. ansible inventory [frontend] server1 server2 [backend] server3 [backend:vars] timeout = 2s 43
44. ansible playbook - hosts: frontend tasks: - apt: name: haproxy update_cache: yes - service: name: haproxy enabled: yes state: started 44
45. ansible playbook - hosts: frontend tasks: - apt: name: haproxy update_cache: yes - service: name: haproxy enabled: yes state: started 45
46. ansible playbook - hosts: frontend tasks: - apt: name: haproxy update_cache: yes - service: name: haproxy enabled: yes state: started 46
47. В прод!
48. Упс 48 t :( old new
49. Клиенты уходят!
50. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 50
51. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 51
52. Proxy has arrived 52 cards API transactions API 
 old HAProxy :8080 :8082
53. Временная избыточность 53 cards API transactions API 
 old HAProxy transactions API
 new :8080 :8082 :8083
54. Временная избыточность 54 cards API transactions API 
 old HAProxy transactions API
 new :8080 :8082 :8083
55. Ну норм чо 55 cards API HAProxy transactions API
 new :8080 :8083
56. HAProxy 56 haproxy -f /my.conf -D -p /my.pid
57. HAProxy 57 haproxy -f /my.conf -D -p /my.pid
58. HAProxy 58 haproxy -f /my.conf -D -p /my.pid
59. Обновляем конфиг HAProxy 59 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid)
60. Обновляем конфиг HAProxy 60 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid)
61. Обновляем конфиг HAProxy 61 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid) finish, please
62. Обновляем конфиг HAProxy 62 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid) finish, please OK!
63. Обновляем конфиг HAProxy 63 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid) finish, please OK! Unbind ports
64. Обновляем конфиг HAProxy 64 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid) finish, please OK! Unbind ports Serve last connections
65. Обновляем конфиг HAProxy 65 haproxy -f /my.conf -D -p /my.pid \ -sf $(cat /my.pid)
66. Катай!
67. Ну почемууу? 67 t old new haproxy 1 2 3 4
68. Ну почемууу? 68 t old new haproxy 1 2 3 4
69. Ну почемууу? 69 t old new haproxy 1 2 3 4
70. Ну почемууу? 70 t old new haproxy 1 2 3 4
71. Ну почемууу? 71 t old new haproxy 1 2 3 4
72. Ну почемууу? 72 t old new haproxy 1 2 3 4
73. Ну почемууу? 73 t old new haproxy 1 2 3 4
74. Ну почемууу? 74 t old new haproxy 1 2 3 4
75. Ну почемууу? 75 t old new haproxy 1 2 3 4
76. Healthcheck идёт на помощь! @RequestMapping("/health")
 public String getHealth() {
 return "OK";
 } 76
77. Вжух!
78. Как получилось ‣ Победили недоступность :) ‣ Приложения потребовали только добавления healthcheck’ов :) ‣ Не валим приложения на старте :)
 ‣ Усложнился deployment :( 78
79. Как получилось ‣ Победили недоступность :) ‣ Приложения потребовали только добавления healthcheck’ов :) ‣ Не валим приложения на старте :)
 ‣ Усложнился deployment :( 79
80. 80 cards API transactions API HAProxy :8080 :8082
81. 81 cards API transactions API HAProxy :8080 :8082
82. 82 UI UI UI API API API API API API API API API API API API API DB DB DB
83. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 83
84. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 84
85. Mesos, Marathon & Co. 85 Host 1 Host 2 Host 5 Host 4 Host 3
86. Mesos, Marathon & Co. 86 Host 1 Host 2 Host 5 Host 3 Host 4 a a a a a a = mesos agent
87. Mesos, Marathon & Co. 87 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a
88. Mesos, Marathon & Co. 88 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a marathon
89. Mesos, Marathon & Co. 89 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a marathon app manifest
90. Mesos, Marathon & Co. 90 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a marathon app app app
91. А HAProxy кто будет настраивать? 91 marathon marathon-lb marathon_lb.py HAProxy
92. Ставь!
93. HAProxy socket flags ‣ SO_REUSEADDR - ignore TIME_WAIT ‣ SO_REUSEPORT - bind same IP:PORT 93
95. spring-boot-starter-web 95 <project …> <artifactId>spring-boot-starter-web</artifactId> <!-- … --> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> </dependency> </dependencies> </project>
96. spring-boot-starter-web 96 <project …> <artifactId>spring-boot-starter-web</artifactId> <!-- … --> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> </dependency> </dependencies> </project>
97. Tomcat 97 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
98. Tomcat 98 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
99. Tomcat 99 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
100. Tomcat 100 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
101. Tomcat 101 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
102. Tomcat 102 public void setProperties(ServerSocket socket) throws SocketException { if (this.soReuseAddress != null) { socket.setReuseAddress(this.soReuseAddress.booleanValue()); } // … }
103. Tomcat 103 public void setProperties(ServerSocket socket) throws SocketException { if (this.soReuseAddress != null) { socket.setReuseAddress(true); } if (this.soReusePort != null) { socket.setReusePort(true); } // … }
104. Копай глубже!
105. linux/net/core/sock_reuseport.c 105
106. linux/net/core/sock_reuseport.c 106 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
107. linux/net/core/sock_reuseport.c 107 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
108. linux/net/core/sock_reuseport.c 108 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
109. linux/net/core/sock_reuseport.c 109 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
110. linux/net/core/sock_reuseport.c 110 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
111. linux/net/core/sock_reuseport.c 111 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
112. linux/net/core/sock_reuseport.c 112 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
113. struct sock *__inet_lookup_listener(…) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 113
114. struct sock *__inet_lookup_listener(…) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 114
115. struct sock *__inet_lookup_listener(…) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 115
116. static u32 inet_ehashfn(const struct net *net, const __be32 laddr, const __u16 lport, const __be32 faddr, const __be16 fport) { // … return __inet_ehashfn(laddr, lport, faddr, fport, inet_ehash_secret + net_hash_mix(net)); } linux/net/ipv4/inet_hashtables.c 116
117. static u32 inet_ehashfn(const struct net *net, const __be32 laddr, const __u16 lport, const __be32 faddr, const __be16 fport) { // … return __inet_ehashfn(laddr, lport, faddr, fport, inet_ehash_secret + net_hash_mix(net)); } linux/net/ipv4/inet_hashtables.c 117
118. static u32 inet_ehashfn(const struct net *net, const __be32 laddr, const __u16 lport, const __be32 faddr, const __be16 fport) { // … return __inet_ehashfn(laddr, lport, faddr, fport, inet_ehash_secret + net_hash_mix(net)); } linux/net/ipv4/inet_hashtables.c 118
119. struct sock *__inet_lookup_listener(const __be32 saddr, __be16 sport, …) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 119
120. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, 
 когда в очереди уже есть соединения :( 120
121. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, 
 когда в очереди уже есть соединения :( 121
122. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, 
 когда в очереди уже есть соединения :( 122
123. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, 
 когда в очереди уже есть соединения :( 123
124. Решения? ‣ Ничего не делать ‣ Низкоуровневые заклятья для HAProxy ‣ Отказаться от HAProxy 124
125. Решения? ‣ Ничего не делать ‣ Низкоуровневые заклятья для HAProxy ‣ Отказаться от HAProxy 125
126. Решения? ‣ Ничего не делать ‣ Низкоуровневые заклятья для HAProxy ‣ Отказаться от HAProxy 126
127. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 127
128. We are server side 128 app 1 app 2 proxy
129. Лишнее звено 129 app 1 app 2 proxy
130. Client side! 130 app 1 app 2
131. A piece of proxy ‣ Список сервисов ‣ Балансировщик 131
132. A piece of proxy ‣ Список сервисов ‣ Балансировщик 132
133. Netflix Ribbon 133 HttpResourceGroup resourceGroup = Ribbon
 .createHttpResourceGroup( “transactionsClient", ClientOptions.create() .withConfigurationBasedServerList(“srv1:8080, srv2:8088”) );
134. Netflix Ribbon 134 HttpRequestTemplate requestTemplate = resourceGroup .newTemplateBuilder("requestTemplate") .withMethod(“POST") .withUriTemplate("/transactions") .build();
135. Netflix Ribbon 135 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
136. Netflix Ribbon 136 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
137. Netflix Ribbon 137 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
138. Netflix Ribbon 138 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
139. Netflix Ribbon 139 Timer lbTimer = // …; void setupPingTask() { lbTimer.schedule( new PingTask(), 0, pingIntervalSeconds * 1000); }
140. Netflix Ribbon 140 public Server chooseServer(Object key) { try { return rule.choose(key); } catch (Exception e) { log.warn("LoadBalancer: Error choosing server for key {}”, key, e); return null; } }
141. Netflix Ribbon 141 public Server chooseServer(Object key) { try { return rule.choose(key); } catch (Exception e) { log.warn("LoadBalancer: Error choosing server for key {}”, key, e); return null; } }
142. Netflix Ribbon 142 public class RoundRobinRule extends AbstractLoadBalancerRule { public Server choose(Object key) { nextServerIndex = incrementAndGetModulo(serverCount); return allServers.get(nextServerIndex); } }
143. Netflix Ribbon 143 private int incrementAndGetModulo(int modulo) { for (;;) { int current = nextServerCyclicCounter.get(); int next = (current + 1) % modulo; if (nextServerCyclicCounter.compareAndSet(current, next)) return next; } }
144. Netflix Ribbon 144 private int incrementAndGetModulo(int modulo) { for (;;) { int current = nextServerCyclicCounter.get(); int next = (current + 1) % modulo; if (nextServerCyclicCounter.compareAndSet(current, next)) return next; } }
145. Netflix Ribbon 145 private int incrementAndGetModulo(int modulo) { for (;;) { int current = nextServerCyclicCounter.get(); int next = (current + 1) % modulo; if (nextServerCyclicCounter.compareAndSet(current, next)) return next; } }
146. Spring cloud Netflix 146 app 1 eureka server app 2 app 3 app 4
147. Spring cloud Netflix 147 app 1 eureka server app 2 app 3 app 4
148. Eureka server 148 @SpringBootApplication @EnableEurekaServer public class EurekaServer { public static void main(String[] args) { new SpringApplicationBuilder(EurekaServer.class) .web(true) .run(args); } }
149. Eureka server 149 @SpringBootApplication @EnableEurekaServer public class EurekaServer { public static void main(String[] args) { new SpringApplicationBuilder(EurekaServer.class) .web(true) .run(args); } }
150. Eureka client 150 @SpringBootApplication @RestController @EnableEurekaClient public class CardsApi { public static void main(String... args) { SpringApplication.run(CardsApi.class, args); } }
151. Eureka client 151 @SpringBootApplication @RestController @EnableEurekaClient public class CardsApi { public static void main(String... args) { SpringApplication.run(CardsApi.class, args); } }
152. ‣ Прямая коммуникация ‣ Нет точки отказа в виде 
 прокси-сервера ‣ Можно задавать правила per-app
 ‣ Дополнительная логика на клиенте 152 Client-side Server-side ‣ Прозрачно для приложений ‣ Можно задавать глобальные правила
 
 ‣ Дополнительные точки отказа vs Load balancing
153. ‣ Прямая коммуникация ‣ Нет точки отказа в виде 
 прокси-сервера ‣ Можно задавать правила per-app
 ‣ Дополнительная логика на клиенте 153 Client-side Server-side ‣ Прозрачно для приложений ‣ Можно задавать глобальные правила
 
 ‣ Дополнительные точки отказа vs Load balancing
154. Выдохнули ‣ In-place обновление - самое простое. 
 Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси 
 и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать 
 Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 154
155. Выдохнули ‣ In-place обновление - самое простое. 
 Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси 
 и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать 
 Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 155
156. Выдохнули ‣ In-place обновление - самое простое. 
 Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси 
 и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать 
 Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 156
157. Выдохнули ‣ In-place обновление - самое простое. 
 Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси 
 и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать 
 Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 157
158. Спасибо за внимание! stereohorse/jpoint2017 stereohorse