Pilares da Escalabilidade - Tecnologias envelhecem, Fundamentos permanecem

O que te vem a cabeça quando te perguntam sobre como escalar uma aplicação web? 🤔 Se a primeira coisa que você pensou foi Microservices, Kafka ou Redis, então eu tenho uma péssima notícia pra te dar.

Te fizeram acreditar que escalar sistemas distribuídos é sinônimo de Microservices, Event-Driven Architecture (EDA), Cache distribuído ou Cloud computing. Mas será mesmo?

Já parou para pensar como arquitetos desenhavam sistemas há 20 anos? Como sistemas suportavam milhões de usuários quando essas tecnologias ainda nem existiam? Que tipos de práticas eram utilizadas? E aliás, será mesmo que o seu sistema precisa escalar para centenas ou milhares de usuários?

A verdade é que os princípios que fazem um sistema escalar nunca mudaram, só as ferramentas em cima deles. E é exatamente isso que vamos explorar de forma didática nessa palestra: os pilares de escalabilidade por trás de qualquer sistema distribuído — do monolito ao microservices, das soluções mais simples e baratas às mais caras e sofisticadas.

Se você entende pouco ou quase nada sobre como escalar um sistema distribuído, então essa palestra é para você!

Transcript

1. PILARES DA ESCALABILIDADE Tecnologias Envelhecem, Fundamentos Permanecem Rafael Ponte |
2. Como escalar uma aplicação web?
9. EDA | Event-Driven Architecture EDA é um estilo arquitetural no qual os componentes de um sistema produzem, publicam e reagem a eventos, permitindo que mudanças de estado ou acontecimentos relevantes desencadeiem ações e novos eventos.
10. Hype-Driven Development https://blog.daftcode.pl/hype-driven-development-3469fc2e9b22
14. Me mostre seu throughput, e eu te direis que tu és.
15. Será que eu preciso de uma grande escala?
16. s e ic M .5 v e d 5 fl https://www.infoq.com/presentations/ne ix-push-messaging-scale/
17. e r M 6 .1 1 s / q https://www.facebook.com/notes/10158791412497200/
19. .1 3 e r M s / q https://www.shopify.com/news/bfcm-data-2024
20. s / s e ir t 2 w M https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
21. M 1 s / g s m https://blogs.vmware.com/tanzu/rabbitmq-hits-one-million-messages-per-second-on-google-compute-engine/
22. https://stackexchange.com/performance
23. s / q 5 e r K https://stackexchange.com/performance
24. fi https://www.bcb.gov.br/estabilidade nanceira/estatisticas_spi
25. fi https://www.bcb.gov.br/estabilidade nanceira/estatisticas_spi
26. https://www.bcb.gov.br/estabilidade nanceira/estatisticas_spi fi .2 6 s / q e r K
27. Desde 2004 Construindo sistemas distribuídos, integrando legados e utilizando “boring techs”.
28. The Hype timeline
29. The Hype timeline 2000
30. The Hype timeline 2007 2000
31. The Hype timeline 2007 2000 2008
32. The Hype timeline 2009 2007 2000 2008
33. The Hype timeline 2009 2007 2000 2008 2010
34. The Hype timeline 2009 2007 2000 2008 2011 2010
35. The Hype timeline 2009 2007 2000 2008 2011 2010 2014
36. The Hype timeline 2009 2007 2000 2008 2011 2010 2016 2014
37. The Hype timeline 2009 2007 2000 2008 2011 2010 2016 2014 2017
38. NoSQL ou SQL
39. gRPC ou REST
42. The Hype timeline 2009 2007 2000 2008 2011 2010 2016 2014 2017
44. The monolith to microservices SPECTRUM https://chrisscott.me/the-monolith-to-microservice-spectrum/
45. The monolith to microservices SPECTRUM https://chrisscott.me/the-monolith-to-microservice-spectrum/
46. The monolith to microservices SPECTRUM https://chrisscott.me/the-monolith-to-microservice-spectrum/
47. The monolith to microservices SPECTRUM https://chrisscott.me/the-monolith-to-microservice-spectrum/
48. The monolith to microservices SPECTRUM https://chrisscott.me/the-monolith-to-microservice-spectrum/
49. Arquitetura é sobre contextos, requisitos e restrições.
50. Enterprise
51. Enterprise Startup
52. Enterprise Startup Big Tech
54. The Hype timeline 2009 2007 2000 2008 2011 2010 2016 2014 2017
55. The Hype timeline 2009 2007 2000 2008 2011 2010 2016 2014 2017
58. LATENCY
59. LATENCY THROUGHPUT
60. LATENCY COORDINATION THROUGHPUT
61. LOW LATENCY AVOID COORDINATION THROUGHPUT HIGH
63. Como escalar minha aplicação para MILHARES de usuários?
64. Rafael Ponte /rponte Brazilian Software Engineer 20+ years of experience working with Java and distributed systems Loves working with "boring techs" aka Prince of the Ocean aka Maharaja of the Legacies
65. Fortaleza - Terra do Sol
67. Como escalar minha aplicação para MILHARES de usuários?
69. E-Commerce
73. Revisitando a arquitetura de aplicações Web
74. servidor
75. servidor
76. navegador servidor
77. requisição navegador servidor
78. requisição navegador servidor db
79. requisição navegador resposta servidor db
80. requisição navegador resposta servidor db
81. 2 CONCEITOS IMPORTANTES
82. PERF (Latency) vs SCALE (Throughput)
83. PERF (Latency) vs SCALE (Throughput)
84. performance tempo de resposta (response time)
85. performance tempo de resposta (response time)
86. requisição navegador resposta servidor db
87. tempo resposta requisição navegador resposta servidor db
88. tempo resposta: 100ms requisição navegador resposta servidor db
89. PERF (Latency) vs SCALE (Throughput)
90. escalabilidade operações / unidade_tempo (throughput)
91. escalabilidade operações / unidade_tempo (throughput)
92. escalabilidade usuários / minuto (throughput)
93. escalabilidade usuários / segundo (throughput)
94. escalabilidade usuários / segundo (throughput)
95. escalabilidade requisições / segundo (throughput)
96. requisição navegador resposta servidor db
97. tempo resposta: 100ms requisição navegador resposta servidor db
98. tempo resposta: 100ms requisição resposta servidor db
99. tempo resposta: 100ms requisição resposta servidor db
100. tempo resposta: 100ms requisição resposta servidor db
101. tempo resposta: 1s requisição resposta servidor db
102. tempo resposta: 7s requisição resposta servidor db
103. tempo resposta: 24s requisição resposta servidor db
104. tempo resposta: 24s requisição resposta servidor db
105. tempo resposta: 28s requisição resposta servidor db
106. tempo resposta: 33s requisição resposta servidor db
107. tempo resposta: 0 requisição resposta servidor db
108. nossa aplicação não escala mais do que: 80 req/s
109. requisição navegador resposta servidor db throughput: 80 req/s
110. requisição navegador resposta servidor db throughput: 250 req/s
111. requisição navegador resposta servidor db throughput: 1000 req/s
112. Como melhorar meu throughput?
113. RESUMINDO EM 5 PASSOS
114. Passo 1 (TUNANDO A APLICAÇÃO)
115. requisição navegador resposta servidor db
116. requisição navegador resposta servidor db
122. JVM
124. 2Gb
125. ??? 2Gb
126. 256Mb 2Gb
127. ??Mb 2Gb
128. 2Gb 2Gb
129. 2Gb = 2Gb
130. 2Gb = 2Gb
131. 1Gb 2Gb
132. 1 Gb -Xms256m -Xmx1024m -XX:MaxPermSize=192m 2Gb
133. 1 Gb -Xms256m -Xmx1024m -XX:MaxPermSize=192m 2Gb
134. minimo != maximo 1 Gb -Xms256m -Xmx1024m -XX:MaxPermSize=192m 2Gb
135. minimo = maximo 1 Gb -Xms1024m -Xmx1024m -XX:MaxPermSize=192m 2Gb
136. Heap Size 1 Gb -Xms1024m -Xmx1024m -XX:MaxPermSize=192m 2Gb
137. 1 Gb -Xms1024m -Xmx1024m -XX:MaxPermSize=192m 2Gb
138. 1 Gb -Xms1024m -Xmx1024m -XX:MaxPermSize=192m PermGen Size 2Gb
139. 1Gb 2Gb
140. 1 Gb -Xms1024m -Xmx1024m memoria -XX:MaxPermSize=192m 2Gb
141. modo servidor -server 1 Gb -Xms1024m -Xmx1024m memoria -XX:MaxPermSize=192m 2Gb
142. modo servidor -server 1 Gb -Xms1024m -Xmx1024m memoria -XX:MaxPermSize=192m coletor de lixo (GC) 2 -XX:+UseConcMarkSweepGC Gb -XX:+CMSParallelRemarkEnabled
144. modo servidor -server 1Gb 2Gb
145. modo servidor -server 1 Gb -XX:+UseContainerSupport memoria -XX:MaxRAMPercentage=75.0m 2Gb
146. modo servidor -server 1 Gb -XX:+UseContainerSupport memoria -XX:MaxRAMPercentage=75.0m coletor de lixo (GC) -XX:+UseG1GC 2Gb
147. https://www.infoq.com/presentations/optimizing-java-app-kubernetes/
148. Ganhou fôlego, mas…
149. requisição navegador resposta servidor db
150. Aplicação servidor
151. servidor
152. fi nalizar-compra.jsp GravaProdutoServlet.java servidor index.jsp app.js site.css carrinhoDeCompras.jsp Produto.java Venda.java Pagamento.java FinalizarCompra.java BancoDeDados.java GravaProduto.java EnviaEmail.java
153. servidor
154. servidor
155. servidor
156. Divisão em Camadas
157. servidor
158. modelo servidor
159. modelo servidor telas
160. modelo acesso a dados servidor telas
161. camadas apresentação negócio servidor persistência
162. camadas apresentação negócio servidor persistência controle das telas
163. camadas servidor apresentação controle das telas negócio logica de negocio persistência
164. camadas servidor apresentação controle das telas negócio logica de negocio persistência acesso a banco e dados
165. camadas apresentação negócio servidor persistência
166. camadas apresentação negócio servidor persistência
167. camadas apresentação negócio servidor persistência
168. camadas apresentação negócio servidor persistência
169. camadas apresentação negócio servidor persistência
170. camadas apresentação negócio servidor persistência
171. requisição navegador resposta servidor db
172. tempo resposta: 1000ms requisição navegador resposta servidor db
173. tempo resposta: 1000ms requisição navegador resposta db servidor 700ms
174. tempo resposta: 1000ms requisição navegador resposta db servidor 700ms
175. WORKLOAD comum em sistemas distribuídos
176. CPU Bound I/O Bound CPU Processing CPU Processing I/O Wait I/O Wait CPU Processing
177. CPU Bound I/O Bound CPU Processing CPU Processing I/O Wait I/O Wait CPU Processing
178. CPU Bound I/O Bound CPU Processing CPU Processing I/O Wait I/O Wait CPU Processing
179. CPU Bound I/O Bound CPU Processing CPU Processing I/O Wait I/O Wait CPU Processing
180. servidor db
181. persistência negócio apresentação db
182. persistência negócio apresentação db Transaction Response Time
183. T= persistência negócio apresentação db
184. T = Tacq persistência negócio apresentação db
185. T = Tacq + Treq persistência negócio apresentação db
186. T = Tacq + Treq + Texec persistência negócio apresentação db
187. persistência apresentação negócio T = Tacq + Treq + Texec + Tres db
188. persistência negócio apresentação db T = Tacq + Treq + Texec + Tres + Tidle
189. quanto menor o transaction response time, maior o throughput
190. "Dever de casa” fi Antes de recorrer a soluções e tecnologias “mágicas”, torne seu sistema mais e ciente.
197. TRANSACTION RESPONSE TIME Quanto menor o transaction response time, maior o throughput da aplicação.
199. A maioria dos problemas de performance está no código da aplicação.
200. Mesmo com todas essas melhorias…
201. …PICOS de acessos podem aumentar nosso response time
202. CPU Bound I/O Bound CPU Processing CPU Processing I/O Wait I/O Wait CPU Processing
203. I/O Bound Read Write
204. I/O Bound Read Write
205. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
206. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
207. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
208. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
209. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
210. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
211. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
212. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
213. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
214. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
215. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
216. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
217. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
218. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
219. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
220. Carregando uma nota por ID NotaFiscal nf = repository.findById(42);
221. Carregando uma nota por ID NotaFiscal nf = repository.findById(42); NotaFiscal nf = entityManager .find(NotaFiscal.class, 42);
222. Carregando uma nota por ID NotaFiscal nf = repository.findById(42); NotaFiscal nf = entityManager .find(NotaFiscal.class, 42);
224. EM
225. EM Banco de Dados
226. EM NotaFiscal nf = entityManager .find(NotaFiscal.class, 42); Banco de Dados
227. Hibernate executa 1 select NotaFiscal nf = entityManger.find(NotaFiscal.class, 42);
228. Hibernate executa 1 select NotaFiscal nf = entityManger.find(NotaFiscal.class, 42); SELECT nf.* FROM NotaFiscal nf WHERE nf.id = 42
229. Carregando uma nota por ID NotaFiscal nf1 = entityManager .find(NotaFiscal.class, 42); NotaFiscal nf2 = entityManager .find(NotaFiscal.class, 42); NotaFiscal nf3 = entityManager .find(NotaFiscal.class, 42);
230. Carregando uma nota por ID NotaFiscal nf1 = entityManager .find(NotaFiscal.class, 42); NotaFiscal nf2 = entityManager .find(NotaFiscal.class, 42); NotaFiscal nf3 = entityManager .find(NotaFiscal.class, 42);
231. Hibernate executa 1 select NotaFiscal nf1 = entityManger.find(NotaFiscal.class, 42); SELECT nf.* FROM NotaFiscal nf WHERE nf.id = 42
232. Hibernate executa 1 select NotaFiscal nf1 = entityManger.find(NotaFiscal.class, 42); SELECT nf.* FROM NotaFiscal nf WHERE nf.id = 42 NotaFiscal nf2 = entityManger.find(NotaFiscal.class, 42); // sem SQL
233. Hibernate executa 1 select NotaFiscal nf1 = entityManger.find(NotaFiscal.class, 42); SELECT nf.* FROM NotaFiscal nf WHERE nf.id = 42 NotaFiscal nf2 = entityManger.find(NotaFiscal.class, 42); // sem SQL NotaFiscal nf3 = entityManger.find(NotaFiscal.class, 42); // sem SQL
234. EM Banco de Dados
235. First Level Cache EM Banco de Dados
236. EM Banco de Dados
237. EM EM EM Banco de Dados EM
238. EM EM EM ???? Banco de Dados EM
239. EM EM EM Second Level Cache Banco de Dados EM
240. First Level Cache Session EM EM Session EM Second Level Cache Banco de Dados Session EM
241. EM EM EM EntityManagerFactory Banco de Dados EM
242. #1 habilitamos o cache <property name="hibernate.cache.second_level_cache" value="true" /> persistence.xml
243. #2 con guramos as entidades @Entity @Cache(...) class NotaFiscal { … @OneToMany(fetch=FetchType.EAGER) List<Item> itens; fi }
244. #3 …seus relacionamentos @Entity @Cache(...) class NotaFiscal { … @Cache(...) @OneToMany(fetch=FetchType.LAZY) List<Item> itens; }
245. #4 …e entidades auxiliares @Entity @Cache(...) class Produto { @Id private Long id; private String nome; }
246. NotaFiscal nf = entityManager .find(NotaFiscal.class, 42);
247. persistência negócio apresentação db T = Tacq + Treq + Texec + Tres + Tidle
248. a consulta mais rápida é aquela que nem chega no banco de dados
250. persistência negócio apresentação db
251. persistência negócio apresentação db
252. persistência negócio apresentação db
253. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
254. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
255. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
256. @RestController public class ReciboController { private NotaFiscalRepository repository; @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
257. @RestController public class ReciboController { Spring Boot Cache private NotaFiscalRepository repository; @Cacheable("recibos-cache") @GetMapping("/api/recibos/{notaFiscalId}") public ReciboResponse gerarRecibo(@PathVariable Long notaFiscalId) { NotaFiscal nota = repository.findById(notaFiscalId) .orElseThrow( // lança exception ); List<Item> itens = // processa itens BigDecimal total = // computa total } } return new ReciboResponse(nota, itens, total); // constrói payload
258. “There are only two hard things in Computer Science: cache invalidation and naming things.” — Phil Karlton
259. requisição navegador Performance resposta servidor db Consistência
260. Não subestime os picos de acesso em endpoints de escrita!
261. E se houver um processamento PESADO, LENTO ou CUSTOSO?
263. Order Checkout
267. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
268. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
269. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
270. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
271. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
272. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
273. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
274. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
275. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
276. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
277. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
278. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
279. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
280. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
281. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
282. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
283. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
284. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
285. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
286. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
287. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
288. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
289. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
290. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
291. Payment service browser server db
292. Payment service browser server db
293. Payment service browser server db
294. Payment service browser server db
295. Payment service browser server db
296. Payment service browser server db
297. Payment service browser server db
298. Payment service server db
299. se a execução é custosa então ela é um possível gargalo…
300. ASYNC Podemos processar mais tarde?
301. @Service public class PedidoService { } public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
302. @Service public class PedidoService { } @Async public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
303. @Async The @Async annotation in Spring allows you to execute heavy or timeconsuming tasks in a separate background thread, preventing the main application thread from being blocked.
304. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
305. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
306. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA); IMEDIATO! Não espera pelo resultado.
307. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
308. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.CONFIRMADA);
309. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.PENDENTE);
310. @Controller public class PedidoController { @Autowired public PedidoService service; “Estamos processando seu pedido.” @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.PENDENTE);
311. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.PENDENTE);
312. É comum pensar…
313. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); // demorado… } } return new PedidoResponse(pedido, Status.PENDENTE);
314. service.finaliza(pedido);
315. new Thread(() -> { service.finaliza(pedido); }).start();
316. new Thread(() -> { service.finaliza(pedido); }).start();
317. THREAD POOL
318. O que acontece por baixo dos panos?
319. Controller Thread Pool R1 R2 R3 … Rn service.finaliza(pedido);
320. Controller Thread Pool R1 R2 R3 … Rn new Thread(() -> { service.finaliza(pedido); }).start();
321. Controller Thread Pool R1 T1 R2 R3 … Rn new Thread(() -> { service.finaliza(pedido); }).start();
322. Controller Thread Pool R1 T1 R2 T2 R3 … Rn new Thread(() -> { service.finaliza(pedido); }).start();
323. Controller Thread Pool R1 T1 R2 T2 R3 … Rn new Thread(() -> { service.finaliza(pedido); }).start(); T3
324. É um pouco mais engenhoso do que isso…
325. Thread Pool Executor Controller Thread Pool R1 T1 R2 T2 R3 T3 … … Rn Tn
326. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
327. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
328. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
329. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
331. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
332. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
333. Thread Pool Executor Controller Thread Pool R1 T1 … R2 Task Queue R3 … … Rn … T2 … T3 … … Tn
334. Thread Pool Executor Controller Thread Pool R1 T1 … R2 Task Queue R3 … … Rn … T2 … T3 … … Tn
335. …o problema é quando os picos são longos e constantes?
336. Thread Pool Executor Controller Thread Pool R1 T1 5 R2 Task Queue T2 R3 4 T3 … Rn 3 2 1 … Tn
337. Thread Pool Executor Controller Thread Pool R1 T1 … R2 Task Queue R3 … … Rn … T2 … T3 … … Tn
338. Thread Pool Executor Controller Thread Pool R1 T1 … R2 Task Queue R3 … … Rn … … T2 … T3 … … Tn
339. Thread Pool Executor Controller Thread Pool R1 T1 5 … Task Queue R2 R3 … Rn … … … … T2 … T3 … … Tn
342. fi E o que acontece com os itens na la do pool de threads?
343. fi Precisamos de uma la ainda maior…
344. fi Precisamos de uma la ainda maior… …mas também que seja durável!
345. No mundo enterprise…
346. BROKER
347. QUEUE (enterprise world)
348. QUEUE (enterprise world) 9631 9630
349. QUEUE (enterprise world) 9631 9630 (message queue)
350. QUEUE 9641 (enterprise world) (message) 9631 9630 (message queue)
351. QUEUE producer (enterprise world) 9631 9630 (message queue)
352. QUEUE producer (enterprise world) 9631 9630 (message queue) 9629
353. QUEUE producer (enterprise world) 9631 9630 (message queue) consumer
354. QUEUE producer (enterprise world) 9631 9630 (message queue) consumer
355. QUEUE producer (enterprise world) 9631 9630 (message queue) … consumer
356. Ou seja…
357. browser server db
358. browser X server db
359. browser X server db
360. queue browser server db
361. queue browser server db
362. queue browser server db
363. queue browser server db
364. queue browser server db
365. E mesmo que…
366. fi la navegador servidor db
367. fi la navegador db
368. fi la navegador servidor db
369. fi la navegador servidor db
371. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
372. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
373. @Controller public class PedidoController { @Autowired public PedidoService service; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados service.finaliza(pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
374. @Controller public class PedidoController { @Autowired public JmsTemplate producer; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados producer.convertAndSend("filas.pedidos", pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
375. @Controller public class PedidoController { @Autowired public JmsTemplate producer; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados producer.convertAndSend("filas.pedidos", pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
376. r e c @Controller u d public class PedidoController { o rP @Autowired public JmsTemplate producer; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados producer.convertAndSend("filas.pedidos", pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
377. fi …e em algum momento uma thread consumiria nossa la…
378. fi la "fila.pedidos" navegador servidor db
379. fi la "fila.pedidos" consumer navegador servidor db
380. fi la "fila.pedidos" consumer navegador servidor db
381. fi la "fila.pedidos" consumer navegador servidor db
382. fi la "fila.pedidos" consumer navegador servidor db
383. fi la "fila.pedidos" consumer navegador servidor db
384. @Service public class PedidoService { } @Async public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
385. @Service public class PedidoService { } @Async public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
386. @Service public class PedidoService { } @Async public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
387. @Service public class PedidoService { } @JmsListener(destination="fila.pedidos") public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
388. re m u @Service s n o public class PedidoService { C } @JmsListener(destination="fila.pedidos") public void finaliza(Pedido pedido) { // autoriza pagamento no gateway // dá baixa no estoque // atualiza pedido // envia email de confirmação // gera nota fiscal }
389. fi no m, nossa requisição continuaria respondendo IMEDIATAMENTE
390. @Controller public class PedidoController { @Autowired public JmsTemplate producer; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados producer.convertAndSend("filas.pedidos", pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
391. @Controller public class PedidoController { @Autowired public JmsTemplate producer; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados producer.convertAndSend("filas.pedidos", pedido); } } return new PedidoResponse(pedido, Status.PENDENTE);
392. @Controller public class PedidoController { @Autowired public JmsTemplate producer; @PostMapping("/vendas/finaliza") public PedidoResponse finaliza(@RequestBody PedidoRequest request) { // faz alguma validação de dados producer.convertAndSend("filas.pedidos", pedido); } } return new PedidoResponse(pedido, Status.PENDENTE); IMEDIATO! Não espera pelo resultado.
393. Mesmo com picos longos e constantes…
394. TRAFFIC SHAPING Filas invertem o uxo de controle fl fl https://www.enterpriseintegrationpatterns.com/ramblings/queues_ ow_control.html
395. TRAFFIC SHAPING Filas invertem o uxo de controle fl fl https://www.enterpriseintegrationpatterns.com/ramblings/queues_ ow_control.html
396. Sistema não aguenta?
397. Passo 2 (MELHORANDO A MÁQUINA)
398. requisição navegador resposta servidor db
399. requisição navegador resposta servidor db
400. cpu memoria
403. X
407. x6 x6
408. Mais requisições?
412. Escalabilidade Vertical (scale up)
420. X
421. Sistema não aguenta?
422. Passo 3 (ADICIONANDO MAIS MÁQUINAS)
423. requisição navegador resposta servidor db
424. requisição navegador resposta servidor db
427. =
431. ip?
435. 200 reqs
436. 200 reqs 100 reqs 100 reqs
437. Balanceador de Carga
438. Balanceador de Carga
439. Balanceador de Carga
441. Mais requisições?
446. Cluster
449. Escalabilidade Horizontal (scale out)
450. Apesar de mais barata…
452. (1a requisição)
453. (1a requisição)
454. Sessão
455. (2a requisição) qual?
456. (2a requisição)
457. (2a requisição)
458. Sticky Session
459. ♥
460. Mas e se…
470. ?
471. ?
472. FALTA REDUNDÂNCIA
473. Passo 4 (REPLICANDO ESTADO)
475. (1a requisição)
476. (1a requisição)
477. (2a requisição)
478. (2a requisição) qual?
479. (2a requisição)
480. (2a requisição)
482. Session Replication
487. Replica Estado
489. Alta Disponibilidade (high availability)
490. Mais requisições?
495. Se tenho mais máquinas…
500. Replicar sessão é CARO
501. Passo 5 (REMOVENDO ESTADO)
506. X X X X X
508. ONDE?
514. Cache Distribuído
515. Cache Distribuído
516. Cache Distribuído
518. STATELESS (shared nothing architecture)
522. Mais requisições?
524. 256GB
525. 256GB 256GB
526. Recapitulando…
527. PERF (Latency) vs SCALE (Throughput)
529. tunando a aplicação
530. tunando a aplicação melhorando a máquina
531. tunando a aplicação melhorando a máquina adicionando mais máquinas
532. tunando a aplicação melhorando a máquina adicionando mais máquinas replicando estado
533. tunando a aplicação melhorando a máquina adicionando mais máquinas replicando estado removendo estado
534. Todas plataformas
537. CACHING
538. CACHING
539. CACHING ASYNC PROCESSING
540. CACHING ASYNC PROCESSING
541. CACHING ASYNC PROCESSING LOAD BALANCING
542. CACHING ASYNC PROCESSING LOAD BALANCING
543. CACHING ASYNC PROCESSING LOAD BALANCING
544. CACHING ASYNC PROCESSING LOAD BALANCING
545. CACHING ASYNC ASYNC PROCESSING LOAD CACHING BALANCING LOAD BALANCING
546. Se não ainda escala…
549. e só então…
551. u ir b d et iH t s i D y l h g s y S m te
552. fi Por m…
553. Obrigado!! Rafael Ponte /rponte