TDC Globo Sistemas Distribuídos

Transcript

1. Breno Ferreira Escalabilidade de dados e seus desafios https://www.vempraglobo.com.br/
4. 1K usuários simultâneos?
5. 10K usuários simultâneos?
6. 100K usuários simultâneos?
7. 1 milhão de usuários simultâneos?
8. Escalabilidade horizontal na nuvem não é infinita?
12. Caso de uso Registro de username único
14. https://jepsen.io/consistency https://brenocferreira.medium.com/transa%C3%A7%C3%B5es-em-banco-de- dados-aead0cf8b620
15. Transações ACID
16. Consenso distribuído
17. Consenso distribuído é MUITO difícil
18. • Timeouts • Retries • Circuit Breakers • Detecção de operações duplicadas • Idempotencia Detecção de falhas
19. • Como saber qual evento ocorreu primeiro? • Relógios não con fi áveis • Servidor A: 24/08/21 17:15:0002 • Servidor B: 24/08/21 17:15:0001 • Servidor C: 24/08/21 17:15:0003 Dependências Temporais e Causalidade
20. Imagine agora esses problemas em DCs distribuídos geograficamente
21. Existem soluções
22. Two-Phase Commit
23. Paxos/Raft
24. Google Spanner Cockroach DB (open-source)
26. Apache Kafka
27. Mas será que preciso disso tudo???
29. MUITO provavelmente NÃO!
30. Alternativas
31. Replicação
33. Réplicas de leitura tiram a pressão do nó líder, deixando-o livre para operações de escritas mais custosas (com transações por ex.)
34. Particionamento
36. 🔥🔥🔥
40. Consistent hashing
42. https://dzone.com/articles/consistent-hashing
43. Cache
45. Defina Escalabilidade!
46. • Usuários simultâneos • Tempo de resposta • Latência • Requests / segundo
47. Testar Medir Observar
51. Por que isso é importante?
53. https://brenocferreira.medium.com/designing-data-intensive-apps-um-resumo-a97e47c29372
55. Perguntas?
56. Obrigado @breno_ferreira https://www.vempraglobo.com.br/