Movimento NoSQL - Mitos e Fatos sobre Escalabilidade de bancos não relacionais

Estudo sobre as técnicas de escalabilidade utilizadas pro bancos NoSQL

Transcript

1. Movimento NoSQL mitos e fatos sobre escalabilidade de bancos de dados não relacionais Allisson Azevedo allisson arroba gmail.com http://slideshare.net/allisson/
2. Allisson Azevedo ➔ Concluinte do curso de Licenciatura em Computação, UEPB ➔ Desenvolvedor Web na sodavirtual.com.br ➔ Django ➔ befter.net ➔ Áreas de interesse ➔ Desenvolvimento web ➔ Computação nas núvens ➔ Sistemas operacionais
3. NoSQL?
4. No SQL? No SQL?
5. Not Only SQL Não apenas SQL
6. Not Only SQL Não apenas SQL Diferentes sistemas de armazenamento de dados para resolver problemas em que os RDBMS não são a melhor solução
7. Not Only SQL Não apenas SQL Diferentes sistemas de armazenamento de dados para resolver problemas em que os RDBMS não são a melhor solução Algo em torno de 10% dos casos
8. Not Only SQL Não apenas SQL Diferentes sistemas de armazenamento de dados para resolver problemas em que os RDBMS não são a melhor solução Algo em torno de 10% dos casos Hype: alta escalabilidade
9. Escalabilidade?
10. Escalabilidade? É uma característica desejável em todo o sistema, em uma rede ou em um processo, que indica sua habilidade de manipular uma porção crescente de trabalho de forma uniforme, ou estar preparado para crescer. Wikipedia: http://pt.wikipedia.org/wiki/Escalabilidade
11. Escalabilidade? É uma característica desejável em todo o sistema, em uma rede ou em um processo, que indica sua habilidade de manipular uma porção crescente de trabalho de forma uniforme, ou estar preparado para crescer. Wikipedia: http://pt.wikipedia.org/wiki/Escalabilidade Escalabilidade != Performance
12. Escalabilidade? É uma característica desejável em todo o sistema, em uma rede ou em um processo, que indica sua habilidade de manipular uma porção crescente de trabalho de forma uniforme, ou estar preparado para crescer. Wikipedia: http://pt.wikipedia.org/wiki/Escalabilidade Escalabilidade != Performance Podemos ter sistemas escaláveis que usam linguagens “lentas” (Rails escala?)
13. Escalabilidade? É uma característica desejável em todo o sistema, em uma rede ou em um processo, que indica sua habilidade de manipular uma porção crescente de trabalho de forma uniforme, ou estar preparado para crescer. Wikipedia: http://pt.wikipedia.org/wiki/Escalabilidade Escalabilidade != Performance Podemos ter sistemas escaláveis que usam linguagens “lentas” (Rails escala?) Dois tipos: Vertical e Horizontal
14. Vertical
15. Horizontal
16. Escalabilidade? Vertical: Compre um servidor melhor Alto custo de investimento Subistituição Fácil Horizontal: Adicione mais servidores Baixo custo de investimento Adição Complexo
17. Escalabilidade? Google Escalabilidade Horizontal Sistema de arquivos distribuído: GFS Banco de dados distribuído: BigTable (Não relacional) Processamento distribuído: Map/Reduce
18. Escalabilidade? Google Escalabilidade Horizontal Sistema de arquivos distribuído: GFS Banco de dados distribuído: BigTable (Não relacional) Processamento distribuído: Map/Reduce Hadoop (Open Source) Sistema de arquivos distribuído: HDFS Banco de dados distribuído: Hbase Processamento distribuído: Map/Reduce Java
19. Escalabilidade em RDBMS
20. Antes de escalar, aplique os band-aids
21. Desnormalização
22. Tabela Posts id int autoincrement title varchar content text pub_date date Tabela Comments id int autoincrement post_id int foreignkey comment text pub_date date Desnormalização Para saber a quantidade de comentários de cada post é necessário fazer um select count
23. Tabela Posts id int autoincrement title varchar content text pub_date date Tabela Comments id int autoincrement post_id int foreignkey comment text pub_date date Desnormalização Para saber a quantidade de comentários de cada post é necessário fazer um select count Agora imagine que você quer listar os cem últimos posts, vamos ter cem vezes o select count
24. Tabela Posts id int autoincrement title varchar content text pub_date date Tabela Comments id int autoincrement post_id int foreignkey comment text pub_date date Desnormalização Para saber a quantidade de comentários de cada post é necessário fazer um select count Agora imagine que você quer listar os cem últimos posts, vamos ter cem vezes o select count Agora imagine que a tabela de comentários já ultrapassou a barreira de um milhão de linhas
25. Tabela Posts id int autoincrement title varchar content text pub_date date comments_count int Tabela Comments id int autoincrement post_id int foreignkey comment text pub_date date Desnormalização Para saber a quantidade de comentários de cada post é necessário fazer um select count Agora imagine que você quer listar os cem últimos posts, vamos ter cem vezes o select count Agora imagine que a tabela de comentários já ultrapassou a barreira de um milhão de linhas Solução: crie um campo comments_count em posts e a cada novo comentário incremente o campo
26. Cache Faça o máximo de cache possível, evite ao máximo o acesso ao banco de dados
27. Cache Guarde o resultado da Tag Cloud por uma hora em cache
28. Agora sim, podemos escalar RDBMS
29. Replicação Mestre → Escravo
30. Replicação Mestre → Escravo
31. Replicação Mestre → Escravo Afeta a consistência dos dados (levando em consideração que a replicação é assíncrona) Eficiente apenas para aplicações com bastante leitura e pouca escrita Volume de dados não pode ultrapassar o limite do servidor
32. Replicação Mestre → Mestre
33. Replicação Mestre → Mestre
34. Replicação Mestre → Mestre Pouco escalável (levando em consideração que a replicação é síncrona) Volume de dados não pode ultrapassar o limite do servidor
35. Particionamento Vertical
36. Particionamento Vertical
37. Particionamento Vertical Escala dados até certo ponto (volume de uma tabela não pode ultrapassar o limite do servidor) Não é mais verdadeiramente relacional (precisa ser gerenciado via aplicação)
38. Particionamento Horizontal (Sharding)
39. Particionamento Horizontal (Sharding)
40. Particionamento Horizontal (Sharding) Escala horizontalmente leitura e escrita Não é mais verdadeiramente relacional (precisa ser gerenciado via aplicação) Ao adicionar um novo servidor, como rebalancear a carga? Mais shards, mais complexidade
41. Escalabilidade em RDBMS Escalar é possível, mas se perde as características que tornam RDBMS úteis Aumento da complexidade na aplicação RDBMS é a ferramenta certa?
42. Banco de dados ideal Dados são automaticamente particionados Balanceamento de carga automático Transparente para aplicação Capacidade de adicionar capacidade sem tempo de inatividade Tolerância a falhas
43. Todo banco NoSQL é altamente escalável?
44. Todo banco NoSQL é altamente escalável? Resposta curta: Não
45. Todo banco NoSQL é altamente escalável? Resposta curta: Não Resposta longa: No final dos slides
46. Escalabilidade de bancos NoSQL
47. CouchDB Orientado a documento Replicação (atualmente) Volume de dados não pode ultrapassar o limite do servidor
48. MongoDB Orientado a documento Replicação Auto Sharding (previsto para versão 1.6, julho de 2010) Volume de dados não pode ultrapassar o limite do servidor
49. Riak Chave valor (key-value, Hash) Distribuído (particionamento, balanceamento de carga e replicação) Altamente escalável
50. Cassandra Orientado a coluna Distribuído (particionamento, balanceamento de carga e replicação) Altamente escalável Digg, Twitter
51. Hbase Orientado a coluna Distribuído (utiliza o Hadoop como base, HDFS + MapReduce) Altamente escalável
52. Todo banco NoSQL é altamente escalável? Apenas os bancos NoSQL distribuídos (Cassandra, Riak, Hbase, Voldemort)
53. Todo banco NoSQL é altamente escalável? Apenas os bancos NoSQL distribuídos (Cassandra, Riak, Hbase, Voldemort) NoSQL não distribuídos utilizam as mesmas técnicas de escalabilidade dos RDBMS
54. Conclusão NoSQL não é sinônimo de alta escalabilidade Opte por NoSQL's distribuídos se precisar de escalabilidade
55. Obrigado! Perguntas?