Go datastores

Apresentação sobre GO e datastores em disco aplicados no projeto Beano - https://github.com/gleicon/beano. Golang Meetup São Paulo 28/08/2018

Transcript

1. Go Datastores ! Armazenamento de dados em disco local
2. Agenda Guardando dados localmente Data Storages disponíveis Beano Conclusão
3. Bancos de dados locais
4. Aplicações • Contadores • Deduplicação • Suporte a bancos distribuidos • Datasets pré-calculados • Timeseries • Aplicações embarcadas
5. Vantagens • Velocidade de armazenamento • Sincronismo rápido • Controle de durabilidade
6. Desvantagens • Discos efemeros • Replicação • Requer código para controlar acesso e transações • Queries inflexíveis dependendo do modelo
7. Data Storages disponíveis
8. ➔ Qual algoritmo para guardar os dados: BTree, LSM Trees ➔ Como os dados são organizados em disco: diretório ou um arquivo ➔ Qual o schema: relacional ou K/V ? ➔ Como fazer queries ? ➔ Nativo em Go ou precisa de uma biblioteca cliente ? ➔ Otimizações para casos específicos (melhor em leitura ou escrita) Features
9. 1 SQLite • Dados armazenados em um arquivo, cada tabela um BTree • Dados relacionais, queries em linguagem SQL • Transações, journal e WAL • Escrito em C, bibliotecas para muitas linguagens • Compacto e compativel entre releases. Um dos DBs mais antigos e usados em sistemas embarcados (telefones, centrais de midia)
10. 1 BoltDB • Dados armazenados em um arquivo, formato BTree, dados K/V • Queries em uma transação, direto por chave e ranges de chaves. • Transações, journal • Escrito em Go, nativo • Bom para aplicações de leitura intensiva Base do InfluxDB, especializado em timeseries.
11. 1 LevelDB • Dados armazenados em um diretório, usa LSM Trees, dados K/V • Queries em uma transação, direto por chave e ranges de chaves. • Implementa: Transações, Compactação • Escrito em C, ports nativos em Go • Bom para aplicações de escrita intensiva Criado pelo Google, tem variações como RocksDB (Facebook) e evoluções como o BadgerDB
12. 1 BadgerDB • Dados armazenados em um diretório, usa LSM Trees, dados K/V • Queries em uma transação, direto por chave e ranges de chaves. • Implementa: Transações, Compactação, separação de chaves e valores • Escrito em Go • Bom para aplicações de escrita intensiva Criado por dgraph.io
13. Beano
14. Beano - K/V database • Protocolo Memcached • Dados em disco • Hot swap de dados • GO !
15. Beano - K/V database
16. Beano - K/V database
17. Beano - K/V database
18. Beano - K/V database
19. Beano - K/V database
20. Conclusão
21. Obrigado ! github.com/gleicon medium.com/@gleicon gmoraes@luc.id