Vantagens não intuitivas do Datomic

Transcript

1. Rodrigo Flores (@rlmflores) Vantagens não intuitivas do Datomic
2. Rodrigo Flores 2 Engenheiro de Software 6 anos de experiência com desenvolvimento de software (4 anos com Ruby e 2 com Clojure) Lida com Datomic todo dia a 2 anos @rlmflores no twitter rodrigoflores no github rodrigo.flores@nubank.com.br
4. MOVE FAST BREAK THINGS
5. BUT HEAL the bugs quickly
8. O que é o Datomic ?
9. 9 Banco de dados baseado em Fatos
10. 10 João tem um saldo de R$ 123.34
11. 11 Id Saldo João 123.45
12. 12 Entidade Atributo Valor João Saldo 123.45
13. 13 Entidade/Atributo/Valor (EAV)
14. 14 Linhas são registros Colunas são atributos
15. 15 Representação “esparsa”
16. 16 Entidade Atributo Valor Hora João Saldo 123.45 10/09/2016 - 12:01:45 João Saldo 123.45 15/09/2016 - 15:06:37 João Saldo 113.45 15/09/2016 - 15:06:37
17. 17 Entidade Atributo Valor Tx João Saldo 123.45 1032 1032 Hora 10/09/2016 - 12:01:45 1032 João Saldo 123.45 12321 João Saldo 113.45 12321 12321 Hora 15/09/2016 - 15:06:37 12321
18. 18 Entidade Atributo Valor Tx Add? João Saldo 123.45 1032 TRUE 1032 Hora 10/09/2016 - 12:01:45 1032 TRUE João Saldo 123.45 12321 FALSE João Saldo 113.45 12321 TRUE 12321 Hora 15/09/2016 - 15:06:37 12321 TRUE
19. 19 Entidade Atributo Valor Tx Add? 456 Saldo 123.45 1032 TRUE 456 Nome João 1032 TRUE 1032 Hora 10/09/2016 - 12:01:45 1032 TRUE 456 Saldo 123.45 12321 FALSE 456 Saldo 113.45 12321 TRUE 12321 Hora 15/09/2016 - 15:06:37 12321 TRUE
20. 20 Entidade Atributo Valor Tx Add? 456 Saldo 123.45 1032 TRUE 456 Nome João 1032 TRUE 1032 Hora 10/09/2016 - 12:01:45 1032 TRUE 1032 Quem fez Fulano 1 1032 TRUE 456 Saldo 123.45 12321 FALSE 456 Saldo 113.45 12321 TRUE 12321 Hora 15/09/2016 - 15:06:37 12321 TRUE 12321 Quem fez Fulano 2 12321 TRUE Inserçnao / Retração
21. 21 Entidade Atributo
 Valor Transação Datom
22. Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z
23. Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z Id Saldo Nome Telefone CPF Endereço 456 123.45 João (11)2222-2222 333.444.555-00 Rua A 500 999.99 José (11)2222-2224 333.445.555-00 Rua B 555 12.21 João (11)2222-2222 332.444.555-00 Rua P 600 9999.1 João (11)2222-2222 133.444.555-00 Rua L 700 -90.12 João (11)2222-2222 333.444.355-00 Rua Z
24. 24 Dado uma data/hora você consegue ver o valor de um determinado dado no seu banco ?
25. 25 Dado uma data/hora você consegue ver qual versão da sua aplicação estava em produção ?
27. Vantagem não Intuitiva
29. 29 Por quê tem MUITO dado. Manter o histórico de muitos dados é muito custoso.
30. 30 http://www.stuttaford.me/2016/01/15/how-cognician-uses-onyx/ 3 Partes Peer - Roda dentro da sua aplicação e mantém um quantidade de datoms; Transactor - Parte responsávell pela escrita no banco. Contém uma fila de transações a serem escritas. Storage: a parte persistente do banco,armazena tudo de forma durável.
31. 31 Storage
33. 33 Mas será que todos os dados precisam ser acessados do mesmo jeito ?
34. 34 Qual o saldo do João agora ? Qual era o saldo do João no dia 12/04/2016 às 10:21:01 ?
35. 35 Índices
36. 36 Live Index
37. 37 Entidade e seus atributos/values (EAVT)
38. 38 E A V T 456 Nome João 123 456 Saldo 113.45 1012 456 Idade 25 155
39. 39 Tenho uma entidade, é rápido achar seus atributos
40. 40 Índice de “linha” numa “tabela”
41. 41 Atributos e suas entidades (AEVT)
42. 42 A E V T Nome 456 João 123 Nome 565 José 777 Nome 999 Marcelo 888
43. 43 Índice de coluna
44. 44 Tenho um atributo, é rápido achar as entidades que têm aquele atributo
45. 45 Qualquer entidade pode ter qualquer atributo (não existe tipo)
46. 46 AVET
47. 47 A V E T 665 João Augusto 555 900 788 João Carlos 789 761 801 João Miguel 981 123
48. 48 Índice baseado em valores
49. 49 Mais caro de manter, opcional
50. 50 VAET
51. 51 V A E T 901 Conta 555 900 955 Conta 789 761 123 Conta 981 123
52. 52 Navegação reversa na associação
53. 53 Qual o saldo do João ?
54. 54 Achar o João (barato, supondo que o nome seja indexado) Achar o saldo dele (barato, EAVT)
55. 55 {:find [?balance] :in [$ ?name] :where [[$ ?acc :account/name ?name] [$ ?acc :account/balance ?balance]]}
56. 56 Log API
57. 57 MUITO dado
58. 58 Índices ajudam bastante
59. 59 Queries são feitas nos peers
60. Vantagem não Intuitiva
62. 62 Cliente - Servidor
63. 63 Caching
64. Busca Centralizada 64
65. 65 Queries concorrem no servidor
66. 66 Muitos clientes => Muitas queries
67. 67 Gargalos
68. 68 Busca distribuída => perde um pouco de consistência
69. 69 Toda transação é repassada para todos os peers Perde um pouco de consistência do banco Mas mantém consistência a nível de transação
70. 70 http://www.stuttaford.me/2016/01/15/how-cognician-uses-onyx/
71. 71 Mais simples de escalar: recursos de aplicação são horizontalmente escaláveis
72. 72 É possível fazer queries com N bancos diferentes
73. 73 Mesma aplicação pode escrever/ consultar em dois bancos diferentes
74. 74 Banco de N dias atrás e o banco de hoje
75. 75 Criando uma aplicação que consegue fazer queries em realtime em todos os bancos Micro serviços
76. 76 Queries feitas nos peers
77. 77 Mais “fácil” de escalar
78. 78 Múltiplos bancos na mesma query
79. Vantagens Intuitivas
80. 80 Garante propriedades ACID
81. 81 [[:db/add 123 :account/balance 113.45] [:db/add 456 :account/balance 151.45]]
82. 82 Tolerância
83. 83 Caching
84. 84 Métricas
85. 85 Deploy
86. 86 Quero usar com Ruby!
87. 87 JVM
88. 88 https://github.com/relevance/diametric
89. 89 Quero aprender mais!
90. 90 https://datomic.com
91. 91 http://bit.ly/four-hidden-superpowers- of-datomic http://bit.ly/immutable-data-science- with-datomic
92. Concluindo
93. 93 Lidar com dinheiro é difícil
94. 94 Manter o histórico + metadados de cada transação ajuda MUITO
95. 95 Poder fazer queries pegando um timestamp específico do banco também ajuda (mantém as coisas previsíveis)
96. Dúvidas ? @rlmflores github.com/Rodrigoflores