Redescobrindo o Papel do Apache Kafka® em Arquiteturas de Dados Modernas

Apresentação realizada por Ricardo Ferreira no Big Data Week São Paulo 2019 [http://sao-paulo.bigdataweek.com].

O uso de distributed streaming platforms está se tornando cada vez mais popular entre os desenvolvedores, mas o que é exatamente isso? Parte sistema de mensageria no estilo Publish/Subscribe, parte persistência distribuída, parte máquina de processamento de eventos “tipo CEP”, o uso desse tipo de tecnologia oferece uma perspectiva totalmente nova sobre como desenvolvedores devem capturar, armazenar, e processar dados. Esta palestra irá explicar o que são distributed streaming platforms e qual sua relevância em arquiteturas de dados modernas. Serão discutidos cenários onde essa tecnologia pode ser implementada, como isso é feito usando o Apache Kafka e como ele endereça questões mais complexas como ACID. Uma demonstração ao vivo será feita para solidificar o entendimento.

Transcript

1. Redescobrindo o papel do apache kafka® em arquiteturas de dados modernas @riferrei | @confluentinc | @bdwspbr
2. Developer advocate, confluent
3. Sobre Mim @rmoff @riferrei @tlberglund @gamussa
4. @riferrei | @confluentinc | @itau @riferrei @riferrei @riferrei https://riferrei.net
5. @riferrei | @confluentinc | @itau O que é apache kafka?
6. @riferrei | @confluentinc | @itau Antes disso…
8. @riferrei | @confluentinc | @itau Agora sim: O que é apache kafka?
9. @riferrei | @confluentinc | @itau O apache kafka é um distributed streaming platform
10. @riferrei | @confluentinc | @itau
11. @riferrei | @confluentinc | @itau
12. @riferrei | @confluentinc | @itau
13. Vamos voltar no tempo?
14. Banco de dados há 30 anos atrás
15. Desenvolvedor cheio de expectativas Banco de dados hoje em dia…
16. Cara, Você está me envergonhando na frente dos gerentes de projeto…
17. @riferrei | @confluentinc | @itau Qual o Problema dos bancos de dados?
18. Muito limitado! Faz muita lambança!
19. Limitado? Tá querendo me sacanear?
20. Por quê você acha que a gente faz cargas batch para o dwh? Sim, limitado.
21. lambança Linha de negócio 01 Linha de negócio 02 Linha de negócio 03
22. Eita que diagrama bunito... Um Monte de licença pra vender!
23. @riferrei | @confluentinc | @itau Workarounds criados pela indústria
25. nosql
27. @riferrei | @confluentinc | @itau Resultado…
28. lambança Linha de negócio 01 Linha de negócio 02 Linha de negócio 03
29. Vamos voltar no tempo?
31. Jay kreps Neha narkhede Jun rao
32. Banco de dados Aplicação web Aplicação web Primeira versão do linkedin
33. @riferrei | @confluentinc | @itau Evento estado >
34. @riferrei | @confluentinc | @itau Evento estado > Eu Mudei meu empredo da oracle para a confluent Eu trabalho na confluent
35. @riferrei | @confluentinc | @itau Mudança de emprego Máquina de sugestões Sistema de buscas Serviço de email
36. @riferrei | @confluentinc | @itau SQL SQL SQL Máquina de sugestões Sistema de buscas Serviço de email Bancos de dados são bons para guardar estado Banco de dados LOG
37. @riferrei | @confluentinc | @itau Mas não lidam muito bem com grandes volumes Banco de dados 1000x mais volume Eventos não-transacionais Eventos transacionais LOG
38. @riferrei | @confluentinc | @itau Eventos não-transacionais Eventos transacionais 0.1% 99.9%
39. @riferrei | @confluentinc | @itau Tracking de usuários Aplicações de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH
40. @riferrei | @confluentinc | @itau conclusão: o uso de bancos de dados não era apropriado dado o problema a ser resolvido!
41. @riferrei | @confluentinc | @itau LOG Tracking de usuários Aplicações de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH
42. @riferrei | @confluentinc | @itau Por quê não usar mensageria?
43. @riferrei | @confluentinc | @itau LOG Tracking de usuários Aplicações de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH Mensageria também não lida bem Com volume
44. @riferrei | @confluentinc | @itau LOG Tracking de usuários Aplicações de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH Mensageria não suporta persistência direito
45. 45 banco de dados mensageria Batch Caro de manter Lento demais Difícil de escalar Não têm durabilidade Não têm persistência não possui ordem Não possui replay transacional durável Persistente Mantêm ordem replay rápido (baixa latência) O que está acontecendo agora? O que aconteceu no passado?
46. 46 banco de dados mensageria Batch Caro de manter Lento demais Difícil de escalar Não têm durabilidade Não têm persistência não possui ordem Não possui replay Highly Scalable Durable Persistent Ordered Fast (Low Latency) O que está acontecendo agora? O que aconteceu no passado? transacional durável Persistente Mantêm ordem replay rápido (baixa latência) distributed streaming platform
47. @riferrei | @confluentinc | @itau O apache kafka é um distributed streaming platform
48. @riferrei | @confluentinc | @itau Por quê nínguem nunca me explicou isso antes?
49. @riferrei | @confluentinc | @itau Você nunca entenderá o kafka Se você focar APENAS em mensageria
50. 50 01 Mensageria bem feita 02 Processamento de eventos 03 Sistema de armazenamento
51. @riferrei | @confluentinc | @itau 01 Mensageria bem feita
52. “The truth is the log. The database is a cache of a subset of the log.” — pat helland Immutability changes everything http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf
53. @riferrei | @confluentinc | @itau Banco de dados 0 1 2 3 4 5 6 7 8 LOG leituras escritas DESTINo sistema A (tempo = 2) DESTINo sistema b (tempo = 6) Banco de dados invertido: logs passam a ser mais importantes que tabelas
54. @riferrei | @confluentinc | @itau 0 1 2 3 4 5 6 7 8 leituras escritas Sistema a Sistema b Gerenciamento de offsets por consumidor
55. @riferrei | @confluentinc | @itau novo registro Registro antigo offset
56. @riferrei | @confluentinc | @itau Novo registro Registro antigo offset
57. @riferrei | @confluentinc | @itau BROKER 1 BROKER 2 BROKER 3 BROKER 4 TOPIC 1-PART 1 TOPIC 2-PART 3 TOPIC 3-PART 1 TOPIC 2-PART 1 TOPIC 5-PART 1 TOPIC 6-PART 1 TOPIC 1-PART 2 TOPIC 2-PART 4 TOPIC 3-PART 2 TOPIC 2-PART 2 TOPIC 5-PART 2 TOPIC 6-PART 2 CONSUMER CONSUMER CONSUMER PRODUCER PRODUCER PRODUCER Escalabilidade através de particionamento
58. @riferrei | @confluentinc | @itau pergunta: por quê o apache kafka é tão rápido?
59. @riferrei | @confluentinc | @itau Maior volume de dados Graças ao uso Do page cache do Sistema operacional
60. @riferrei | @confluentinc | @itau Menos uso de cpu e heap Através da api sendfile do linux
61. @riferrei | @confluentinc | @itau 02 processamento de eventos
62. http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf Você realmente acha que você faz consultas em tabelas?
63. Dualidade entre streams e tabelas {"user":"riferrei","score":"1001"} {"user":"riferrei","score":"1002"} {"user":"riferrei","score":"1003"} {"user":"riferrei","score":"1004"} {"user":"riferrei","score":"1005"} {"user":"riferrei","score":"1005"} stream tabela
64. @riferrei | @confluentinc | @itau O que é processamento de eventos? Tentativa de fraude possível fraude ?
65. @riferrei | @confluentinc | @itau O que é processamento de eventos? CREATE STREAM possible_fraud AS SELECT card_number, count(*) FROM authorization_attempts WINDOW TUMBLING (SIZE 5 MINUTE) GROUP BY card_number HAVING count(*) > 3; Tentativa de fraude possível fraude tópico tópico
67. @riferrei | @confluentinc | @itau pergunta: qual a regra pra definir quando um tópico deve ser persistente?
68. @riferrei | @confluentinc | @itau 03 Sistema de armazenamento
69. É… mas só um banco de dados consegue prover acid…
70. A C I D Transações precisam ser ou tudo ou nada
71. @riferrei | @confluentinc | @itau Api de transações para produtores Níveis de isolamento para consumidores aplicação
72. @riferrei | @confluentinc | @itau A C I D Reinforçar invariantes que garantam consistência
73. @riferrei | @confluentinc | @itau Propriedades do Produtor enable.idempotence=true max.inflight.requests.per.connection=1 acks = “all” retries > 0 (preferably MAX_INT) (pid, seq) [payload] (100, 1) {key: 1234, data: abcd} - offset 3345 (100, 1) {key: 1234, data: abcd} - rejected, ack re-sent (100, 2) {key: 5678, data: efgh} - offset 3346 Sem duplicação!
74. @riferrei | @confluentinc | @itau Eventos em ordem por partição
75. @riferrei | @confluentinc | @itau Schemas são apis
76. @riferrei | @confluentinc | @itau Diga olá ao schema registry fonte destino
77. @riferrei | @confluentinc | @itau A C I D Garantir acesso serial mesmo quando threads executam de forma concorrente
78. @riferrei | @confluentinc | @itau Produzindo registros sem chave aplicação Registros serão escritos em várias partições diferentes
79. @riferrei | @confluentinc | @itau Produzindo registros com chave Aplicação a Aplicação b Aplicação c Aplicação d
80. @riferrei | @confluentinc | @itau A C I D Dados commitados devem permanecer assim mesmo em caso de falhas
81. @riferrei | @confluentinc | @itau Lembra disso?
82. @riferrei | @confluentinc | @itau Tolerância a falhas via replicação
83. @riferrei | @confluentinc | @itau obrigado