Redescobrindo o Papel do Apache Kafka em Arquiteturas de Dados Modernas

Redescobrindo o papel do apache kafka® em arquiteturas de dados
modernas @riferrei | @confluentinc | @bdwspbr

Quem sou eu?

@riferrei | @confluentinc | @itau

Developer advocate

@riferrei | @confluentinc | @itau @riferrei @riferrei @riferrei https://riferrei.net [email protected]

@riferrei | @confluentinc | @itau O que é apache kafka?

@riferrei | @confluentinc | @itau O apache kafka é um
distributed streaming platform

@riferrei | @confluentinc | @itau O que são streams?

@riferrei | @confluentinc | @itau Streams são eventos infinitos

@riferrei | @confluentinc | @itau Um distributed streaming platform é
usado para unificar armazenamento e computação

Vamos voltar no tempo?

Banco de dados há 30 anos atrás

Desenvolvedor cheio de expectativas Banco de dados hoje em dia…

@riferrei | @confluentinc | @itau Qual o Problema dos bancos
de dados?

Muito limitado! Faz muita lambança!

Limitado? Tá querendo me sacanear?

Por quê você acha que a gente faz cargas batch
para o dwh? Sim, limitado.

lambança Linha de negócio 01 Linha de negócio 02 Linha
de negócio 03

@riferrei | @confluentinc | @itau Workarounds criados pela indústria

@riferrei | @confluentinc | @itau Resultado…

lambança Linha de negócio 01 Linha de negócio 02 Linha
de negócio 03

Vamos voltar no tempo?

Jay kreps Neha narkhede Jun rao

Banco de dados Aplicação web Aplicação web Primeira versão do
linkedin

@riferrei | @confluentinc | @itau Evento estado > Eu Mudei
meu empredo da oracle para a confluent Eu trabalho na confluent

@riferrei | @confluentinc | @itau Mudança de emprego Máquina de
sugestões Sistema de buscas Serviço de email

@riferrei | @confluentinc | @itau SQL SQL SQL Máquina de
sugestões Sistema de buscas Serviço de email Bancos de dados são bons para guardar estado Banco de dados LOG

@riferrei | @confluentinc | @itau Mas não lidam muito bem
com grandes volumes Banco de dados 1000x mais volume Eventos não-transacionais Eventos transacionais LOG

@riferrei | @confluentinc | @itau Tracking de usuários Aplicações de
logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH

@riferrei | @confluentinc | @itau conclusão: o uso de bancos
de dados não era apropriado dado o problema a ser resolvido!

@riferrei | @confluentinc | @itau LOG Tracking de usuários Aplicações
de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH

@riferrei | @confluentinc | @itau Por quê não usar mensageria?

de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH Mensageria também não lida bem Com volume

de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH Mensageria não suporta persistência direito

45 banco de dados mensageria Batch Caro de manter Lento
demais Difícil de escalar Não têm durabilidade Não têm persistência não possui ordem Não possui replay transacional durável Persistente Mantêm ordem replay rápido (baixa latência) O que está acontecendo agora? O que aconteceu no passado?

46 banco de dados mensageria Batch Caro de manter Lento
demais Difícil de escalar Não têm durabilidade Não têm persistência não possui ordem Não possui replay Highly Scalable Durable Persistent Ordered Fast (Low Latency) O que está acontecendo agora? O que aconteceu no passado? transacional durável Persistente Mantêm ordem replay rápido (baixa latência) distributed streaming platform

@riferrei | @confluentinc | @itau O apache kafka é um
distributed streaming platform

@riferrei | @confluentinc | @itau Por quê nínguem nunca me
explicou isso antes?

@riferrei | @confluentinc | @itau Você nunca entenderá o kafka
Se você focar APENAS em mensageria

50 01 Mensageria bem feita 02 Processamento de eventos 03
Sistema de armazenamento

@riferrei | @confluentinc | @itau 01 Mensageria bem feita

“The truth is the log. The database is a cache
of a subset of the log.” — pat helland Immutability changes everything http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf

@riferrei | @confluentinc | @itau Banco de dados 0 1
2 3 4 5 6 7 8 LOG leituras escritas DESTINo sistema A (tempo = 2) DESTINo sistema b (tempo = 6) Banco de dados invertido: logs passam a ser mais importantes que tabelas

@riferrei | @confluentinc | @itau novo registro Registro antigo offset

@riferrei | @confluentinc | @itau Novo registro Registro antigo offset

@riferrei | @confluentinc | @itau BROKER 1 BROKER 2 BROKER
3 BROKER 4 TOPIC 1-PART 1 TOPIC 2-PART 3 TOPIC 3-PART 1 TOPIC 2-PART 1 TOPIC 5-PART 1 TOPIC 6-PART 1 TOPIC 1-PART 2 TOPIC 2-PART 4 TOPIC 3-PART 2 TOPIC 2-PART 2 TOPIC 5-PART 2 TOPIC 6-PART 2 CONSUmidor CONSUMidor CONSUmidor PRODUtor PRODutor PRODUtor Escalabilidade através de particionamento

@riferrei | @confluentinc | @itau Maior volume de dados Graças
ao uso Do page cache do Sistema operacional

@riferrei | @confluentinc | @itau Menos uso de cpu e
heap Através da api sendfile do linux

@riferrei | @confluentinc | @itau 02 processamento de eventos

http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf Você realmente acha que você faz consultas em tabelas?

Dualidade entre streams e tabelas {"user":"riferrei","score":"1001"} {"user":"riferrei","score":"1002"} {"user":"riferrei","score":"1003"} {"user":"riferrei","score":"1004"} {"user":"riferrei","score":"1005"}
{"user":"riferrei","score":"1005"} stream tabela

@riferrei | @confluentinc | @itau O que é processamento de
eventos? CREATE STREAM possible_fraud AS SELECT card_number, count(*) FROM authorization_attempts WINDOW TUMBLING (SIZE 5 MINUTE) GROUP BY card_number HAVING count(*) > 3; Tentativa de fraude possível fraude tópico tópico

@riferrei | @confluentinc | @itau 03 Sistema de armazenamento

É… mas só um banco de dados consegue prover acid…

A C I D Transações precisam ser ou tudo ou
nada

@riferrei | @confluentinc | @itau Api de transações para produtores
Níveis de isolamento para consumidores aplicação

@riferrei | @confluentinc | @itau A C I D Reinforçar
invariantes que garantam consistência

@riferrei | @confluentinc | @itau Propriedades do Produtor enable.idempotence=true max.inflight.requests.per.connection=1
acks = “all” retries > 0 (preferably MAX_INT) (pid, seq) [payload] (100, 1) {key: 1234, data: abcd} - offset 3345 (100, 1) {key: 1234, data: abcd} - rejected, ack re-sent (100, 2) {key: 5678, data: efgh} - offset 3346 Sem duplicação!

@riferrei | @confluentinc | @itau Eventos em ordem por partição

@riferrei | @confluentinc | @itau Schemas são apis

@riferrei | @confluentinc | @itau Diga olá ao schema registry
fonte destino

@riferrei | @confluentinc | @itau A C I D Garantir
acesso serial mesmo quando threads executam de forma concorrente

@riferrei | @confluentinc | @itau Produzindo registros sem chave aplicação
Registros serão escritos em várias partições diferentes

@riferrei | @confluentinc | @itau Produzindo registros com chave Aplicação
a Aplicação b Aplicação c Aplicação d

@riferrei | @confluentinc | @itau A C I D Dados
commitados devem permanecer assim mesmo em caso de falhas

@riferrei | @confluentinc | @itau Lembra disso?

@riferrei | @confluentinc | @itau Tolerância a falhas via replicação

@riferrei | @confluentinc | @itau obrigado

Redescobrindo o Papel do Apache Kafka em Arquit...

Redescobrindo o Papel do Apache Kafka em Arquiteturas de Dados Modernas

Transcript

More Decks by Ricardo Ferreira

Other Decks in Programming

Featured