Event Source com Kafka em uma Fintech Diego Irismar, moip @diegoicosta

O Mal-Estar nos Microserviços

Microserviços - Autonomia - Coesão - Escalabilidade - Bla bla bla ...

processo ‘xyz’ de negócio Microserviços 1 Sempre consistente ? 0ms 2 3 150ms 350ms

Consistência é Sempre Eventual

Microserviços Em uma simples chamada HTTP síncrona … [2] pode gerar lentidão em [1] [2] pode derrubar todo sistema [1] não sabe se [2] funcionou ou não [1] precisa “desfazer” se [2] falhou 1 2

Síncrono NÃO é ser mais Simples Consistência é Sempre Eventual

Microserviços Autonomia - Sem acesso direto ao modelo de dados - Propositalmente, estão encapsulados - Modelo evolui sem dependências externas - Time decide como e quais tecnologias

Dados não estão Integrados Consistência é Sempre Eventual Síncrono NÃO é ser mais Simples

No content

EVENTOS

Eventos ... Comunicação por eventos não é novidade (Event-Driven) Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades

Eventos ... Sem dependência direta entre serviços (async) Consistência eventual Plataforma de Eventos é para onde tudo passa processo ‘xyz’ de negócio 2 3 Plataforma de Eventos 1 1 2 3

Eventos Sistemas Financeiros

Eventos Financeiros Mudanças de estado de saldos (balance) - Há sempre um evento atrelado - Um Lançamento Financeiro (entry) - Auditável - Rastreável - Traduzidos para uma visão amigável

Eventos Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades

Event Sourcing “Event Sourcing happens when we can entirely derive the state of an application by processing the log of Domain Events” Martin Fowler

Event Sourcing “Persistência de cada uma das mudanças sofridas pela entidade que comprove seu estado atual. Log da entidade”

Event Sourcing Log da entidade ? PAY-01:PAYMENT attr_1: 01 attr_2: 02 attr_3: 03 attr_n: 0N PAY-01:PAYMENT_LOG created_at: 01/01 attr_02: 222 attr_03: 333 1 *

Event Sourcing Não há mutação de estado! event_id pay_id created_at attr_1 attr_2 attr_3 attr_n 0002 PAY-01 02/01/2017 01 02 03 0N 0001 PAY-01 01/01/2017 01 222 333 0N

Event Sourcing event_id pay_id data 0002 PAY-01 { "payment_id": "PAY-01", "created_at": “02/01/2017, "attr_1": 01, "attr_2": 02, "attr_3": 03, "attr_n": "0N" } 0001 PAY-01 { "payment_id": "PAY-01", "created_at": “01/01/2017, "attr_1": 01, "attr_2": 222, "attr_3": 333, "attr_n": "0N" }

Event Sourcing yes[] no[x] Banco Relacional yes[] no[x] ORM yes[] no[x] CRUD

A Resposta Kafka

Kafka “Event sourcing involves maintaining an immutable sequence of events that multiple applications can subscribe to. Kafka is a high-performance, low-latency, scalable and durable log” Neha Narkhede

Kafka 1 4 2 3

Restrições: ORM, RDBMS, CRUD - Modelo de Domínio não precisa ORM (DDD) - Alteração em entidades de domínio geram eventos (event sourcing) - Eventos vão para o Kafka e nele persistidos - O modelo de escrita != leitura

Decifrando Várias visões podem ser derivadas processando o stream: Relacional, BI, ElasticSearch, Graph Eventos são a fonte da verdade e fluem pelo Kafka continuamente, um stream

CQRS (Command Query Responsibility Segregation)

CQRS “The processing of commands and queries is fundamentally asymmetrical, and scaling the services symmetrically does not make a lot of sense” Greg Young

CQRS Abordagem para uma nova app muda - Modelo de domínio (de verdade) - A leitura é outro modelo - Até mesmo outra app - Outra tecnologia

- Kafka é o log de eventos: durável, resiliente,escalável - Única maneira de acesso é consumindo streams - Microserviço é invocado - Cria-se visões especializadas CQRS EventSource EventDriven StreamProcessing

Tudo isso e o Moip CQRS EventSource EventDriven StreamProcessing Kafka

Moip use cases - Contabilidade - Sincronismo de Saldos entre Sistemas

Contabilidade Dados Transacionais Dados Financeiros Movimento regras contábeis Registro Contábil Beckenbauer

Moip - Beckenbauer Lançamentos Financeiros passam pelo Kafka Dados Transacionais Não

Kafka Connect “Kafka Connect é uma ferramenta para, de forma escalável e confiável, fazer streaming de dados entre o Kafka e outros sistemas” confluent inc

base (mysql) transacional connect mysql Microserviço Financeiro (Stream Process) Contabilidade tem todo input para acontecer

Beckenbauer - Stream Process - Joins Dados Transacionais Dados Financeiros Movimento Algo comum com stream process: - junção de 2 streams gerando um terceiro

Beckenbauer - Stream Process - Há várias possibilidades Flink, Spark, Storm, Samza, Kafka Streams

KStreamBuilder builder = new KStreamBuilder(); KStream authStream = builder.stream(Serdes.String(), authSerde, TOPIC_AUTHORIZATIONS); builder .stream(Serdes.String(), entrySerde, TOPIC_FIN_ENTRIES) .filter(isAuthorization()) .map(reindexKey()) .join(authStream, joinNormalize(), JoinWindows.of(JOIN_WINDOW_TIME), Serdes.String(), entrySerde, authSerde) .to(Serdes.String(), movementSerde, TOPIC_MOVEMENTS);

base (mysql) transacional connect mysql Microserviço Financeiro Beckenbauer Join: Financial +Authorization movement

Resultado do Join (movement) é o input da aplicação das regras contábeis Movimento regras contábeis Registro Contábil Beckenbauer - Stream Process

KStreamBuilder builder= new KStreamBuilder(); builder .stream(Serdes.String(), movementSerde,TOPIC_MOVEMENTS) .transform(() -> new MovementTransformer()) .to(Serdes.String(), bookingSerde, TOPIC_BOOKINGS);

base (mysql) transacional connect mysql Microserviço Financeiro Beckenbauer Join: Financial +Authorization movement Accounting Rules movement

Backenbauer - Stack - Java 8 - Mysql - Kafka - Source Connector MySQL: Debezium - Kafka Streams - Spring Boot

Sincronismo de saldos Captura modificações Normaliza Atualiza saldo Financial Balance (mysql) Classic Moip (mysql) New Balance

Sync de Saldo em Sistema Legado Financial Balance (mysql) Classic Moip (mysql) connector mysql (source) New Balance connector mysql (sinky)

KStreamBuilder builder= new KStreamBuilder(); builder .stream(keySerde, debeziumDeserializer, BALANCE_db.getTopic()) .transform(() -> balanceTransformer) .to(keySerde, balanceSerde, BALANCE_FINANCIAL.getTopic());

Sync Saldos - Stack - Java 8 - Mysql - Kafka - Source Connector MySQL: Debezium - Sink Connector: MySQL Sink Connector - Kafka Streams - Spring Boot

Escalabilidade e Resiliência Apps baseadas em Kafka - Escalabilidade Horizontal Partições por tópico e consumo em paralelo - Resiliência Todos componentes são clusterizados

topic: balance 1 2 3 partitions consumer 1 consumer 2 consumer 3 Número de partições de um tópico define o máximo de paralelismo possível no consumo Escalabilidade

topic: balance 1 2 3 partitions consumer 1 consumer 2 consumer 3 Caso um consumer pare de responder, outro assume de onde parou Resiliência

Futuro Se aprofundar mais nessa abordagem - Não fazer “dual writes” - Menos connect de “source” - CQRS - Elastic Search, etc - Stream process stateful - Melhorar infra e operação - Contribuir mais com comunidade

Kafka + - Replication Factory - Partition number - Log compaction / Log Retention - Consumer Offsets - Zookeeper - Stateful Stream Process

Rodrigo Montanha Gabriel Queiroz Lucas França William Souza Allan Pires Guilherme Sipoloni time moip

Pessoas-Chave Gwen Shapira @gwenshap Neha Narkhede @nehanarkhede Jay Kreps @jaykreps Martin Kleppmann @martinkl Eno Thereska @enothereska Greg Young http://goodenoughsoftware.net/

Referências https://www.confluent.io/blog/hello-world-kafka-connect-kafka-streams/ https://www.confluent.io/blog/distributed-real-time-joins-and-aggregations-on-user-activity-events-us ing-kafka-streams/ https://www.confluent.io/blog/turning-the-database-inside-out-with-apache-samza/ https://www.confluent.io/blog/making-sense-of-stream-processing/ https://cqrs.files.wordpress.com/2010/11/cqrs_documents.pdf https://martinfowler.com/eaaDev/EventNarrative.html https://www.confluent.io/blog/event-sourcing-cqrs-stream-processing-apache-kafka-whats-connection/ https://www.confluent.io/blog/data-dichotomy-rethinking-the-way-we-treat-data-and-services/

Perguntas Diego Irismar - @diegoicosta - github.com/diegoicosta - linkedin.com/in/diegoicosta