Event Source com Kafka em uma Fintech - Moip DevDay 1

A motivação e a execução de uma solução de event source baseada em Kafka no moip

Transcript

1. Event Source com Kafka em uma Fintech Diego Irismar, moip @diegoicosta
2. O Mal-Estar nos Microserviços
3. Microserviços - Autonomia - Coesão - Escalabilidade - Bla bla bla ...
4. processo ‘xyz’ de negócio Microserviços - Processos complexos de negócio se “espalham” por mais de um serviço - Comunicação entre eles via HTTP REST 1 4 2 3 HTTP HTTP HTTP
5. processo ‘xyz’ de negócio Microserviços 1 4 2 3 Sucesso total, mas ... Durante o intervalo de execução, o processo ‘xyz’ esteve sempre em um estado consistente ? duração: 600ms
6. Consistência é Sempre Eventual Microserviços
7. Microserviços Em uma simples chamada HTTP síncrona … [2] pode gerar lentidão em [1] [2] pode derrubar todo sistema [1] não sabe se [2] funcionou ou não [1] precisa “desfazer” se [2] realmente falhou 1 2
8. Síncrono NÃO é ser mais Simples Microserviços
9. Microserviços - Autonomia - Coesão - Escalabilidade - Bla bla bla ...
10. Microserviços - Não há acesso direto ao modelo de dados - Propositalmente, estão encapsulados - Modelo evolui sem dependências externas - Time decide como ele será e quais tecnologias
11. MICROSERVICES Dados não estão Integrados
12. Recapitulando Consistência Eventual Riscos ao ser Síncrono Não Integração de dados
14. Eventos para Salvação
15. Eventos ... Sistemas se comunicarem por meio de eventos não é uma novidade (Event-Driven) - O produtor emite um evento que retrata uma mudança em seu estado - Outro sistema captura esse evento, trata, eventualmente muda seu estado e emite outro evento
16. Eventos ... Eventos são fatos, representam o passado São por definição Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades
17. Eventos ... Sem dependência direta entre serviços (async) Consistência eventual Plataforma de Eventos é para onde tudo flue processo ‘xyz’ de negócio 4 2 3 Plataforma de Eventos 1 1 4 2 3
18. Eventos Sistemas Financeiros
19. Eventos Financeiros Mudanças de estado de saldos (balance) - Há sempre um evento atrelado - Um Lançamento Financeiro (entry) - Auditável - Rastreável - Traduzidos para uma visão amigável
20. Eventos Eventos são fatos, representam o passado. São por definição Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades
21. Event Sourcing “Event Sourcing happens when we can entirely derive the state of an application by processing the log of Domain Events” Martin Fowler
22. Event Sourcing Persistência de cada uma das mudanças sofridas pela entidade que comprove seu estado atual - Log da entidade
23. Event Sourcing Log da entidade ? PAY-01:PAYMENT attr_1: 01 attr_2: 02 attr_3: 03 attr_n: 0N PAY-01:PAYMENT_LOG created_at: 01/01 attr_02: 222 attr_03: 333 1 *
24. Event Sourcing Não há mutação de estado! event_id pay_id created_at attr_1 attr_2 attr_3 attr_n 0002 PAY-01 02/01/2017 01 02 03 0N 0001 PAY-01 01/01/2017 01 222 333 0N
25. Event Sourcing event_id pay_id data 0002 PAY-01 { "payment_id": "PAY-01", "created_at": “02/01/2017, "attr_1": 01, "attr_2": 02, "attr_3": 03, "attr_n": "0N" } 0001 PAY-01 { "payment_id": "PAY-01", "created_at": “01/01/2017, "attr_1": 01, "attr_2": 222, "attr_3": 333, "attr_n": "0N" }
26. Event Sourcing yes[] no[x] Banco Relacional yes[] no[x] ORM yes[] no[x] CRUD
28. A Resposta Kafka
29. Kafka “Event sourcing and Apache Kafka are related. Here’s how – Event sourcing involves maintaining an immutable sequence of events that multiple applications can subscribe to. Kafka is a high-performance, low-latency, scalable and durable log” Neha Narkhede
30. kafka Kafka 1 4 2 3
31. Kafka 1 4 2 3
32. Restrições: ORM, RDBMS, CRUD - Modelo de Domínio não precisa ORM (DDD) - Alteração em entidades de domínio geram eventos - event sourcing - Eventos vão para o Kafka e nele persistidos - O modelo de escrita != leitura
33. Escrita != Leitura - Modelo onde eventos são persistidos não atende as necessidades de leitura - O modelo de Leitura precisa ser especializado para esta função - Uma visão derivada dos eventos
34. Martin Kleppmann: turning the database inside out with apache-samza
35. Decifrando Várias visões podem ser derivadas processando o stream: Relacional, BI, ElasticSearch, Graph Eventos são a fonte da verdade e fluem pelo Kafka continuamente, um stream
36. CQRS (Command Query Responsibility Segregation)
37. CQRS “The processing of commands and queries is fundamentally asymmetrical, and scaling the services symmetrically does not make a lot of sense” Greg Young
38. CQRS Padrão ao se construir nova app: 1. Criar modelo Relacional 2. Mapear modelo Relacional (ORM) 3. Implementar DAO - Repository 4. Fazer o resto …
39. CQRS problema: A Realidade - novas necessidades de clientes - aumento exponencial de volume “Otimizações”
40. CQRS Abordagem para uma nova app muda - Modelo de domínio (de verdade) - A leitura é outro modelo - Até mesmo outra app - Outra tecnologia
41. - Kafka é o log de eventos: durável, resiliente,escalável (event source) - Única maneira de acesso é consumindo streams (stream processing) - Microserviço é invocado (event-driven) - Cria-se visões especializadas (cqrs) CQRS EventSource EventDriven StreamProcessing Kafka
42. Kafka Event Streams Event Processing Event-Driven Event Source CQRS
43. Tudo isso e o Moip CQRS EventSource EventDriven StreamProcessing Kafka
44. Moip - Contabilidade - Atualização de Saldos em sistema legado
45. Contabilidade Dados Transacionais Dados Financeiros Movimento regras contábeis Registro Contábil Beckenbauer
46. Moip - Beckenbauer Todos Lançamentos Financeiros passam pelo Kafka Dados Transacionais Não
47. Kafka Connect “Kafka Connect é uma ferramenta para, de forma escalável e confiável, fazer streaming de dados entre o Kafka e outros sistemas” confluent inc
48. confluent inc blog :hello world kafka connect kafka streams
49. base (mysql) transacional connect mysql Microserviço Financeiro (Stream Process) Contabilidade tem todo input para acontecer
50. Beckenbauer - Stream Process - Joins Dados Transacionais Dados Financeiros Movimento Algo comum com stream process: - junção de 2 streams gerando um terceiro stream
51. Beckenbauer - Stream Process - Há várias possibilidades - Kafka Streams
52. KStreamBuilder builder = new KStreamBuilder(); KStream<String, Authorization> authStream = builder.stream(Serdes.String(), authSerde, TOPIC_AUTHORIZATIONS); builder .stream(Serdes.String(), entrySerde, TOPIC_FIN_ENTRIES) .filter(isAuthorization()) .map(reindexKey()) .join(authStream, joinNormalize(), JoinWindows.of(JOIN_WINDOW_TIME), Serdes.String(), entrySerde, authSerde) .to(Serdes.String(), movementSerde, TOPIC_MOVEMENTS);
53. Resultado do Join (movement) é o input da aplicação das regras contábeis Movimento regras contábeis Registro Contábil Beckenbauer - Stream Process
54. KStreamBuilder builder= new KStreamBuilder(); builder .stream(Serdes.String(), movementSerde,TOPIC_MOVEMENTS) .transform(() -> new MovementTransformer()) .to(Serdes.String(), bookingSerde, TOPIC_BOOKINGS);
55. Sync de Saldo em Sistema Legado Financial Balance (mysql) Classic Moip (mysql) connect mysql (source) normalizador connect mysql (sinky)
56. Normalizador Registro saldo Original Reformata Breitner
57. KStreamBuilder builder= new KStreamBuilder(); builder .stream(keySerde, debeziumDeserializer, BALANCE_db.getTopic()) .transform(() -> balanceTransformer) .to(keySerde, balanceSerde, BALANCE_FINANCIAL.getTopic());
58. New Balance Breitner connect mysql (sinky) Classic Moip (mysql)
59. Futuro Se aprofundar mais nessa abordagem - Não fazer “dual writes” - Menos connect de “source” - CQRS Elastic Search, etc - Stream process stateful - Melhorar infra e operação - Contribuir mais com comunidade
60. Kafka + - Replication Factory - Partition number - Log compaction / Log Retention - Consumer Offsets - Zookeeper - Stateful Stream Process
61. Rodrigo Montanha Gabriel Queiroz Lucas França William Souza Allan Pires Guilherme Sipoloni time moip
62. Pessoas-Chave Gwen Shapira @gwenshap Neha Narkhede @nehanarkhede Jay Kreps @jaykreps Martin Kleppmann @martinkl Eno Thereska @enothereska Greg Young http://goodenoughsoftware.net/
63. Referências https://www.confluent.io/blog/hello-world-kafka-connect-kafka-streams/ https://www.confluent.io/blog/distributed-real-time-joins-and-aggregations-on-user-activity-events-us ing-kafka-streams/ https://www.confluent.io/blog/turning-the-database-inside-out-with-apache-samza/ https://www.confluent.io/blog/making-sense-of-stream-processing/ https://cqrs.files.wordpress.com/2010/11/cqrs_documents.pdf https://martinfowler.com/eaaDev/EventNarrative.html https://www.confluent.io/blog/event-sourcing-cqrs-stream-processing-apache-kafka-whats-connection/ https://www.confluent.io/blog/data-dichotomy-rethinking-the-way-we-treat-data-and-services/
64. Perguntas Diego Irismar - @diegoicosta - github.com/diegoicosta - linkedin.com/in/diegoicosta