Event Source com Kafka em uma Fintech - Moip DevDay 2

Transcript

1. Event Source com Kafka em uma Fintech Diego Irismar, moip @diegoicosta
2. O Mal-Estar nos Microserviços
3. Microserviços - Autonomia - Coesão - Escalabilidade - Bla bla bla ...
4. processo ‘xyz’ de negócio Microserviços 1 Sempre consistente ? 0ms 2 3 150ms 350ms
5. Consistência é Sempre Eventual
6. Microserviços Em uma simples chamada HTTP síncrona … [2] pode gerar lentidão em [1] [2] pode derrubar todo sistema [1] não sabe se [2] funcionou ou não [1] precisa “desfazer” se [2] falhou 1 2
7. Síncrono NÃO é ser mais Simples Consistência é Sempre Eventual
8. Microserviços Autonomia - Sem acesso direto ao modelo de dados - Propositalmente, estão encapsulados - Modelo evolui sem dependências externas - Time decide como e quais tecnologias
9. Dados não estão Integrados Consistência é Sempre Eventual Síncrono NÃO é ser mais Simples
11. EVENTOS
12. Eventos ... Comunicação por eventos não é novidade (Event-Driven) Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades
13. Eventos ... Sem dependência direta entre serviços (async) Consistência eventual Plataforma de Eventos é para onde tudo passa processo ‘xyz’ de negócio 2 3 Plataforma de Eventos 1 1 2 3
14. Eventos Sistemas Financeiros
15. Eventos Financeiros Mudanças de estado de saldos (balance) - Há sempre um evento atrelado - Um Lançamento Financeiro (entry) - Auditável - Rastreável - Traduzidos para uma visão amigável
16. Eventos Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades
17. Event Sourcing “Event Sourcing happens when we can entirely derive the state of an application by processing the log of Domain Events” Martin Fowler
18. Event Sourcing “Persistência de cada uma das mudanças sofridas pela entidade que comprove seu estado atual. Log da entidade”
19. Event Sourcing Log da entidade ? PAY-01:PAYMENT attr_1: 01 attr_2: 02 attr_3: 03 attr_n: 0N PAY-01:PAYMENT_LOG created_at: 01/01 attr_02: 222 attr_03: 333 1 *
20. Event Sourcing Não há mutação de estado! event_id pay_id created_at attr_1 attr_2 attr_3 attr_n 0002 PAY-01 02/01/2017 01 02 03 0N 0001 PAY-01 01/01/2017 01 222 333 0N
21. Event Sourcing event_id pay_id data 0002 PAY-01 { "payment_id": "PAY-01", "created_at": “02/01/2017, "attr_1": 01, "attr_2": 02, "attr_3": 03, "attr_n": "0N" } 0001 PAY-01 { "payment_id": "PAY-01", "created_at": “01/01/2017, "attr_1": 01, "attr_2": 222, "attr_3": 333, "attr_n": "0N" }
22. Event Sourcing yes[] no[x] Banco Relacional yes[] no[x] ORM yes[] no[x] CRUD
23. A Resposta Kafka
24. Kafka “Event sourcing involves maintaining an immutable sequence of events that multiple applications can subscribe to. Kafka is a high-performance, low-latency, scalable and durable log” Neha Narkhede
25. Kafka 1 4 2 3
26. Restrições: ORM, RDBMS, CRUD - Modelo de Domínio não precisa ORM (DDD) - Alteração em entidades de domínio geram eventos (event sourcing) - Eventos vão para o Kafka e nele persistidos - O modelo de escrita != leitura
27. Decifrando Várias visões podem ser derivadas processando o stream: Relacional, BI, ElasticSearch, Graph Eventos são a fonte da verdade e fluem pelo Kafka continuamente, um stream
28. CQRS (Command Query Responsibility Segregation)
29. CQRS “The processing of commands and queries is fundamentally asymmetrical, and scaling the services symmetrically does not make a lot of sense” Greg Young
30. CQRS Abordagem para uma nova app muda - Modelo de domínio (de verdade) - A leitura é outro modelo - Até mesmo outra app - Outra tecnologia
31. - Kafka é o log de eventos: durável, resiliente,escalável - Única maneira de acesso é consumindo streams - Microserviço é invocado - Cria-se visões especializadas CQRS EventSource EventDriven StreamProcessing
32. Tudo isso e o Moip CQRS EventSource EventDriven StreamProcessing Kafka
33. Moip use cases - Contabilidade - Sincronismo de Saldos entre Sistemas
34. Contabilidade Dados Transacionais Dados Financeiros Movimento regras contábeis Registro Contábil Beckenbauer
35. Moip - Beckenbauer Lançamentos Financeiros passam pelo Kafka Dados Transacionais Não
36. Kafka Connect “Kafka Connect é uma ferramenta para, de forma escalável e confiável, fazer streaming de dados entre o Kafka e outros sistemas” confluent inc
37. base (mysql) transacional connect mysql Microserviço Financeiro (Stream Process) Contabilidade tem todo input para acontecer
38. Beckenbauer - Stream Process - Joins Dados Transacionais Dados Financeiros Movimento Algo comum com stream process: - junção de 2 streams gerando um terceiro
39. Beckenbauer - Stream Process - Há várias possibilidades Flink, Spark, Storm, Samza, Kafka Streams
40. KStreamBuilder builder = new KStreamBuilder(); KStream<String, Authorization> authStream = builder.stream(Serdes.String(), authSerde, TOPIC_AUTHORIZATIONS); builder .stream(Serdes.String(), entrySerde, TOPIC_FIN_ENTRIES) .filter(isAuthorization()) .map(reindexKey()) .join(authStream, joinNormalize(), JoinWindows.of(JOIN_WINDOW_TIME), Serdes.String(), entrySerde, authSerde) .to(Serdes.String(), movementSerde, TOPIC_MOVEMENTS);
41. base (mysql) transacional connect mysql Microserviço Financeiro Beckenbauer Join: Financial +Authorization movement
42. Resultado do Join (movement) é o input da aplicação das regras contábeis Movimento regras contábeis Registro Contábil Beckenbauer - Stream Process
43. KStreamBuilder builder= new KStreamBuilder(); builder .stream(Serdes.String(), movementSerde,TOPIC_MOVEMENTS) .transform(() -> new MovementTransformer()) .to(Serdes.String(), bookingSerde, TOPIC_BOOKINGS);
44. base (mysql) transacional connect mysql Microserviço Financeiro Beckenbauer Join: Financial +Authorization movement Accounting Rules movement
45. Backenbauer - Stack - Java 8 - Mysql - Kafka - Source Connector MySQL: Debezium - Kafka Streams - Spring Boot
46. Sincronismo de saldos Captura modificações Normaliza Atualiza saldo Financial Balance (mysql) Classic Moip (mysql) New Balance
47. Sync de Saldo em Sistema Legado Financial Balance (mysql) Classic Moip (mysql) connector mysql (source) New Balance connector mysql (sinky)
48. KStreamBuilder builder= new KStreamBuilder(); builder .stream(keySerde, debeziumDeserializer, BALANCE_db.getTopic()) .transform(() -> balanceTransformer) .to(keySerde, balanceSerde, BALANCE_FINANCIAL.getTopic());
49. Sync Saldos - Stack - Java 8 - Mysql - Kafka - Source Connector MySQL: Debezium - Sink Connector: MySQL Sink Connector - Kafka Streams - Spring Boot
50. Escalabilidade e Resiliência Apps baseadas em Kafka - Escalabilidade Horizontal Partições por tópico e consumo em paralelo - Resiliência Todos componentes são clusterizados
51. topic: balance 1 2 3 partitions consumer 1 consumer 2 consumer 3 Número de partições de um tópico define o máximo de paralelismo possível no consumo Escalabilidade
52. topic: balance 1 2 3 partitions consumer 1 consumer 2 consumer 3 Caso um consumer pare de responder, outro assume de onde parou Resiliência
53. Futuro Se aprofundar mais nessa abordagem - Não fazer “dual writes” - Menos connect de “source” - CQRS - Elastic Search, etc - Stream process stateful - Melhorar infra e operação - Contribuir mais com comunidade
54. Kafka + - Replication Factory - Partition number - Log compaction / Log Retention - Consumer Offsets - Zookeeper - Stateful Stream Process
55. Rodrigo Montanha Gabriel Queiroz Lucas França William Souza Allan Pires Guilherme Sipoloni time moip
56. Pessoas-Chave Gwen Shapira @gwenshap Neha Narkhede @nehanarkhede Jay Kreps @jaykreps Martin Kleppmann @martinkl Eno Thereska @enothereska Greg Young http://goodenoughsoftware.net/
57. Referências https://www.confluent.io/blog/hello-world-kafka-connect-kafka-streams/ https://www.confluent.io/blog/distributed-real-time-joins-and-aggregations-on-user-activity-events-us ing-kafka-streams/ https://www.confluent.io/blog/turning-the-database-inside-out-with-apache-samza/ https://www.confluent.io/blog/making-sense-of-stream-processing/ https://cqrs.files.wordpress.com/2010/11/cqrs_documents.pdf https://martinfowler.com/eaaDev/EventNarrative.html https://www.confluent.io/blog/event-sourcing-cqrs-stream-processing-apache-kafka-whats-connection/ https://www.confluent.io/blog/data-dichotomy-rethinking-the-way-we-treat-data-and-services/
58. Perguntas Diego Irismar - @diegoicosta - github.com/diegoicosta - linkedin.com/in/diegoicosta