JConf Peru 2023 - Core Banking Modernization with kafka connect framework

En esta charla contare como es posible modernizar el core banking con el framework Kafka Connect en un ecosistema kafka.

Kafka Connect es un poderoso framework que te permite conectar tus sistemas legacy a Kafka.

Durante la charla, cubriremos los siguientes temas:

Introducción a Kafka Connect.
Tipos de conectores de Kafka Connect.
Implementación de un conector de Kafka Connect (Demo).
Ejemplos de uso de Kafka Connect en core banking.

Transcript

1. Core Banking Modernization ¡Un universo de conocimientos esperan por ti! Diciembre 2023 Kafka Connect Dennis Paitan Oscar Pando
2. Overview Conceptos Configuración AGENDA Demo
3. Request / Reply Message-Driven Event-Driven Streaming ❑+ Broker “Message/Event”, protocolo async. ❑one-way ❑más desacoplados y escalables ❑Útil “long-running process” ❑aumenta la complejidad. • Mecanismo pull, los consumer solicitan batches de eventos • One-to-one, many-to-one, one-to-many o many-to-many. • Productores publican eventos y no comandos. • Productores no necesitan conocer a los consumidores. • Usualmente único receptor del msg, “Point-to- Point” • minimiza el acoplamiento • Mecanismo Push para enviar los msgs hacia los consumers. • Baja latencia, procesan un flujo de datos infinitos en movimiento. • Flujos de datos creados a partir de event domains. • Time-agnostic : filtros, joins • Windowing : agrupar eventos, correlacionar en base al tiempo • Approximation : aplicación de algoritmos de ML para streaming Principios – Async Communication Patterns Highly cohesive Loosely coupled
4. Event-Driven • Muchas aplicaciones/servicios deben procesar los mismos eventos. (broadcast de eventos) • Aplicaciones asíncronas transaccionales con alto througput. • Procesamiento en tiempo real con baja latencia • Aplicaciones asíncronas que requieran procesar eventos en paralelo garantizando el orden Azure EventHub Streaming • La acumulación de hechos “eventos” en una ventana de tiempo y capturar el comportamiento. • Procesamiento en real time de un flujo de eventos a medida que ocurren en el cual se necesite realizar agregaciones, joins, y/o analizar la informacion. • Complex event processing. • Aplicaciones que interactúan con fuentes de datos masivos y un flujo de datos infinito. • Cuando se necesite actuar sobre datos que pueden cambiar en milisegundos volviéndose obsoletos. Cuando usar Asynchronous Communication Patterns Criterios Tecnologías en BCP ,
5. “Two primitive APIs” para acceder a los datos almacenados en: Two higher-level APIs Overview de la arquitectura de Kafka
6. Overview Confluent Kafka Source Sink
7. Kafka Connect Durable Data Pipelines • Captura el schema del source, usa el schema para informar al sink. • Alta disponibilidad de los workers aseguran un flujo de datos ininterrumpido. • Framework extensible para crear conectores personalizados. Overview
8. Overview https://www.confluent.io/hub/
9. Overview -Conectores Kafka en el BCP Kafka Confluent Platform MultiRegion Pub OnPrem Azure Cloud Hybrid Conectores Kafka CHO LMO Kafka Confluent Platform Real-time Risk Detection Real-time Fraud Detection Real-time Metrics Views Business Decision (BRMS) Sinks Sources Data Sources Sub Consumers Kafka Streams Conectores Kafka Conectores Kafka Redis Sink Connector Azure Functions Sink Connector Azure Service Bus Source Connector Server Sent Events SSE Source Connector Debezium SQL Server CDC Source Connector Azure Data Explorer Sink Connector IBM MQ Sink Connector Azure Log Analytics Sink Connector HTTP Sink Connector JDBC Nested Set Sink Connector MQTT Connector (Source and Sink) SFTP Connector (Source and Sink) Google Firebase Realtime Database Connector (Source and Sink) Azure IoT Hub Connector (Source and Sink) Kafka Azure Key Vault Config Provider Backlog Data Sinks
10. Conceptos - Terminología
11. Conceptos – Conector
12. Conceptos - Conector
13. Conceptos - Workers Incremental cooperative rebalance
14. Conceptos - Tasks • El número de task es limitadoa travéz de la configuración ‘tasks.max’ • Se crearan tantos Workers como se les diga. • El rebalanceode Tasks es similar al de los consumers • No hay garantiade que un task vayaa algun worker en especifico. Topic-Offset Topic-Status Topic-Config
15. Conceptos - Kafka Connect Converters https://docs.confluent.io/platform/current/connect/concepts.html#connect-converters
16. Conceptos - Transforms Cuando Usar: • Data Masking • Event Routing • Event Enhancement • Partitioning • Timestamp Conversion https://docs.confluent.io/platform/current/connect/transforms/overview.html
17. Conceptos: Transforms Ejemplo
18. Conceptos – Transforms provistos por confluent
19. Conceptos – Transforms provistos por confluent
20. Conceptos – Transforms configuración
21. Ejemplo de Configuración AGREGAR GRAFICO CONNECTOR Y CONFIG
23. Conclusiones • Los conectores son componentes ligeros y eficientes para interactuar con tópicos Kafka y tecnologías externas abstrayendo seguridad, protocolos, complejidad, etc. • No es necesario implementar lógica en lenguajes de programación para integrar tópicos con tecnologías externas. • Los conectores Kafka se integran nativamente con schema registry.