Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas

by Ricardo Ferreira

Slide 1

Slide 1 text

1 Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas Abraçando a Anarquia:

Slide 2

Slide 2 text

2 Sobre Mim: ● Ricardo Ferreira ○ Developer Advocate na Confluent ○ Ex-Oracle, Red Hat, IONA Tech ○ https://riferrei.net ● Curiosidades: ○ Assisti “Avengers Endgame” em Ucraniano e entendi ~15% do filme @riferrei

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Apache Kafka é uma Plataforma de Streaming @riferrei @qconsp

Slide 5

Slide 5 text

Quais são as Motivações para uma Plataforma de Streaming? @riferrei @qconsp

Slide 6

Slide 6 text

OLTP / OLAP à 20 Anos… OLTP / OLAP Hoje… Cara, cê está me envergonhando na frente dos magos…

Slide 7

Slide 7 text

Processamento de Dados usando OLTP e OLAP Não é Mais a Famosa Bala de Prata! @riferrei @qconsp

Slide 8

Slide 8 text

Reflexão sobre como Fazemos Processamento de Dados Hoje @riferrei @qconsp

Slide 9

Slide 9 text

Sales DWH Inventory Batching do Transacional pro OLAP

Slide 10

Slide 10 text

Sales DWH Inventory Normalização via Transformações…

Slide 11

Slide 11 text

Sales Inventory Data Lake DWH Viciado? Criando Data Lakes!

Slide 12

Slide 12 text

12 Sales Inventory Data Lake Novas Transformações em Cena…

Slide 13

Slide 13 text

13 #1 Problema: Latência Usar Batching é Introduzir Latência Built-in!

Slide 14

Slide 14 text

No content

Slide 15

Slide 15 text

#2 Problema: Integração Integração de Dados não é Escalável!

Slide 16

Slide 16 text

O Mundo já não é mais o mesmo... IoT Microservices APIs & Mobile Machine Learning

Slide 17

Slide 17 text

#3 Problema: Volume de Dados Quando ter “Bases Gigantes” se Torna Comum!

Slide 18

Slide 18 text

18 O Nascimento da Plataforma de Streaming:

Slide 19

Slide 19 text

19 A Ascenção da Plataforma de Streaming:

Slide 20

Slide 20 text

20 O que a Comunidade está Construindo Assistentes para Bancos Digitais Pipelines de Publicação Aplicativos de Driver Matching Jogos 100% Dirigidos a Dados Aplicativos de Paquera Online

Slide 21

Slide 21 text

21 ETL / Integração de Dados Mensageria Batch Caro de Manter Lento (Muita Latência) Dificil de Escalar Sem Persistência após Consumo Sem Replay Escalável Durável Persistente Mantêm Ordem Rápido (Baixa Latência)

Slide 22

Slide 22 text

22 ETL / Integração de Dados Mensageria Batch Caro de Manter Lento (Muita Latência) Dificil de Escalar Sem Persistência após Consumo Sem Replay Escalável Durável Persistente Mantêm Ordem Rápido (Baixa Latência) O que está Acontecendo? (Presente) O que Aconteceu? (Passado) Plataforma de Streaming Escalável Durável Persistente Mantêm Orderm Rápido (Baixa Latência) Possui Replay Built-in

Slide 23

Slide 23 text

Apache Kafka é uma Plataforma de Streaming @riferrei @qconsp

Slide 24

Slide 24 text

Três Pilares 24

Slide 25

Slide 25 text

01 Mensageria Funcional 02 Pipelines de Dados Escalável 03 Fundação para Stream Processing 25 Apache Kafka

Slide 26

Slide 26 text

Escalabilidade Armazenamento Suporte a Replay 26 Pilar 1: Mensageria Funcional

Slide 27

Slide 27 text

27 Pilar 2: Pipelines de Dados Escalável

Slide 28

Slide 28 text

Pilar 3: Fundação para Stream Processing KSQL is the Streaming SQL Engine for Apache Kafka 28

Slide 29

Slide 29 text

29 Real-Time Inventory Real-Time Fraud Detection Real-Time Customer 360 Machine Learning Models Real-Time Data Transformatio n ... Aplicações Dirigidas a Eventos e Contexto Universal Event Pipeline Bases de Dados Logs Aplicativos APIs / Microservices STREAMS CONNECT CLIENTS

Slide 30

Slide 30 text

30 Advinhe qual é a Música 1. Escaneie o código de barras 2. Digite o seu palpite de música 3. Digite seu nome e clique “Enviar” @riferrei @qconsp

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Todos os seus Dados são em verdade… Eventos! @riferrei @qconsp

Slide 33

Slide 33 text

33 Interações com Clientes

Slide 34

Slide 34 text

34 Uma Venda

Slide 35

Slide 35 text

35 Leitura de Sensor

Slide 36

Slide 36 text

36 Entradas no Log

Slide 37

Slide 37 text

37 Registros em Bases de Dados

Slide 38

Slide 38 text

38 Você acha mesmo que você faz queries em tabelas?

Slide 39

Slide 39 text

39 “The truth is the log. The database is a cache of a subset of the log.” —Pat Helland Immutability Changes Everything http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf

Slide 40

Slide 40 text

Dualidade entre Streams e Tabelas alice 1 alice 1 pedro 1 alice 2 pedro 1 alice 2 pedro 1 carlos 1 Tabela Stream Tabela (“alice”, 1) (“pedro”, 1) (“alice”, 2) (“carlos”, 1) alice 1 alice 1 pedro 1 alice 2 pedro 1 alice 2 pedro 1 carlos 1

Slide 41

Slide 41 text

Problemas Técnicos que o Apache Kafka Resolve @riferrei @qconsp

Slide 42

Slide 42 text

42 Producer Consumer Disponibilidade de Sistemas, Buffer de Eventos

Slide 43

Slide 43 text

43 Producer Consumer A 24hr batch extract Near Realtime Consumer B Requisitos de Latência Distintos: Batch vs Stream

Slide 44

Slide 44 text

44 Mudanças de Tecnologia/Código/Lógica Producer Consumer (v1) Consumer (V2)

Slide 45

Slide 45 text

45 Mudanças de Tecnologia/Código/Lógica Producer Consumer (V2)

Slide 46

Slide 46 text

Design Patterns usando Apache Kafka @riferrei @qconsp

Slide 47

Slide 47 text

47 HDFS / S3 / BigQuery etc RDBMS CDC Offload de Bases de Dados usando CDC

Slide 48

Slide 48 text

48 Stream Processing usando KSQL: Field Joins order events customer customer orders Stream Processing RDBMS CDC

Slide 49

Slide 49 text

49 order events customer Stream Processing customer orders RDBMS Stream Processing usando KSQL: Enrichment

Slide 50

Slide 50 text

50 order events customer Stream Processing customer orders RDBMS New App Escreva uma Vez, Reutilize Várias Vezes

Slide 51

Slide 51 text

51 order events customer Stream Processing customer orders RDBMS HDFS / S3 / etc New App Escreva uma Vez, Reutilize Várias Vezes

Slide 52

Slide 52 text

53 Stream Processing RDBMS Existing App New App Migração de Dados entre o Antigo e o Novo

Slide 53

Slide 53 text

54 Stream Processing RDBMS Existing App New App New App Migração de Dados entre o Antigo e o Novo

Slide 54

Slide 54 text

55 M L App NoSQL Search Graph Stream Processing "One version of the truth" Única Fonte de Dados entre Sistemas Críticos

Slide 55

Slide 55 text

56 56 Livros sobre Kafka Grátis: https://www.confluent.io/apache-kafka-stream-processing-book-bundle

Slide 56

Slide 56 text

57 57 Contatos e Links: @riferrei riferrei riferrei [email protected] https://riferrei.net https://cnfl.io/slack https://confluent.io/careers