Kafka 101 - AceleraDev SP

Apresentação de introdução ao Kafka, explicando conceitos básicos e com casos de uso da tecnologia.
Apresentação feita no dia 23/02/2019, para uma turma de formação do AceleraDev (curso de backend realizado pela Movile)

Transcript

1. Kafka 101
2. • Mariana Fantini • Cientista da computação • UNESP Rio Claro • Desenvolvedora na Wavy mariana.fantini@gmail.com /marifantini /marianafantini Desenvolvedora na Wavy Quem sou eu?
3. Quem é Movile? Líder global em marketplaces móveis A Movile é líder em marketplaces móveis e nosso sonho é fazer a vida de 1 bilhão de pessoas melhor por meio dos nossos apps. +150MM de pessoas mensalmente +1.600 pessoas em 15 escritórios #1 plataforma de delivery de comida na América Latina #1 plataforma de venda de ingressos na América Latina #2 aplicativo rentável globalmente para crianças
4. TÓPICOS Introdução O que é Kafka? Motivação Por que usar Kafka? Definições Como funciona o Kafka? Casos de uso Como e por que utilizamos Kafka na Wavy? TALK Kafka 101 Sobre o que é essa talk?
5. O que é Kafka?
6. O que é Kafka? Introdução “A distributed streaming platform” “Plataforma distribuída de mensagens e streaming”
7. O que é Kafka? Introdução - Plataforma open source - Sistema distribuído - Permite o envio de informações entre sistemas - Tem um tempo de retenção de informações - Não garante ordem de entrega
8. O que é Kafka? Introdução Como funciona? - Existem os producers, que produzem mensagens - Os tópicos, que transmitem essa mensagem - E os consumers, que leem a mensagem
9. O que é Kafka? Introdução Como funciona?
10. O que é Kafka? Introdução Como funciona?
11. O que é Kafka? Introdução Os tópicos têm diversas partições
12. O que é Kafka? Introdução Ordem de entrega?
13. O que é Kafka? Introdução Imutabilidade: log based architecture
14. Por que usar Kafka?
15. Por que usar Kafka? Motivação Problema: precisamos desenvolver um sistema de gerenciamento de conteúdos. Ele precisará enviar informações para outros sistemas, que são os publicadores.
16. Por que usar Kafka? Motivação
17. Por que usar Kafka? Motivação
18. Por que usar Kafka? Motivação Opção 1: usar uma chamada HTTP
19. Por que usar Kafka? Motivação Problemas? E se... • O publicador não estiver funcionando e não receber a mensagem? • O publicador demorar para responder? • Houver erro de timeout? • API do publicador mudar?
20. Por que usar Kafka? Motivação A complexidade aumenta se precisarmos de mais publicadores
21. Por que usar Kafka? Motivação Será pior ainda se precisarmos extrair conteúdos de mais de um gerenciador
22. Por que usar Kafka? Motivação Opção de usar HTTP: descartada Muita dependência entre os sistemas.
23. Por que usar Kafka? Motivação Opção 2: usar um banco de dados
24. Por que usar Kafka? Motivação Problemas resolvidos: • Independência entre os sistemas: ◦ Tempo de resposta do publicador não nos afeta ◦ Sem erro de timeout do publicador ◦ Alterações no publicador não nos afetam
25. Por que usar Kafka? Motivação
26. Por que usar Kafka? Motivação Problemas? • Criar lógica para gerenciar os conteúdos no banco • Escrever no banco de dados é uma operação custosa • Múltiplos sistemas escrevendo no mesmo banco ao mesmo tempo
27. Por que usar Kafka? Motivação Opção de usar banco: descartada
28. Por que usar Kafka? Motivação Opção 3: usar uma fila
29. Por que usar Kafka? Motivação Problemas resolvidos: • Independência entre os sistemas: ◦ Tempo de resposta do publicador não nos afeta ◦ Sem erro de timeout do publicador ◦ Alterações no publicador não nos afetam
30. Por que usar Kafka? Motivação Mas essa solução também tem problemas: • Comunicação com múltiplos publicadores?
31. Por que usar Kafka? Motivação
32. Por que usar Kafka? Motivação Opção de usar filas: teríamos menos problemas, mas ainda não é a melhor opção.
33. Por que usar Kafka? Motivação Opção 4: usar Kafka
34. Por que usar Kafka? Motivação “Se você quer mover e transformar um grande volume de dados em tempo real entre diferentes sistemas, então Apache Kafka pode ser exatamente o que você precisa” - Matt Kirwan
35. Por que usar Kafka? Motivação Problemas resolvidos: • Mesmos da fila (sistemas independentes) • Podemos ter múltiplos consumidores (que receberão a mesma mensagem)
36. Por que usar Kafka? Motivação Problemas resolvidos: • Mesmos da fila (sistemas independentes) • Podemos ter múltiplos consumidores (que receberão a mesma mensagem) • Bônus: Kafka mantém o histórico de mensagens
37. Por que usar Kafka? Motivação Nenhuma solução é perfeita: • Kafka não garante ordem de entrega
38. Por que usar Kafka? Motivação Nenhuma solução é perfeita: • Kafka não garante ordem de entrega Mas, neste caso, isso não é um problema.
39. Por que usar Kafka? Motivação
40. Por que usar Kafka? Motivação
41. Como funciona o Kafka?
42. Como funciona o Kafka? Definições 1. E se o consumer for inicializado quando já tem informação no tópico? 2. Como assim “sistema distribuído”? 3. O que é o Zookeeper?
43. Como funciona o Kafka? Definições E se o consumer for inicializado quando já tem informação no tópico?
44. Como funciona o Kafka? Definições
45. Como funciona o Kafka? Definições
46. Como funciona o Kafka? Definições
47. Como funciona o Kafka? Definições Como assim “sistema distribuído”? • O Kafka pode ser executado em diferentes máquinas • Réplicas: maior disponibilidade de dados
48. Como funciona o Kafka? Definições Distribuição em brokers
49. Como funciona o Kafka? Definições Distribuição em brokers
50. Como funciona o Kafka? Definições Distribuição em brokers
51. Como funciona o Kafka? Definições Distribuição em brokers
52. Como funciona o Kafka? Definições Distribuição em brokers
53. Como funciona o Kafka? Definições Distribuição em brokers
54. Como funciona o Kafka? Definições Distribuição em brokers
55. Como funciona o Kafka? Definições Distribuição em brokers
56. Como funciona o Kafka? Definições Distribuição em brokers
57. Como funciona o Kafka? Definições Distribuição em brokers
58. Como funciona o Kafka? Definições Distribuição em brokers
59. Como funciona o Kafka? Definições Distribuição em brokers
60. Como funciona o Kafka? Definições Distribuição em brokers: líderes e réplicas
61. Como funciona o Kafka? Definições O que é o Zookeeper? • Outro serviço - Kafka depende do Zookeeper • Gerencia brokers • Elege partições líderes e réplicas • Notifica mudanças ao Kafka (adição ou remoção de brokers, por exemplo) • Não guarda quais mensagens foram lidas pelos consumers
62. Casos de uso
63. Como e por que utilizamos Kafka na Wavy? Casos de uso Content manager produz o conteúdo, publicador lê o conteúdo e o publica.
64. Como e por que utilizamos Kafka na Wavy? Casos de uso Sistemas responsáveis por receber mensagens enviam dados de log para o Kafka, para que outro sistema seja responsável por persistir estes logs
65. Como e por que utilizamos Kafka na Wavy? Casos de uso Outros sistemas também leem estes dados
66. Como e por que utilizamos Kafka na Wavy? Casos de uso
67. Como e por que utilizamos Kafka na Wavy? Casos de uso FONTE: https://kafka.apache.org/
68. Como e por que utilizamos Kafka na Wavy? Casos de uso New York Times: The Monolog
69. mariana.fantini@gmail.com /marianafantini Obrigada! Mariana Fantini
70. Documentações: • https://kafka.apache.org/ Artigos: • https://medium.com/@gabrielqueiroz/o-que-%C3%A9-esse-tal-de-apache- kafka-a8f447cac028 • https://www.mattkirwan.com/ • https://www.confluent.io/blog/publishing-apache-kafka-new-york-times/ Curso: • Apache Kafka Series - Learn Apache Kafka for Beginners v2, by Stephane Maarek - https://udemy.com/apache-kafka/ Referências