Microserviços & Kafka - Erros e acertos em um caso real na Indústria Elétrica

Muito se fala em persistência e consistência de dados, mas como isso funciona no dia-a-dia da Indústria? O Volume de dados pode chegar na casa de trilhões de mensagens trocadas entre sistemas por dia, para isso, é necessária a garantia da entrega da informação e tolerância a falhas. Diversas alternativas podem ser implementadas como serviço de mensageria. Vamos ver como o Apache Kafka® pode resolver boa parte desses problemas, os erros e acertos depois de um ano implementado em campo, tudo isso sem acesso a nuvem!

Tópicos abordados:
* Arquitetura de Microsserviços em sistemas críticos;
* Utilização de containers e deploy em ambiente sem acesso a redes externas;
* Mensageria para sistemas de monitoramento e comunicação entre microsserviços;
* Vantagens e desvantagens de alguns brokers;

Transcript

1. Microserviços & Kafka Erros e acertos em um caso real na Indústria Elétrica
2. Agenda 01 Vamos refatorar Overview Setor Elétrico Como funcionam os sistemas de monitoramento Monolitos & muitas threads Dificuldades de manutenção e deploy Desafios da refatoração e atualização Microsserviços? Como, onde, quando, quantos, por que? Mensageria Kafka para a comunicação Implantação e Funcionamento Depois de 1 ano como está funcionando, o que pode ser aperfeiçoado? 02 03 04 05 06
3. Quem Somos Roberto Klein robertoklein Frederick Moschkowich fredmosc
4. Ambientes restritos, recursos escassos e de difícil acesso MISSION STATEMENT Overview setor elétrico
5. Ambiente industrial Acesso restrito Rede segregada Conservador No cloud Sem acesso externo
6. Necessário replicar em laboratório todo o ambiente para ser o mais fiel possível Ambiente de Testes
7. Monitoramento de Sensores
8. PROBLEMA Grande quantidade de sensores e dados gerados em questão de microssegundos. Monitorar isso de forma on-line Até então era usado Rest para buscar informações nos sistemas embarcados ou utilização de comunicação via MQTT SOLUÇÃO
9. Monolitos e Muitas Threads 02
10. Monolito Muitas threads abertas, processamento, memória e disco “no talo” necessário reiniciar Threads Altamente acoplado, alto consumo de memória. Deploy necesita parar todo o sistema
11. Refatorar? 03
12. Refatorar ou não? Paralisar toda a aquisição Retrabalho Deploy continuaria dificultado
13. Microsserviços 04
14. Como fazer? • Muitas dúvidas • Mudança de paradigma • Como orquestar? • Como comunicar entre os serviços?
15. Garantia dos Dados Disponibilidade Integridade Confidencialidade Autenticidade Ordem de chegada Garantia de Entrega
16. Possível solução Como realizar a comunicação eficiente??
17. Mensageria 05
18. Brokers
19. Não é apenas um Broker. Existe todo um ecossistema. Apache Kafka
20. Kafka Connect
21. Tolerância a falha
22. Ordem de Entrega
23. Garantia de Entrega
24. Implantação 06
25. Solução Connectors Equipamentos Microsserviços Kafka
26. 1 2 3 4 5 Processo Exibição on-line Connectors para BD Aquisição através de MQTT e Modbus Análise dos dados Concentração no Kafka
27. Aprendizado e Futuro
28. CREDITS: This presentation template was created by Slidesgo, including icons by Flaticon, and infographics & images by Freepik. Obrigado! Nossos contatos: Frederick Moschkowich fm.webdeveloper@gmail.com Roberto Klein robertoluizklein@gmail.com robertoklein fredmosc