Distributed Systems of Microservices using Docker and Serfnode

Transcript

1. Distributed Systems of Microservices using Docker and Serfnode Seminário para

   disciplina Computação Distribuída (INE410130) Caio William Camargo Carrara Outubro, 2019 1

2. Agenda • Introdução • Modelos de virtualização: Máquinas Virtuais e

   Containers • Microsserviços • Descoberta de serviços • Projetos para a descoberta de serviços • Serfnode - uma solução para descoberta de serviços • Conclusão 2

3. Introdução 3

4. Containers, microsserviços e novos desafios • Containers ◦ Cada vez

   mais populares ◦ Mais leves do que outros modelos de virtualização predecessores ◦ A popularidade cresce junto com a utilização de microsserviços • Um dos problemas ao se usar containers e microsserviços é a descoberta de serviços • O Serfnode é uma solução para resolver o problema de descoberta de serviços na utilização de containers, mais especificamente Docker 4

5. Modelos de Virtualização 5

6. Máquinas virtuais e Containers 6

7. Máquinas virtuais e Containers Máquinas Virtuais Containers Abstração de hardware

   Virtualização de chamadas de sistema Inicialização na escala de minutos Inicialização na escala de segundos Cada máquina virtual possui SO completo Containers compartilham SO do host 7

8. Containers • A tecnologia não é nova ◦ chroot (1979)

   ◦ BSD Jails (2000) ◦ Linux LXC (2008) • São atrativos, entre outros motivos, por disponibilizar isolamento das aplicações em um ambiente compartilhado • Mitigam vetores de ataques tradicionais através do isolamento de rede, sistema de arquivos e consumo de recursos 8

9. Docker • Pode ser considerado uma evolução da tecnologia de

   containers • Provê: ◦ Integração das tecnologias de containers ◦ Runtime único, centralizado e leve ◦ API para gerenciamento e execução de containers ◦ API para gerenciamento de imagens de containers • Aplicação e dependências empacotadas unicamente • Possibilita a elaboração de arquiteturas de sistemas complexos de forma mais simples e eficiente 9

10. Microsserviços 10

11. Microsserviços 11

12. Componentes vs Microsserviços • Componentes: módulos de software independentes e

    substituíveis, invocados através de chamadas em memória (compartilhada) • Microsserviços: processo separado que utiliza mensagens para se comunicar com outras partes do sistema. Geralmente microsserviços se baseiam em RPC ou protocolos baseados na web como TCP e HTTP para se comunicar 12

13. Docker + Microsserviços 13

14. Microsserviços 14

15. Descoberta de serviços 15

16. Descoberta de Serviços • É comum instâncias redundantes de um

    serviço ser parada e inicializada sob demanda • Serviços podem não estar disponíveis a qualquer momento. Pelo menos não no mesmo local • Enquanto containers simplificam a implantação e distribuição de serviços, eles fazem muito pouco para solucionar a comunicação entre serviços 16

17. Descoberta de Serviços - conceitos comuns importantes • Registro de

    serviços: pode ser centralizado ou distribuído • Monitoramento de serviços: uma instância de um serviço só entra no registro se passar pelos testes de monitoramento • Distinção de serviços: soluções para descoberta de serviços necessitam de alguma forma de escolha quando múltiplas instâncias de um mesmo serviço está disponível ◦ Minimização de distância ◦ Minimização de provedores usados ◦ Mais nova/velha instância disponível 17

18. Projetos para a descoberta de serviços 18

19. Consul • Solução para descoberta de serviços e gerenciamento de

    configurações distribuídas ◦ Monitoramento robusto ◦ Checagem de saúde dos serviços (health checking) • Modelo cliente servidor • Se baseia em um conjunto de nós servidores ◦ Servidores possuem a informação sobre onde estão os serviços • Possui consistência forte • Não suporta (nativamente) serviços rodando em Docker 19

20. Synapse (AirBnB) • Projetado para suportar projetos Docker • Baseado

    no HAProxy ◦ Roteia requests de um serviço consumidor no mesmo host para um provedor dentro do mesmo cluster • Atualizações no HAProxy é feito por watchers que monitoram mudanças ◦ AWS EC2 ◦ Docker ◦ Zookeeper 20

21. CoreOS + etcd • Armazenamento chave-valor distribuído e confiável •

    Foco em facilidade de uso e performance 21

22. Orquestração • Processo de implantação de containers em um cluster

    de máquinas • Soluções de orquestração geralmente não oferecem soluções robustas para descoberta de serviços • Docker Compose ◦ Solução bem limitada de descoberta de serviços ◦ Funciona apenas em um único host ◦ Não se atualiza ao parar e reiniciar containers 22

23. Serfnode - Uma solução para descoberta de serviços 23

24. Serfnode - design • Solução leve e simples de usar

    • Objetivo principal é possibilitar implantação em produção de sistemas pequenos e médios • Arquitetura completamente descentralizada • Possibilidade de tornar qualquer container Docker um serf aware container conectando-o em um cluster • Solução leve de monitoramento embutida 24

25. Serfnode - componentes Serf Agent Supervisor 25

26. Serf • Ferramenta para cluster membership, detecção de falhas e

    orquestração descentralizada. Completamente descentralizada, tolerante a falhas e de alta disponibilidade • Membership ◦ Serf mantém uma lista de membros de um cluster e disponibiliza eventos quando essa lista de membros sofre alguma alteração • Detecção de falhas e recuperação • Propagação de eventos personalizados ◦ Esses eventos podem ser usados para desencadear instalações, propagar configurações, etc. 26

27. Supervisor • Um sistema cliente/servidor que permite o monitoramento e

    controle de processos em sistemas operacionais UNIX-like • supervisord ◦ Componente “servidor” responsável por rodar os programas filhos e mantê-los rodando, recuperá-los, etc. • supervisorctl ◦ Ferramenta de linha de comando para manipulação do supervisord 27

28. Serfnode - modelo Serfnode - parent Child image A Child

    image B Child image C 28

29. Serfnode - modelo Serfnode - parent Python Web Service Postgres

    database 29

30. Serfnode - modelo Serfnode - parent Python Web Service Serfnode

    - parent PostgreSQL Database Um Serfnode encapsulando uma imagem X, comporta-se exatamente como a imagem encapsulada 30

31. Serfnode - funcionalidades • Cluster Membership (Serf) • Monitoramento (Serf

    + supervisor) • Manipulação de eventos ◦ Membros: entrada, saída e falha ◦ Mudanças de estado do supervisor ◦ Eventos definidos pelo usuário 31

32. Serfnode - membership • Cada membro do cluster possui uma

    role • Membros podem possuir múltiplas roles • A mesma role pode estar associada a mais de um membro • Serfnode associa role e endereço no arquivo /etc/hosts ◦ O arquivo é atualizado nas ocorrências de eventos de membership 32

33. Serfnode - configuração --- serfnode: role: my_role children: - my_container:

    image: ubuntu command: sleep infinity volumes: - /tmp:/host environment: MY_VAR: 1 working_dir: /host 33

34. Serfnode 34

35. Conclusão 35

36. Conclusão • O desenvolvimento de microsserviços com containers possibilita maior

    independência no desenvolvimento, implantação e escalabilidade de soluções • A tecnologia de containers, Docker mais especificamente, impõe desafios ainda não completamente solucionados: a descoberta de serviços é um deles • Serfnode é uma solução leve, fácil de usar e que consegue tornar qualquer imagem Docker disponível para funcionar em um cluster integrado 36

37. Referência • Stubbs, Joe & Moreira, Walter & Dooley, Rion.

    (2015). Distributed Systems of Microservices Using Docker and Serfnode. 34-39. 10.1109/IWSG.2015.16. 37