Conexão Kinghost: Orquestração de Contêineres com Docker Swarm

Palestra apresentada dia 28 de setembro de 2017 no Conexão KingHost (https://conexaokinghost.com.br/) transmitida on-line para os participantes cadastrados. Mostramos alguns problemas comuns ao portar uma aplicação baseada em contêineres Docker para produção e como orquestração os resolve. Também fizemos uma demonstração de algumas features do Docker Swarm rodando em um cluster de raspberries.

Transcript

1. Orquestração de Contêineres Docker usando SWARM WELLINGTON F. SILVA | EASY (EASYTAXI)
2. Whoami Contact: @_wsilva Nicks: wsilva tom boina fisi Roles: pai, téc. telecom, programador, sysadmin, instrutor, escritor, docker community leader
3. Agenda • Docker 101 • Fluxo básico de trabalho com Docker • Problemas comuns em Produção • Orquestração • Revisitando conceitos • Docker Swarm (e Swarm mode)
4. Docker 101 - O que é Docker?
7. "Ferramenta para virtualização de ambientes no nível do Sistema operacional."
8. "Ferramenta para virtualização de ambientes no nível do Sistema operacional." - Wellington F. Silva
9. Tipos de Virtualização
10. Tipos de Virtualização • Full Virtualization
11. Tipos de Virtualização • Full Virtualization • Partial Virtualization
12. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization
13. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization
14. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization <== Docker
15. Docker NÃO é VM !!!
16. SERVIDOR SERVIDOR HOST OS HOST OS CONTAINER ENGINE HYPERVISOR BINS/LIBS GUEST OS BINS/LIBS GUEST OS BINS/LIBS BINS/LIBS APP APP APP APP VM VM Container Container
17. SERVIDOR XEN UBUNTU LINUX DOCKER ENGINE BINS/LIBS MYSQL DEBIAN LINUX BINS/LIBS NGINX BINS/LIBS PHP-FPM DOCKER ENGINE WINDOWS 2016 SERVER BINS/LIBS SQL SERVER
18. Fluxo básico de trabalho com Docker
19. Fluxo básico de trabalho com Docker Client Docker Host docker daemon Contêineres Imagens Registry
20. Fluxo básico de trabalho com Docker Client Docker Host docker daemon Contêineres Imagens Registry docker run redis
21. Fluxo básico de trabalho com Docker Client Docker Host docker daemon Contêineres Imagens Registry docker run redis
22. Fluxo básico de trabalho com Docker Client Docker Host docker daemon Contêineres Imagens Registry docker run redis
23. Fluxo básico de trabalho com Docker Client Docker Host docker daemon Contêineres Imagens Registry docker run redis
24. Problemas comuns em Produção
25. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres?
26. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar?
27. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem?
28. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime?
29. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres?
30. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como um contêiner comunica com outro em outra máquina?
31. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como um contêiner comunica com outro em outra máquina? • Como gerenciar informações sensíveis?
32. Orquestração
33. Orquestração Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously
34. Orquestração Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção.
35. Orquestração Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção.
36. Orquestração (Coordenação de elementos) • Contêineres • Hosts • Redes • Volumes • Monitoramento Maestro João Carlos Martins
37. Orquestração (Efeitos desejados) • Aplicação sempre rodando • Escalabilidade automática • Tolerância a falha (failover, rebalanceamento, health checks, etc) • Melhor utilização de recursos • Minimizar intervenção manual
38. Revisitando conceitos
39. Revisitando conceitos • Cluster
40. Revisitando conceitos • Cluster • Service Discovery
41. Revisitando conceitos • Cluster • Service Discovery • Load balance
42. Revisitando conceitos • Cluster • Service Discovery • Load balance • High Availability (HA)
43. Revisitando conceitos • Cluster • Service Discovery • Load balance • High Availability (HA) • Auto Scalability
44. Docker Swarm / Swarm mode
45. Docker Swarm (contexto) • Criado e gerido pela Docker Inc
46. Docker Swarm (contexto) • Criado e gerido pela Docker Inc • Lançado em junho de 2015, beta e dependente de service discovery externo
47. Docker Swarm (contexto) • Criado e gerido pela Docker Inc • Lançado em junho de 2015, beta e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 em julho de 2016 - pronto para produção - batizado de Swarm Mode
48. Docker Swarm (contexto) • Criado e gerido pela Docker Inc • Lançado em junho de 2015, beta e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 em julho de 2016 - pronto para produção - batizado de Swarm Mode • Melhorado na versão 1.13 com adição de secrets e stacks, e na 17.06 com configs
49. Swarm Mode (componentes) • Tasks
50. Swarm Mode (componentes) • Tasks • Services
51. Swarm Mode (componentes) • Tasks • Services • Stacks
52. Swarm Mode (componentes) • Tasks • Services • Stacks • Nodes
53. Swarm Mode (componentes) Manager Service 3 réplicas de nginx nginx.1 node A nginx.2 node C nginx.3 node B Contêiner Task Node Workers
54. Swarm Mode (nós) • Managers • Podem ser despromovidos (demote)
55. Swarm Mode (nós) • Managers • Podem ser despromovidos (demote) • Workers • Podem ser promovidos (promote)
56. Swarm Mode (nós) • Managers • Podem ser despromovidos (demote) • Workers • Podem ser promovidos (promote) • Podemos controlar as atividades dos nós 
 
 $ docker node update --availability drain
 $ docker node update --availability pause
 $ docker node update --availability active
57. Worker Worker Worker Worker Worker raft consensus group Manager (líder) Manager Manager CA CA CA TLS TLS TLS TLS TLS TLS TLS TLS Swarm Mode (nós) gossip network
58. Swarm Mode (High Availability - HA) • Managers compartilham dados e logs via raft
59. Swarm Mode (High Availability - HA) • Managers compartilham dados e logs via raft • Se o manager líder falhar outro manager assume
60. Swarm Mode (High Availability - HA) • Managers compartilham dados e logs via raft • Se o manager líder falhar outro manager assume • Devemos manter o quorum (maioria de votos): igual a (n/2+1), n é números de nós managers
61. Swarm Mode (Quorum) Qtde de managers Quorum Qtde de falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3
62. Swarm Mode (Quorum) Qtde de managers Quorum Qtde de falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3
63. Swarm Mode (RAFT Consensus) • Demos dos casos do algoritmos • http://thesecretlivesofdata.com/raft • http://demo.consensus.group
64. Swarm Mode (Agendamento) API Orchestrator Alocator Dispatcher Scheduler $ docker service create nginx Recebe o comando e cria o service Mantém o reconciliation e cria tasks Aloca ip para as tasks Manda as tasks para os nós Pede para um worker rodar a task Manager Worker Executor Worker Conecta no dispatcher e busca tasks Executa as tasks
65. Swarm Mode (Funcionalidades) • Scheduler com conhecimento de topologia
 
 $ docker node update \
 --label-add az=sa-east-1 demo
 $ docker service create \
 --placement-pref 'spread=node.label.az' demo
66. Swarm Mode (Funcionalidades) • Encriptação TLS ponta a ponta entre todos os nós e com rotação automática de chaves
67. Swarm Mode (Funcionalidades) • Protegendo acesso indevido ao cluster com autolock
 
 $ docker swarm init --autolock
 $ docker swarm update --autolock

68. Swarm Mode (Funcionalidades) • Secrets - gravado no tmpfs e montado nos contêineres do serviço que vai utilizar o secret
 
 $ echo "senha" | docker secret create senha-db -
 $ docker service update \
 --secret-add=senha-db demo • Dentro do container a senha fica em 
 
 $ cat /run/secrets/senha-db 
 senha
69. Swarm Mode (Funcionalidades) • Configs - gravado no tmpfs e montado nos contêineres do serviço que vai utilizar o config
 
 $ echo "config" | docker config create cfg-demo -
 $ docker service update \
 --config—add=cfg-demo demo • Dentro do container a config fica em 
 
 $ cat /cfg-demo 
 config
70. Swarm Mode (Funcionalidades) • Healthcheck - Permite fazer health check de serviços, dentro dos contêineres. • As imagens e a aplicação devem implementar métodos para a checagem
71. Swarm Mode (Funcionalidades) • Controle do update de stacks e serviços.
 
 $ docker service update
 
 --update-parallelism --update-order 
 --update-monitor --update-delay
 --update-max-failure-ratio
 --update-failure-action
72. Swarm Mode (Funcionalidades) • Controle do rollback de stacks e serviços.
 
 $ docker service update --rollback
 
 --rollback-parallelism 
 --rollback-order --rollback-monitor 
 --rollback-max-failure-ratio 
 --rollback-failure-action 
 --rollback-delay
73. Swarm Mode (Funcionalidades) • Centraliza os logs dos serviços
 
 $ docker service logs --tail 10 \
 demo | sort -k3 -k4
74. "Talk is cheap. Show me the code" - Linus Torvalds
75. Demo
76. Quer mais?
 Curso presencial mão na massa: 
 http://bit.ly/curso-docker
 Telegram: 
 http://t.me/dockerbr
 Slacks:
 http://bit.ly/docker-slack
 http://dockr.ly/community
 Meetup em SP: 
 http://bit.ly/meetup-docker-sp
77. Obrigado