Orquestração de contêinerer usando Swarm (DevopsDays Salvador 2017)

Palestra apresentada dia 28 de outubro de 2017 no DevOps Days de Salvador. Mostramos um pouco do que é Docker, alguns conceitos de orquestração de contêineres, demostramos como montar, como colocar serviços para rodar e como funcionam as principais funcionalidades do Swarm mode.

Transcript

1. Orquestração de contêineres Docker usando SWARM
2. Wellington F. Silva contato: @_wsilva nicks: wsilva, boina, tom, fisi funções: pai, tec. telecom, programador, sysadmin, docker community leader, instrutor, escritor
3. Agenda • Docker 101 • Fluxo básico de trabalho com Docker • Problemas comuns em Produção • Orquestração • Revisitando conceitos • Docker Swarm (Swarm mode) • Algumas features
4. O que é DOCKER?
7. O que é DOCKER?
8. “Ferramenta para virtualização no nível do Sistema Operacional.”
9. –Wellington F. Silva “Ferramenta para virtualização no nível do Sistema Operacional.”
10. Tipos de Virtualização
11. Tipos de Virtualização • Full Virtualization
12. Tipos de Virtualização • Full Virtualization • Partial Virtualization
13. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization
14. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization
15. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization Docker
16. Docker NÃO é VM
17. SERVIDOR SERVIDOR HOST OS HOST OS CONTAINER ENGINE HYPERVISOR BINS/LIBS GUEST OS BINS/LIBS GUEST OS BINS/LIBS BINS/LIBS APP APP APP APP VM VM Container Container
18. Diferentes, não excludentes SERVIDOR XEN UBUNTU LINUX DOCKER ENGINE BINS/LIBS MYSQL DEBIAN LINUX BINS/LIBS NGINX BINS/LIBS PHP-FPM DOCKER ENGINE WINDOWS 2016 SERVER BINS/LIBS SQL SERVER
19. Fluxo básico de trabalho com Docker?
20. Client Docker Host docker daemon Contêineres Imagens Registry Fluxo básico de trabalho com Docker
21. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
22. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
23. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
24. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
25. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
26. Como escalar para vários servidores em produção?
27. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres?
28. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar?
29. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem?
30. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime?
31. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres?
32. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como os contêineres vão se comunicar?
33. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como os contêineres vão se comunicar? • Como gerenciar informações sensíveis?
34. ORQUESTRAÇÃO
35. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously
36. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção
37. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção
38. Orquestração
 (elementos) • Contêineres • Hosts • Redes • Volumes • Monitoramento Maestro João Carlos Martins
39. Orquestração
 (efeitos desejados) • Aplicação rodando • Escalabilidade automática • Tolerante a falha (failover, rebalanceamento, health checks, etc) • Melhor utilização de recursos • Minimizar intervenção manual
40. Revisitando Conceitos
41. Revisitando Conceitos • Cluster
42. Revisitando Conceitos • Cluster • Service Discovery
43. Revisitando Conceitos • Cluster • Service Discovery • Load balance
44. Revisitando Conceitos • Cluster • Service Discovery • Load balance • High Availability (HA)
45. Revisitando Conceitos • Cluster • Service Discovery • Load balance • High Availability (HA) • Auto Scale
46. Docker Swarm
47. Docker Swarm (contextualizando) • Criado e gerido pela Docker Inc
48. Docker Swarm (contextualizando) • Criado e gerido pela Docker Inc • Lançado em junho de 2015, beta e dependente de service discovery externo
49. Docker Swarm (contextualizando) • Criado e gerido pela Docker Inc • Lançado em junho de 2015, beta e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 (28/07/2016) - pronto para produção - Swarm Mode
50. Docker Swarm (contextualizando) • Criado e gerido pela Docker Inc • Lançado em junho de 2015, beta e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 (28/07/2016) - pronto para produção - Swarm Mode • Melhorado na v1.13 e 17.06 com secrets, stacks, configs, autolock
51. Swarm Mode
52. • Nodes Swarm mode (Componentes)
53. • Nodes • Stacks Swarm mode (Componentes)
54. • Nodes • Stacks • Services Swarm mode (Componentes)
55. • Nodes • Stacks • Services • Tasks Swarm mode (Componentes)
56. Swarm mode (Componentes) Service web nginx
 (3 réplicas) Task: nginx.1 node A task: nginx.2 node C task: nginx.3 node B Container 1 Container 2 Container 3
57. • Workers Swarm mode (Nodes)
58. • Workers • rodam contêineres e reportam os estados Swarm mode (Nodes)
59. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers Swarm mode (Nodes)
60. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados Swarm mode (Nodes)
61. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados • mantém o desired state dos serviços Swarm mode (Nodes)
62. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados • mantém o desired state dos serviços • gerenciam o cluster Swarm mode (Nodes)
63. Swarm mode (Topologia) Worker Worker Worker Worker Worker raft consensus group Manager (líder) Manager Manager CA CA CA TLS TLS TLS TLS TLS TLS TLS TLS gossip network
64. • Managers compartilham dados via raft Swarm mode (HA)
65. • Managers compartilham dados via raft • Se o líder falhar outro manager assume Swarm mode (HA)
66. • Managers compartilham dados via raft • Se o líder falhar outro manager assume • Devemos manter o quorum (maioria de votos): (n/2+1), n é números de nós managers Swarm mode (HA)
67. Swarm mode (Quorum) Qtde managers Quorum Qtde falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3
68. Swarm mode (Quorum) Qtde managers Quorum Qtde falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3
69. Swarm mode (Consensus) http://demo.consensus.group 
 (by Laura Frank)
70. Swarm mode (scheduler) $ docker service create nginx API Orchestrator Allocator Dispatcher Scheduler Worker Executor Worker Manager
71. Swarm mode (features) Scheduler focado em HA e com conhecimento de topologia $ docker node update \
 --label-add "az=sa-east-1" \
 demo $ docker service create \
 --placement-pref "spread=node.label.az" \
 demo
72. Swarm mode (features) Encriptação TLS ponta a ponta entre todos os nós e com rotação automática de chaves $ docker swarm ca --help
73. Swarm mode (features) Protege acesso indevido ao cluster com autolock $ docker swarm init --autolock
 $ docker swarm update --autolock
74. Swarm mode (features) Gerencia de secrets, qualquer coisa de até 500Kb que fica encriptada $ echo "senha" | docker secret \
 create senha-db - $ docker service create \
 --secret-add=senha-db demo $ docker service update \
 --secret-rm=senha-db demo
75. Swarm mode (features) Dentro dos contêineres a secret, será montada em um tmpfs em /run/secret/secret-name # cat /run/secrets/senha-db
 senha
76. Swarm mode (features) Gerencia de config, muito similar ao secret, porém não encriptado e não é montado no tmpfs $ echo "config" | docker config \
 create cfg-demo - $ docker service create \
 --config-add=cfg-demo demo $ docker service update \
 --config-rm=cfg-demo demo
77. Swarm mode (features) Dentro dos contêineres a config, será montada no / # cat /cfg-demo
 config
78. Swarm mode (features) Facilita healthcheck, não só o contêiner mas as app dentro do serviço pode ser monitorada A aplicação e a imagem Docker criada devem implementar os métodos de checagem
79. Swarm mode (features) Controle de update de serviços $ docker service update \
 --update-parallelism \
 --update-order \
 --update-monitor \
 --update-delay \
 --update-max-failure-ratio \
 --update-failure-action
80. Swarm mode (features) Controle de rollback de serviços se for usado 
 --update-failure-action=rollback então em caso de falhas o rollback é automático $ docker service update --rollback \
 --rollback-parallelism \
 --rollback-order \
 --rollback-monitor \
 --rollback-delay \
 --rollback-max-failure-ratio \
 --rollback-failure-action
81. Swarm mode (features) Centraliza logs de serviços $ docker service logs --tail 10 \
 demo | sort -k3 -k4
82. Swarm mode (new features)
83. –Linus Torvalds “Talk is cheap. Show me the code.”
84. Grato 
 Quer mais? • Curso: 
 http://bit.ly/curso-docker • Telegram: 
 http://t.me/dockerbr • Slacks:
 http://bit.ly/docker-slack
 http://dockr.ly/community • Meetup em SP:
 http://bit.ly/meetup- docker-sp
85. –Augusto Pascutti “Você vai estudar pro resto da vida. Todo dia. E isso não vai ser sufuciente”