Orquestradores de Contêineres: Swarm ou Kubernetes (Meetup CNCF SP #5)

Palestra apresentada dia 24 de julho de 2018 no Meetup #5 da CNCF em São Paulo. Mostramos alguns conceitos de orquestração de contêineres e comparamos diversos detalhes e um guia de comparação para escolher um dos orquestradores mais utilizados no momento, Kubernetes ou Docker Swarm.

Transcript

1. Orquestradores de contêineres: SWARM OU KUBERNETES
2. Wellington F. Silva contato: @_wsilva nicks: wsilva, boina, tom, fisi funções: pai, tec. telecom, programador, sysadmin, docker community leader, instrutor, escritor, zend certified engineer e docker certified associate
3. Agenda • Docker 101 • Fluxo básico de trabalho com Docker • Problemas comuns em Produção • Orquestração • Revisitando conceitos • Docker Swarm (Swarm mode) • Kubernetes
4. Disclaimer • Vamos passar muito rapidamente pelo que é o Docker • Foco na orquestração de contêineres
5. O que é DOCKER?
8. O que é DOCKER?
9. “Ferramenta para virtualização no nível do Sistema Operacional.”
10. –Wellington F. Silva “Ferramenta para virtualização no nível do Sistema Operacional.”
11. Tipos de Virtualização
12. Tipos de Virtualização • Full Virtualization
13. Tipos de Virtualização • Full Virtualization • Partial Virtualization
14. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization
15. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization
16. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization Docker
17. Docker NÃO é VM
18. SERVIDOR SERVIDOR HOST OS HOST OS CONTAINER ENGINE HYPERVISOR BINS/LIBS GUEST OS APP GUEST OS BINS/LIBS BINS/LIBS APP APP APP VM VM Container Container
19. Diferentes, não excludentes SERVIDOR XEN UBUNTU LINUX DOCKER ENGINE BINS/LIBS MYSQL DEBIAN LINUX BINS/LIBS NGINX BINS/LIBS PHP-FPM DOCKER ENGINE WINDOWS 2016 SERVER BINS/LIBS SQL SERVER
20. Fluxo básico de trabalho com Docker?
21. Client Docker Host docker daemon Contêineres Imagens Registry Fluxo básico de trabalho com Docker
22. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
23. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
24. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
25. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
26. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
27. Como escalar para vários servidores em produção?
28. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres?
29. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar?
30. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem?
31. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime?
32. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres?
33. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como os contêineres vão se comunicar?
34. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como os contêineres vão se comunicar? • Como gerenciar informações sensíveis?
35. ORQUESTRAÇÃO
36. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously
37. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção
38. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção
39. Orquestração
 (elementos) • Contêineres • Hosts • Redes • Volumes • Monitoramento Maestro João Carlos Martins
40. Orquestração
 (efeitos desejados) • Aplicação rodando • Escalabilidade automática • Tolerante a falha (failover, rebalanceamento, health checks, etc) • Melhor utilização de recursos • Minimizar intervenção manual
41. Revisitando Conceitos
42. Revisitando Conceitos • Cluster
43. Revisitando Conceitos • Cluster • Service Discovery
44. Revisitando Conceitos • Cluster • Service Discovery • Load balance
45. Revisitando Conceitos • Cluster • Service Discovery • Load balance • High Availability (HA)
46. Revisitando Conceitos • Cluster • Service Discovery • Load balance • High Availability (HA) • Auto Scale
47. Histórico
48. Docker Swarm • Criado e gerido pela Docker Inc
49. Docker Swarm • Criado e gerido pela Docker Inc • Lançado em dezembro de 2014, beta (v0.2) e dependente de service discovery externo
50. Docker Swarm • Criado e gerido pela Docker Inc • Lançado em dezembro de 2014, beta (v0.2) e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 (28/07/2016) - pronto para produção - Swarm Mode
51. Docker Swarm • Criado e gerido pela Docker Inc • Lançado em dezembro de 2014, beta (v0.2) e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 (28/07/2016) - pronto para produção - Swarm Mode • Melhorado na versões seguintes com secrets, stacks, configs, autolock
52. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s)
53. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Set/2014)
54. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Set/2014) • Grandes contribuições da Red Hat (Openshift v3)
55. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Set/2014) • Grandes contribuições da Red Hat (Openshift v3) • Experiência do Google (Em 2014 mais de 2 bilhões de contêineres eram criados por semana)
56. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Set/2014) • Grandes contribuições da Red Hat (Openshift v3) • Experiência do Google (Em 2014 mais de 2 bilhões de contêineres eram criados por semana) • Código fonte hoje mantido pela CNCF (comunidade imensa)
57. Arquitetura
58. • Nodes Swarm
59. • Nodes • Stacks Swarm
60. • Nodes • Stacks • Services Swarm
61. • Nodes • Stacks • Services • Tasks Swarm
62. • Nodes • Stacks • Services • Tasks • Containers Swarm
63. Service web nginx
 (3 réplicas) Task: nginx.1 node A task: nginx.2 node C task: nginx.3 node B Container 1 Container 2 Container 3 Swarm Service e Tasks
64. • Workers Swarm Tipos de nós (nodes)
65. • Workers • rodam contêineres e reportam os estados Swarm Tipos de nós (nodes)
66. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers Swarm Tipos de nós (nodes)
67. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados Swarm Tipos de nós (nodes)
68. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados • mantém o desired state dos serviços Swarm Tipos de nós (nodes)
69. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados • mantém o desired state dos serviços • gerenciam o cluster Swarm Tipos de nós (nodes)
70. Worker Worker Worker Worker Worker raft consensus group Manager (líder) Manager Manager CA CA CA TLS TLS TLS TLS TLS TLS TLS TLS gossip network Swarm
71. Kubernetes • Nodes
72. Kubernetes • Nodes • Services (Load Balancers)
73. Kubernetes • Nodes • Services (Load Balancers) • Controllers (ReplicaSet, ReplicationController, Deployments, StatefulSets, DaemonSets, Jobs)
74. Kubernetes • Nodes • Services (Load Balancers) • Controllers (ReplicaSet, ReplicationController, Deployments, StatefulSets, DaemonSets, Jobs) • Pods
75. Kubernetes • Nodes • Services (Load Balancers) • Controllers (ReplicaSet, ReplicationController, Deployments, StatefulSets, DaemonSets, Jobs) • Pods • Containers
76. Kubernetes Nodes Master • kube-apiserver
77. Master • kube-apiserver • etcd Kubernetes Nodes
78. Master • kube-apiserver • etcd • kube-scheduler Kubernetes Nodes
79. Master • kube-apiserver • etcd • kube-scheduler • kube-controller-manager Kubernetes Nodes
80. Node • kubelet Kubernetes Nodes
81. Node • kubelet • kube-proxy Kubernetes Nodes
82. Node • kubelet • kube-proxyk • container runtime Kubernetes Nodes
83. Master Kubernetes etcd etcd etcd Master API Server Controller Manager Scheduler Node kublet Proxy Docker Pod Pod Node kublet Proxy Docker Pod Pod Internet
84. Setup
85. Swarm Simples por padrão inicia um manager $ docker swarm init Copia o token para adicionar nos ao cluster $ docker swarm join
86. Kubernetes • The hard way • As a service (EKS, AKS, GKE, etc) • Gerenciado (Kops, kubespray, ansible, etc) • Para testes: • Minikube, Docker for desktop, Vagrant, Kubeadm
87. Alta Disponibilidade (High Availability)
88. • Managers compartilham dados via raft consensus Swarm
89. • Managers compartilham dados via raft consensus • Se o líder falhar outro manager assume Swarm
90. • Managers compartilham dados via raft consensus • Se o líder falhar outro manager assume • Devemos manter o quorum (maioria de votos): (n/2+1), n é números de nós managers Swarm
91. Qtde managers Quorum Qtde falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3 Swarm
92. Qtde managers Quorum Qtde falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3 Swarm
93. Raft Consensus http://demo.consensus.group 
 (by Laura Frank)
 
 http://thesecretlivesofdata.com/raft/
 (by Ben Johnson)
94. Kubernetes • Liberdade para criar o cluster com dois ou mais masters
95. Kubernetes • Liberdade para criar o cluster com dois ou mais masters • Etcd implementa Raft Consensus algorithm
96. Kubernetes • Liberdade para criar o cluster com dois ou mais masters • Etcd implementa Raft Consensus algorithm • Etcd interno ou externo
97. Kubernetes • Liberdade para criar o cluster com dois ou mais masters • Etcd implementa Raft Consensus algorithm • Etcd interno ou externo • Segregar o etcd (main, events)
98. Scheduling
99. Swarm $ docker service create nginx Worker Manager API Orchestrator Allocator Dispatcher Scheduler Worker Executor
100. Scheduler focado em HA e com conhecimento de topologia $ docker node update \
 --label-add "az=sa-east-1" \
 demo $ docker service create \
 --placement-pref "spread=node.label.az" \
 demo Swarm
101. Scheduler focado em recursos disponíveis e influenciável com configuração de afinidade Config a ser adicionado ao pod spec: Kubernetes
102. affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: "failure- domain.beta.kubernetes.io/zone" operator: In values: ["us-central1-a"] Kubernetes
103. Security
104. Swarm Encriptação TLS ponta a ponta entre todos os nós e com rotação automática de chaves $ docker swarm ca --help
105. Swarm Protege acesso indevido ao cluster com autolock $ docker swarm init --autolock
 $ docker swarm update --autolock
106. Swarm Gerencia de secrets, qualquer coisa de até 500Kb que fica criptografada $ echo "senha" | docker secret \
 create senha-db - $ docker service create \
 --secret-add=senha-db demo $ docker service update \
 --secret-rm=senha-db demo
107. Swarm Dentro dos contêineres a secret, será montada em um tmpfs em /run/secret/secret-name # cat /run/secrets/senha-db
 senha
108. Kubernetes Acesso controlado por autenticação e autorização, usa RBAC (Role Base Access Control) e altamente plugável e configurável.
109. Kubernetes Trabalha com secret de maneira similar: • Monta em tmpfs no pod
110. Kubernetes Trabalha com secret de maneira similar: • Monta em tmpfs no pod • Secret armazenado no etcd que por padrão é aberto mas facilmente trocamos a comunicação para encriptado com TSL
111. Kubernetes Trabalha com secret de maneira similar: • Monta em tmpfs no pod • Secret armazenado no etcd que por padrão é aberto mas facilmente trocamos a comunicação para encriptado com TSL • Podemos integrar com ferramentas terceiras (Hashicorp Vault)
112. Update e Rollback
113. Swarm mode (features) Controle de update de serviços $ docker service update \
 --update-parallelism \
 --update-order \
 --update-monitor \
 --update-delay \
 --update-max-failure-ratio \
 --update-failure-action
114. Swarm mode (features) Controle de rollback de serviços se for usado 
 --update-failure-action=rollback então em caso de falhas o rollback é automático $ docker service update --rollback \
 --rollback-parallelism \
 --rollback-order \
 --rollback-monitor \
 --rollback-delay \
 --rollback-max-failure-ratio \
 --rollback-failure-action
115. Kubernetes Podemos editar o arquivo de configuração do deployment ou rodar o comando set $ kubectl set image \
 deployment/myapp=myimg:v2
 deployment "myapp" image updated
116. Kubernetes Podemos ver as versões com rollout $ kubectl rollout history \
 deployments myapp
 deployments "myapp" REVISION CHANGE-CAUSE
 1 kubectl run myapp --image=myimg:v1 --record
 2 kubectl set image deployment/myapp myimg:v2
117. Kubernetes Ou fazer o rollback $ kubectl rollout undo deployments \
 myapp --to-revision=1 deployment "myapp" rolled back
118. Auto Scaling da aplicação
119. Swarm Não existe autoscale de containers automático Temos que usar ferramentas de monitoramento externas que disparam o comando de update / scale da aplicação
120. Kubernetes Suporte nativo com Horizontal Pod Autoscaler $ kubectl autoscale deployment \
 myapp \
 --cpu-percent=50 \
 --min=2 \
 --max=10 deployment "myapp" autoscaled
121. Como escolher?
122. Como escolher? Analisando os requisitos para seu projeto: • Qtde de máquinas (dezenas, centenas, milhares) • Quais regiões vão usar suas aplicações (BR, Latin America, Mundo Todo) • Quão sensível deve ser a escalabilidade das aplicações • Que container engine é melhor para o projeto
123. Como escolher? Monte uma tabela comparando os requisitos principais
124. Comparando Swarm Kubernetes Set up I Fácil Complicado Set up II Padronizado Configurável Scalabilidade Fácil Fácil Autoscale Só extendendo Integrado Load Balancing Nativo Fácil Update Fácil Fácil Rollback Automático 1 histórico Configurável Log e monitoria Plugavel e expõe prometheus Nativo / configurável Namespaces Não tem Nativo Container run time So Docker rkt, docker, cri-o
125. Comparando Swarm Kubernetes Deployment + Rapido Rapido Arquivo deploy Simples Verboso Quantidade de carga 10-20 containers 100-1000 containers Suporte Comunidade pequena Comunidade gigante Evolução Lenta Rapida … … …
126. Docker for Desktop e Enterprise
127. Escolha a melhor para você de acordo com seus requisitos e suas comparações
128. Valeu
 =) Slides em
 https://speakerdeck.com/wsilva/ *