Swarm vs Kubernetes, qual orquestrador escolher (Webinar Kinghost)

Webinar apresentado dia 29 de agosto de 2018 ao vivo da KingHost. Mostramos alguns conceitos de orquestração de contêineres e comparamos diversos detalhes e um guia de comparação para escolher um dos orquestradores mais utilizados no momento, Kubernetes ou Docker Swarm.

Transcript

1. SWARM vs KUBERNETES
 Qual orquestrador devo escolher: Webinar @
2. Wellington F. Silva contato: @_wsilva nicks: wsilva, boina, tom, fisi funções: pai, tec. telecom, programador, sysadmin, docker community leader, instrutor, escritor, zend certified engineer e docker certified associate
3. Agenda • Docker 101 • Fluxo básico de trabalho com Docker • Problemas comuns em Produção • Orquestração • Revisitando conceitos • Comparativos • Qual escolher
4. Disclaimer • Vamos passar muito rapidamente pelo que é o Docker • Foco na orquestração de contêineres
5. O que é DOCKER?
6. O que é DOCKER?
7. O que é Contêiner?
8. “Ferramenta para virtualização no nível do Sistema Operacional.”
9. –Wellington F. Silva “Ferramenta para virtualização no nível do Sistema Operacional.”
10. Tipos de Virtualização
11. Tipos de Virtualização • Full Virtualization
12. Tipos de Virtualização • Full Virtualization • Partial Virtualization
13. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization
14. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization
15. Tipos de Virtualização • Full Virtualization • Partial Virtualization • Paravirtualization • OS Level Virtualization 
 (Docker, rkt, Garden, Guardian, containerD, cri- O)
16. Então contêiner é uma VM leve?
17. Docker NÃO é VM
18. SERVIDOR SERVIDOR HOST OS HOST OS CONTAINER ENGINE HYPERVISOR BINS/LIBS GUEST OS APP GUEST OS BINS/LIBS BINS/LIBS APP APP APP VM VM Container Container
19. Diferentes, não excludentes SERVIDOR XEN UBUNTU LINUX DOCKER ENGINE BINS/LIBS MYSQL DEBIAN LINUX BINS/LIBS NGINX BINS/LIBS PHP-FPM DOCKER ENGINE WINDOWS 2016 SERVER BINS/LIBS SQL SERVER
20. Fluxo básico de trabalho com Docker?
21. Client Docker Host docker daemon Contêineres Imagens Registry Fluxo básico de trabalho com Docker
22. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
23. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
24. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
25. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
26. Fluxo básico de trabalho com Docker Client Docker Host docker run redis docker daemon Contêineres Imagens Registry
27. Como escalar para vários servidores em produção?
28. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres?
29. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar?
30. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem?
31. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime?
32. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres?
33. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como os contêineres vão se comunicar?
34. Problemas comuns em Produção • Como gerenciar o ciclo de vida dos contêineres? • Como escalar? • Como recriar contêineres que morrem? • Como atualizar o sistema sem downtime? • Onde colocar meus contêineres? • Como os contêineres vão se comunicar? • Como gerenciar informações sensíveis?
35. ORQUESTRAÇÃO
36. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously
37. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção
38. ORQUESTRAÇÃO Dicionário Oxford: 2. the planning or coordination of the elements of a situation to produce a desired effect especially surreptitiously Tradução livre: O planejamento ou a coordenação dos elementos de uma situação para produzir um efeito desejado, especialmente evitando chamar atenção
39. Orquestração
 (elementos) • Contêineres Maestro João Carlos Martins
40. Orquestração
 (elementos) • Contêineres • Hosts Maestro João Carlos Martins
41. Orquestração
 (elementos) • Contêineres • Hosts • Redes Maestro João Carlos Martins
42. Orquestração
 (elementos) • Contêineres • Hosts • Redes • Volumes Maestro João Carlos Martins
43. Orquestração
 (elementos) • Contêineres • Hosts • Redes • Volumes • Monitoramento Maestro João Carlos Martins
44. Orquestração
 (efeitos desejados) • Aplicação sempre rodando
45. Orquestração
 (efeitos desejados) • Aplicação sempre rodando • Escalabilidade automática
46. Orquestração
 (efeitos desejados) • Aplicação sempre rodando • Escalabilidade automática • Tolerância a falhas (failover, rebalanceamento, health checks, etc)
47. Orquestração
 (efeitos desejados) • Aplicação sempre rodando • Escalabilidade automática • Tolerância a falhas (failover, rebalanceamento, health checks, etc) • Melhor utilização de recursos
48. Orquestração
 (efeitos desejados) • Aplicação sempre rodando • Escalabilidade automática • Tolerância a falhas (failover, rebalanceamento, health checks, etc) • Melhor utilização de recursos • Minimizar intervenção manual
49. Revisitando
 Conceitos
50. Revisitando Conceitos • Cluster
 Aglomerado de computadores que trabalham como se fosse apenas um para aplicação final
51. Revisitando Conceitos • Cluster
 Aglomerado de computadores que trabalham como se fosse apenas um para aplicação final • Service Discovery
 Detecção automática de serviços
52. Revisitando Conceitos • Cluster
 Aglomerado de computadores que trabalham como se fosse apenas um para aplicação final • Service Discovery
 Detecção automática de serviços • Load Balance
 Distribuição da carga entre todas as instâncias
53. Revisitando Conceitos • High Availability (HA)
 Capacidade de continuar disponível mesmo com falhas
54. Revisitando Conceitos • High Availability (HA)
 Capacidade de continuar disponível mesmo com falhas • Auto Scale
 Habilidade de adequar o tamanho da infra de acordo com a demanda
55. Histórico (History)
56. Docker Swarm • Criado e gerido pela Docker Inc
57. Docker Swarm • Criado e gerido pela Docker Inc • Lançado em dezembro de 2014, beta (v0.2) e dependente de service discovery externo
58. Docker Swarm • Criado e gerido pela Docker Inc • Lançado em dezembro de 2014, beta (v0.2) e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 (28/07/2016) - pronto para produção - Swarm Mode
59. Docker Swarm • Criado e gerido pela Docker Inc • Lançado em dezembro de 2014, beta (v0.2) e dependente de service discovery externo • Incorporado ao engine do Docker na versão 1.12 (28/07/2016) - pronto para produção - Swarm Mode • Melhorado na versões seguintes com secrets, stacks, configs, autolock
60. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s)
61. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Jul/2014)
62. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Jul/2014) • Grandes contribuições da Red Hat (Openshift v3)
63. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Jul/2014) • Grandes contribuições da Red Hat (Openshift v3) • Experiência do Google (Em 2014 mais de 2 bilhões de contêineres eram criados por semana)
64. Kubernetes • 3ª geração de orquestrador de contêineres do Google (Borg, Omega e K8s) • Código aberto desde 2014 (1º release Jul/2014) • Grandes contribuições da Red Hat (Openshift v3) • Experiência do Google (Em 2014 mais de 2 bilhões de contêineres eram criados por semana) • Código fonte hoje mantido pela CNCF (comunidade imensa)
65. Arquitetura (Architecture)
66. • Nodes Swarm
67. • Nodes • Stacks Swarm
68. • Nodes • Stacks • Services Swarm
69. • Nodes • Stacks • Services • Tasks Swarm
70. • Nodes • Stacks • Services • Tasks • Containers Swarm
71. Service web nginx
 (3 réplicas) Task: nginx.1 node A task: nginx.2 node C task: nginx.3 node B Container 1 Container 2 Container 3 Swarm Service e Tasks
72. • Workers Swarm Tipos de nós (nodes)
73. • Workers • rodam contêineres e reportam os estados Swarm Tipos de nós (nodes)
74. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers Swarm Tipos de nós (nodes)
75. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados Swarm Tipos de nós (nodes)
76. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados • mantém o desired state dos serviços Swarm Tipos de nós (nodes)
77. • Workers • instâncias que rodam contêineres e reportam os estados deles • Managers • decidem onde contêineres devem ser executados • mantém o desired state dos serviços • gerenciam o cluster Swarm Tipos de nós (nodes)
78. Worker Worker Worker Worker Worker raft consensus group Manager (líder) Manager Manager CA CA CA TLS TLS TLS TLS TLS TLS TLS TLS gossip network Swarm
79. Kubernetes • Nodes
80. Kubernetes • Nodes • Services (Load Balancers)
81. Kubernetes • Nodes • Services (Load Balancers) • Controllers (ReplicaSet, ReplicationController, Deployments, StatefulSets, DaemonSets, Jobs)
82. Kubernetes • Nodes • Services (Load Balancers) • Controllers (ReplicaSet, ReplicationController, Deployments, StatefulSets, DaemonSets, Jobs) • Pods
83. Kubernetes • Nodes • Services (Load Balancers) • Controllers (ReplicaSet, ReplicationController, Deployments, StatefulSets, DaemonSets, Jobs) • Pods • Containers
84. Kubernetes Nodes Master • kube-apiserver
85. Master • kube-apiserver • etcd Kubernetes Nodes
86. Master • kube-apiserver • etcd • kube-scheduler Kubernetes Nodes
87. Master • kube-apiserver • etcd • kube-scheduler • kube-controller-manager Kubernetes Nodes
88. Node • kubelet Kubernetes Nodes
89. Node • kubelet • kube-proxy Kubernetes Nodes
90. Node • kubelet • kube-proxy • container runtime Kubernetes Nodes
91. Master Kubernetes etcd etcd etcd Master API Server Controller Manager Scheduler Node kublet Proxy Docker Pod Pod Node kublet Proxy Docker Pod Pod Internet
92. Implantação (Setup)
93. Swarm Primeiro iniciamos um manager $ docker swarm init Copiamos o comando com o token para adicionar nos ao cluster $ docker swarm join --token SWMTKN-1-36jot6xfif86sz8mnii5k3rrm98zl 357pyfibyst0359q8hdmi-9o48882jia3hx7bs 7sxpr7yhz node.manager:2377
94. Kubernetes • The hard way • As a service (EKS, AKS, GKE, etc) • Gerenciado (Kops, kubespray, ansible, etc) • Para testes: • Minikube, Docker for desktop, Vagrant, Kubeadm
95. Alta Disponibilidade (High Availability)
96. • Managers compartilham dados via raft consensus Swarm
97. • Managers compartilham dados via raft consensus • Se o líder falhar outro manager assume Swarm
98. • Managers compartilham dados via raft consensus • Se o líder falhar outro manager assume • Devemos manter o quorum (maioria de votos): (n/2+1), n é números de nós managers Swarm
99. • Managers compartilham dados via raft consensus • Se o líder falhar outro manager assume • Devemos manter o quorum (maioria de votos): (n/2+1), n é números de nós managers • Podemos promover um nó worker a manager e vice versa Swarm
100. Qtde managers Quorum Qtde falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3 Swarm
101. Qtde managers Quorum Qtde falhas 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3 Swarm
102. Raft Consensus http://demo.consensus.group 
 (by Laura Frank)
 
 http://thesecretlivesofdata.com/raft/
 (by Ben Johnson)
103. Kubernetes • Arquitetura granular, liberdade para criar o cluster com dois ou mais masters
104. Kubernetes • Arquitetura granular, liberdade para criar o cluster com dois ou mais masters • Etcd implementa Raft Consensus algorithm
105. Kubernetes • Liberdade para criar o cluster com dois ou mais masters • Etcd implementa Raft Consensus algorithm • Etcd interno ou externo
106. Kubernetes • Liberdade para criar o cluster com dois ou mais masters • Etcd implementa Raft Consensus algorithm • Etcd interno ou externo • Segregar o etcd (main, events)
107. Agendamento de tarefas (Scheduling)
108. Swarm $ docker service create nginx Worker Manager API Orchestrator Allocator Dispatcher Scheduler Worker Executor
109. Scheduler focado em HA e com conhecimento de topologia $ docker node update \
 --label-add "az=sa-east-1" \
 demo $ docker service create \
 --placement-pref "spread=node.label.az" \
 demo Swarm
110. Scheduler focado em recursos disponíveis e influenciável com afinidade/anti-afinidade Devemos definir no pod spec conforme exemplo: Kubernetes
111. affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: "failure- domain.beta.kubernetes.io/zone" operator: In values: ["us-central1-a"] Kubernetes
112. Segurança (Security)
113. Swarm Encriptação TLS ponta a ponta entre todos os nós e com rotação automática de chaves $ docker swarm ca --help
114. Swarm Protege acesso indevido ao cluster com autolock $ docker swarm init --autolock
 $ docker swarm update --autolock
115. Swarm Gerencia de secrets, qualquer coisa de até 500Kb que fica criptografada $ echo "senha" | docker secret \
 create senha-db - $ docker service create \
 --secret-add=senha-db demo $ docker service update \
 --secret-rm=senha-db demo
116. Swarm Dentro dos contêineres a secret, será montada em um tmpfs em /run/secret/secret-name # cat /run/secrets/senha-db
 senha
117. Kubernetes Trabalha com secret de maneira similar: • Monta volume em tmpfs no pod
118. Kubernetes Trabalha com secret de maneira similar: • Monta volume em tmpfs no pod • Secret armazenado no etcd que por padrão é aberto mas facilmente trocamos a comunicação para encriptado com TLS
119. Kubernetes Trabalha com secret de maneira similar: • Monta volume em tmpfs no pod • Secret armazenado no etcd que por padrão é aberto mas facilmente trocamos a comunicação para encriptado com TLS • Podemos integrar com ferramentas especializadas (ex.: Hashicorp Vault)
120. Kubernetes Acesso ao control plane por autenticação • Certificados X509
121. Kubernetes Acesso ao control plane por autenticação • Certificados X509 • Bearer tokens
122. Kubernetes Acesso ao control plane por autenticação • Certificados X509 • Bearer tokens • Arquivo de senha
123. Kubernetes Acesso ao control plane por autenticação • Certificados X509 • Bearer tokens • Arquivo de senha • Proxy de autenticação e Webhook
124. Kubernetes Autorização usa RBAC (Role Base Access Control) e altamente granular • Role e Role Binding
125. Kubernetes Autorização usa RBAC (Role Base Access Control) e altamente granular • Role e Role Binding • Cluster Role e Cluster Role Binding
126. Update e Rollback
127. Swarm mode (features) Controle de update de serviços $ docker service update \
 --update-parallelism \
 --update-order \
 --update-monitor \
 --update-delay \
 --update-max-failure-ratio \
 --update-failure-action
128. Swarm mode (features) Controle de rollback de serviços se for usado 
 --update-failure-action=rollback então em caso de falhas o rollback é automático $ docker service update --rollback \
 --rollback-parallelism \
 --rollback-order \
 --rollback-monitor \
 --rollback-delay \
 --rollback-max-failure-ratio \
 --rollback-failure-action
129. Kubernetes Podemos editar o arquivo de configuração do deployment ou rodar o comando set $ kubectl set image \
 deployment/myapp=myimg:v2
 deployment "myapp" image updated
130. Kubernetes ...
 spec:
 strategy:
 type: RollingUpdate
 rollingUpdate:
 maxSurge: 2
 maxUnavailable: 1
 revisionHistoryLimit: 4 ...
131. Kubernetes Podemos ver as versões com rollout $ kubectl rollout history \
 deployments myapp
 deployments "myapp" REVISION CHANGE-CAUSE
 1 kubectl run myapp --image=myimg:v1 --record
 2 kubectl set image deployment/myapp myimg:v2
132. Kubernetes Ou fazer o rollback $ kubectl rollout undo deployments \
 myapp --to-revision=1 deployment "myapp" rolled back
133. Auto Scaling da aplicação
134. Swarm Não existe autoscale de containers automático Temos que usar ferramentas de monitoramento externas que disparam o comando de update / scale da aplicação 
 (ex.: https://github.com/gianarb/orbiter)
135. Kubernetes Suporte nativo com Horizontal Pod Autoscaler $ kubectl autoscale deployment \
 myapp \
 --cpu-percent=50 \
 --min=2 \
 --max=10 deployment "myapp" autoscaled
136. Como escolher?
137. Como escolher? Analisando os requisitos para seu projeto: • Qtde de máquinas (dezenas, centenas, milhares) • Quais regiões vão usar suas aplicações (BR, Latin America, Mundo Todo) • Quão sensível deve ser a escalabilidade das aplicações • Que container engine é melhor para o projeto
138. Como escolher? Monte uma tabela comparando os requisitos principais
139. Comparando Swarm Kubernetes Set up I Fácil Complicado Set up II Padronizado Configurável Scalabilidade Fácil Fácil Autoscale Só extendendo Integrado Load Balancing Nativo Fácil Update Fácil Fácil Rollback Automático 1 histórico Configurável Log e monitoria Plugavel e expõe prometheus Nativo / configurável Namespaces Não tem Nativo Container run time So Docker rkt, docker, cri-o
140. Comparando Swarm Kubernetes Deployment + Rapido Rapido Arquivo deploy Simples Verboso Quantidade de carga 10-20 containers 100-1000 containers Suporte Comunidade pequena Comunidade gigante Evolução Lenta Rapida … … …
141. Docker for Desktop e Enterprise
142. Cenário atual https://www.digitalocean.com/currents/june-2018/
143. Cenário atual • Em empresas de até 5 empregados (TI) a adoção de Swarm é de 41% contra 31% da adoção de Kubernetes
144. Cenário atual • Em empresas de até 5 empregados (TI) a adoção de Swarm é de 41% contra 31% da adoção de Kubernetes • Orquestração ainda não decolou, apenas 52% utilizam algum orquestrador de contêineres economizando mais de 10h.
145. Cenário atual • Em empresas de até 5 empregados (TI) a adoção de Swarm é de 41% contra 31% da adoção de Kubernetes • Orquestração ainda não decolou, apenas 52% utilizam algum orquestrador de contêineres • Dos que estão usando, 51% estão economizando 5h por semana 15% diz estar economizando mais de 10h.
146. Escolha a melhor para você de acordo com seus requisitos e suas comparações
147. Valeu
 =) Slides em
 https://speakerdeck.com/wsilva/ *