Criando operators para Kubernetes usando Go

Palestra apresentada no Golang SP, link da palestra: https://www.youtube.com/watch?v=TfrNmPPNMuk

Alguns slides possuem o link para um Gif de demonstração

Transcript

1. Criando operators para Kubernetes usando Go
2. // Matheus Moraes Oliveira • SRE @ QuintoAndar • Perguntas & slides: twitter.com/math3vz
3. Como o Kubernetes funciona
4. // Kubernetes • É um sistema usado para orquestrar containers
5. // Principais características • Expõe uma API REST • Usa o etcd como seu database • Possui o kubectl como principal client de sua API • Recursos geralmente são declarados em YAML • Arquitetura com foco em eventos • API extensível
6. // O Recurso deployment Cabeçalho: Padrão para todos os recursos, descreve qual versão da API será usada, qual o tipo (Kind) do recurso que está descrito e qual o nome desse recurso. $ cat resource.yaml
7. // O Recurso deployment Spec: Específico por tipo (Kind) de recurso. Descreve o estado desejado do recurso que está sendo criado. $ cat resource.yaml
8. // Outros exemplos de recursos $ cat service.yaml $ cat configmap.yaml
9. // Para visualizar todos os recursos e APIs • $ kubectl api-resources • $ kubectl api-versions
10. O que acontece quando aplicamos um deploy?
11. // Aplicando nosso deployment
12. // Kubernetes $ kubectl apply -f resource.yaml API Server API Server: Responsável pelo gerenciamento e validação do manifesto.
13. // Kubernetes $ kubectl apply -f resource.yaml API Server etcd: Responsável por guardar o manifesto (age como um banco de dados) etcd
14. // Kubernetes $ kubectl apply -f resource.yaml API Server controller-manager: Controla a estado atual vs estado desejado do cluster. etcd controller-manager
15. // Kubernetes • $ kubectl get events
16. // Visualizar requests/responses ao API Server • $ kubectl apply -f resource.yaml -v=7
17. // Kubernetes • $ kubectl apply -f resource.yaml -v=7
18. // Kubernetes • Expõe uma API REST • Usa o etcd como seu database • Possui o kubectl como principal client de sua API • Recursos geralmente são declarados em YAML • Arquitetura com foco em eventos • API extensível
19. Criando recursos customizados
20. // Custom Resource (CR)
21. // Custom resource definition (CRD) Definição/validação do seu recurso
22. // Custom resource definition (CRD) Spec: Declaração do recurso, podendo incluir validações que serão validadas direto pela API
23. // Para ver o CRD criado https://imgur.com/gO6FXhY
24. Legal, mas isso não é muito útil né?
25. Finalmente... Operators!
26. Tá, mas o que é um operator?
27. Um Operator é o controlador do seu CRD
28. // Kubernetes Operator • Um pattern introduzido pelo CoreOS • Um controller não core do Kubernetes • Usa CRDs! • Específico para uma aplicação • Estende a API do Kubernetes para fazer da aplicação um Custom Resource
29. Vantagens de um Operator
30. // Vantagens de usar um Operator • Encapsula lógica que um “Operador” teria sobre o negócio • Abstrai para dentro do Kubernetes algo que não é nativo do Kubernetes • Faz uso da API nativa do Kubernetes • Orientado a eventos (Conectado diretamente ao etcd) • Interação via kubectl
31. // Exemplo de Operators • https://github.com/argoproj/argo-cd • https://github.com/zalando/postgres-operator • https://github.com/jaegertracing/jaeger-operator • https://github.com/coreos/prometheus-operator • https://github.com/operator-framework/awesome-operators
32. Caso de uso
33. // AWS IAM Roles - O que é • IAM: Identity Access Manager • Role: perfil a ser incorporado pela aplicação com permissões pré definidas a recursos da AWS • Cada aplicação possui uma role • Uma role possui N policies • Eram gerenciadas fora do cluster, via terraform • Aplicações frequentemente precisavam ser migradas de cluster/conta AWS, e as roles eram esquecidas.
34. // AWS IAM Roles - Visualização
35. // AWS IAM Roles - Critérios de aceite • Maneira mais fácil de escrever policies sem usar JSON • Opção de usar policies já existentes na AWS • Suporte a policies em JSON para casos específicos
36. // AWS IAM Roles: Cenário ideal
37. // AWS IAM Roles: Um operator • Porque um Operator? ◦ Move junto com o cluster ◦ Gerenciamento acoplado à aplicação ◦ Continua infra as code ◦ Entra no workflow para quem já está acostumado a trabalhar com o ecossistema do Kubernetes
38. Criando um Operator
39. // Como criar um Operator • Client nativo do Kubernetes em Go: k8s.io/client-go • Kopf (https://github.com/zalando-incubator/kopf) • Kubebuilder (https://github.com/kubernetes-sigs/kubebuilder) • Operator-sdk (https://github.com/operator-framework/operator-sdk) ◦ Go ◦ Helm ◦ Ansible
40. // Como criar um Operator • Client nativo do Kubernetes em Go: k8s.io/client-go • Kopf (https://github.com/zalando-incubator/kopf) • Kubebuilder (https://github.com/kubernetes-sigs/kubebuilder) • Operator-sdk (https://github.com/operator-framework/operator-sdk) ◦ Go ◦ Helm ◦ Ansible
41. Vamos começar
42. // Instalando operator-sdk https://sdk.operatorframework.io/docs/install-operator-sdk/#install-from-github-release # Set the release version variable $ RELEASE_VERSION=v0.18.1 # Linux $ curl -LO https://github.com/operator-framework/operator-sdk/releases/download/${RELEASE_VERSION}/operat or-sdk-${RELEASE_VERSION}-x86_64-linux-gnu # macOS $ curl -LO https://github.com/operator-framework/operator-sdk/releases/download/${RELEASE_VERSION}/operat or-sdk-${RELEASE_VERSION}-x86_64-apple-darwin
43. // Operator-sdk scaffold
44. // Operator-sdk cmd: Arquivo principal do operator, instancia um novo manager que registra todos os custom resources definitions dentro de pkg/apis e inicia todos os controllers dentro de pkg/controllers
45. // Operator-sdk pkg/controller: Implementação dos controllers. Usuários devem editar os arquivos pkg/controller/<kind>/<kind>_controller.go para implementar a lógica de gerenciamento de recursos.
46. // Operator-sdk pkg/apis: Path que define as APIs (Custom resources definitions). Usuários devem editar pkg/apis/<group>/<version>/<kind>_types.go para definir seus recursos e importá-los no controller.
47. // Operator-sdk deploy: Recursos necessários para o deploy do Operator em si. Role, ServiceAccount, RoleBinding e Deployment.
48. // Operator-sdk build: Dockerfile e scripts necessários para a build do Operator.
49. // Vamos adicionar nosso CRD e registrar a nossa API
52. // iamrole_types.go ANTES
53. // iamrole_types.go DEPOIS
54. // iamrole_types.go DEPOIS
55. // iamrole_types.go DEPOIS
56. // Para regerar código • $ operator-sdk generate k8s ◦ Gera deep copy para API do Kubernetes • $ operator-sdk generate crds ◦ Gera o CRD baseado no arquivo iamrole_types.go ◦ Validação adicionais usando markers: https://book.kubebuilder.io/reference/markers/crd-validation.html
57. Temos a API, os CRDs, mas ainda falta o Controller
58. // Vamos adicionar o controller para gerenciar esse CRD
59. // iamrole_controller.go
60. // Reconcile loop • Funciona como uma fila • Pode responder OK • Pode responder erro • Pode responder para tentar mais tarde
61. // Deletando o recurso
62. // Deletando o recurso • Caso seu operator faça uso de outros recursos do cluster, você deve declarar o seu custom resource como “dono” do objeto e assim que o custom resource for deletado o recurso declarado como propriedade também será deletado. • Exemplo: Deployment apagado, pods são apagados.
63. // Criando o recurso
64. // Criando o recurso
65. // Criando o recurso
66. // Criando o recurso
67. // Build $ operator-sdk build my-operator:v0
68. // Build
69. // Publish $ kubectl apply -f deploy/crds/math3vz.com_awsiamroles_crd.yaml $ kubectl apply -f deploy/
70. Demo
71. https://imgur.com/eyHw9FE
72. Muito obrigado! twitter.com/math3vz