Un año con Kubernetes en Producción

Charla que di en nerdear.la 2017, explicando nuestra experiencia usando Kubernetes en Producción por un año en mi trabajo (invisionapp.com) Buenos Aires, Argentina

Transcript

1. Un año con Kubernetes en Producción Pablo Fredrikson - SRE @ Invision @pablokbs
2. Pablo Fredrikson @pablokbs • Nerd • 12 años con Linux / Open Source • Senior SRE @ Invision • 2º Año en Nerdear.la!
3. Ingeniería en Invision • Startup 6 años de antigüedad • Hace 2 años ◦ ~20 personas en Ingeniería ◦ Teníamos ~5 servers windows, storage y DBs • Actualmente ◦ ~110 personas en Ingeniería ◦ ~1500 instancias en AWS ◦ ~7000 containers en ~30 entornos ◦ ~100 deploys únicos por semana • Velocidad
4. Mini startups • Equipos de menos de 7-8 personas • Autónomos ◦ Deploys ◦ Código ◦ Herramientas ◦ Responsabilidades ◦ Configuraciones ◦ Formas de trabajo (Google Hangouts, Trello, JIRA, standups)
5. Migrando a Docker / Kubernetes • Usábamos chef • Migramos el entorno local de Vagrant a Docker • Empezamos a probar Kubernetes
6. ¿Qué es Kubernetes? “Kubernetes es todo lo que le falta a Docker para poder correr en Producción.” Juan Moyano @ nerdear.la 2016
7. ¿Qué es Kubernetes? “Kubernetes es casi todo lo que le falta a Docker para poder correr en Producción.” Pablo Fredrikson @ nerdear.la 2017
8. Manifiestos apiVersion: v1 kind: Pod metadata: name: envar-demo labels: purpose: demonstrate-envars spec: containers: - name: envar-demo-container image: gcr.io/google-samples/node-hello:1.0 env: - name: DEMO_GREETING value: "Hello from the environment"
9. Kubernetes no es perfecto • No maneja generación de manifiestos • No maneja variables de entorno • Los deploys están atados a los manifiestos
10. kit • Continuous deployment para Kubernetes • ¿Cómo funciona? ◦ Desarrollador hace el push a github ◦ Dispara el build en Codeship ◦ Kit hace el push del release al repo de Kubernetes ◦ Se generan los manifiestos ◦ Se aplican los manifiestos (deploy) • ¡Es open source! https://invisionapp.github.io/kit/
11. Plantillas de manifiestos (mustache) apiVersion: v1 kind: Pod metadata: name: envar-demo labels: purpose: demonstrate-envars spec: containers: - name: envar-demo-container image: {{{envar-demo.image}}} env: - name: DEMO_GREETING value: "Hello from the environment" https://mustache.github.io/
12. Env-API / in-config.yaml default: NEW_RELIC_SERVICE_NAME: myservice-$${CLUSTER} MYSQL_USER: ${MYSQL_USER} MYSQL_PASSWORD: ${MYSQL_PASSWORD} testing: SERVER_TYPE: QA staging: SERVER_TYPE: PREVIEW production: SERVER_TYPE: LIVE
13. Env-API / S3 secrets s3://mysecrets/production/nerdearla-cluster/myservicio/MYSQL_USER s3://mysecrets/production/nerdearla-cluster/myservicio/MYSQL_PASSWORD s3://mysecrets/production/nerdearla-cluster/myservicio/MYSQL_HOST s3://mysecrets/production/nerdearla-cluster/myservicio/SQS_URL s3://mysecrets/production/nerdearla-cluster/common/S3_BUCKET s3://mysecrets/production/common/REDIS_HOST s3://mysecrets/staging/nerdearla-cluster/myservicio/MYSQL_USER s3://mysecrets/staging/nerdearla-cluster/myservicio/MYSQL_PASSWORD s3://mysecrets/staging/nerdearla-cluster/myservicio/MYSQL_HOST s3://mysecrets/staging/nerdearla-cluster/myservicio/SQS_URL s3://mysecrets/staging/nerdearla-cluster/common/S3_BUCKET s3://mysecrets/staging/common/REDIS_HOST
14. Env-API / Terraform resource "aws_sqs_queue" "my-sqs-queue" { name = "${var.cluster_name}-my-sqs-queue" } resource "aws_s3_bucket_object" "s3_sqs_perm_queue_url" { bucket = "${var.secrets_bucket}" key = "${var.environment}/${var.cluster_name}/common/SQS_URL" acl = "bucket-owner-full-control" content = "${aws_sqs_queue.my-sqs-queue.id}" }
15. Env-API / Workflow
16. Plantillas de manifiestos (mustache) apiVersion: v1 kind: Pod metadata: name: envar-demo labels: purpose: demonstrate-envars spec: containers: - name: envar-demo-container image: {{{envar-demo.image}}} env: {{#envar-demo.env}} - name: {{{name}}} value: "{{{value}}}" {{/envar-demo.env}} https://mustache.github.io/
17. Manifiesto generado usando kit y env-api apiVersion: v1 kind: Pod metadata: name: envar-demo labels: purpose: demonstrate-envars spec: containers: - name: envar-demo-container image: quay.io/invision/my-service:adssadads1234 env: - name: MYSQL_HOST value: mysql.invisionapp.local - name: MYSQL_USER value: myuser - name: MYSQL_PASSWORD value: !myp4ssw0rd!
18. Single tenant ? Namespaces! • Generamos toda la infraestructura y todo lo necesario para levantar el stack completo en ~15 minutos: ◦ Crear manifiestos para namespaces ◦ Crear certificados SSL, third party services ◦ Crear todos los recursos de AWS (ELBs, ALBs, ASGs, buckets S3, RDS, DNS, SQS, SNS, Lambda, y mucho más) ◦ Generar los manifiestos con las imágenes y variables de entorno para todos los servicios (data, auth, etc) ◦ Bootstrap de la aplicación (~50 microservicios) ◦ Todo esto sin interacción de developers
19. Usando Kubernetes en Producción • Reducimos costos de AWS en un 50% (principalmente ec2) • Incrementamos la velocidad de creación de entornos (de 1 o 2 días a 30 minutos) • Mayor consistencia (automatización - menos errores humanos) • Estabilidad - Dejás de manejar instancias o contenedores y manejás clusters • Rollbacks rápidos y seguros • Auto healing
20. Pero … nadie dijo que iba a ser fácil • Problemas con DNS • Healthcheck -> default-http-backend • kit-destroyer • Nginx - Java affinity • Liveness probe - danger - no tiene rolling deploys • Networking • Es nuevo
21. Kubernetes es el servicio del equipo de SRE
22. ¿Preguntas? @pablokbs