Kubernetes @ Chefkoch.de (Bonn Microservices Meetup 2016-11-02)

Wie Europas größte Kochplattform mit Containern arbeitet.

Speaker:
Pascal Cremer (Senior Dev, Chefkoch.de)
https://twitter.com/b00gizm
https://github.com/b00gizm

Repositories:
http://bit.ly/k8s-rolling
http://bit.ly/k8s-setup

Transcript

1. KUBERNETES @ CHEFKOCH.DE Wie Europas größte Kochplattform mit Containern arbeitet.
2. @b00gizm Señor Developer bei Chefkoch
4. Chefkoch-IT 8 MITARBEITER Ende 2014 Benutzer BI Hannibal Humboldt Magazin Mobile IT-Betrieb CA. 50 MITARBEITER MITTE 2016
5. MICROSERVICES!
9. Kubernetes Open Source Container Cluster Manager, entwickelt und "dog-fooded" von Google.
10. "Platform for automating deployment, scaling, and operations of application containers across clusters of hosts"
11. 1. kubelet 2. API-Server 3. kubectl CLI
12. KUBERNETES NODE kubelet manifest.yml etcd API-Server kubectl
13. • Eigene Infrastruktur • 12 Hardware Nodes • 2 RZ (CGN/FRA) • NFS Storages
14. RCs Services Pods
15. PodS Ein logischer "Verbund" von einem oder mehreren (Docker-)Containern.
16. PodS Ein logischer "Verbund" von einem oder mehreren (Docker-)Containern.
20. PHP-FPM NGINX
21. HEALTH CHECKS Readiness und Liveness Probes bestimmen den Health-Status der Container im Cluster. Schlägt eine Readiness Probe fehl, wird kein Traffic mehr zu den entsprechenden Pods geleitet. TCP/80? GET /index.html?
22. Services Ermöglichen das Routing zu einem oder mehren Pods über Selektoren. Services bilden quasi das "Frontend" zu "darunter" liegenden Pods. WWW WWW WWW www-SVC
23. Services Ermöglichen das Routing zu einem oder mehren Pods über Selektoren. Services bilden quasi das "Frontend" zu "darunter" liegenden Pods. 10.0.1.1 10.0.1.2 10.0.1.3 10.2.1.1 WWW WWW WWW www-SVC
24. Services Ermöglichen das Routing zu einem oder mehren Pods über Selektoren. Services bilden quasi das "Frontend" zu "darunter" liegenden Pods. mynode.example.org:30042 10.0.1.1 10.0.1.2 10.0.1.3 10.2.1.1 WWW WWW WWW www-SVC
25. USE CASE #1 CHEFKOCH SMOKE TESTS IN CI-BUILDS
26. feature/CK-1234-new-stuff dr.chefkoch.net/chefkoch-www:ck-1234 git clone docker build docker push
27. NAMESPACE: 6bbbaf0c kubectl create SOLR REDIS DATABASE SELENIUM BEHAT BENUTZER API ADMIN VARNISH WWW CMS www-SVC http:/ /www-6bbbaf0c.local.dev.chefkoch.de/… docker pull
28. apiVersion: v1
 kind: Pod
 metadata:
 name: behat
 labels:
 name: behat
 project: chefkoch-frontend
 spec:
 containers:
 - name: behat
 image: dr.chefkoch.net/chefkoch-www
 command: ['/bin/bash']
 args:
 - '-c'
 - 'cd /app && bin/behat ; echo -n $? > /behat-result ; sleep 100'
 readinessProbe:
 exec:
 command: ['/bin/bash', '-c', '/usr/bin/test -f /behat-result']
29. apiVersion: v1
 kind: Pod
 metadata:
 name: behat
 labels:
 name: behat
 project: chefkoch-frontend
 spec:
 containers:
 - name: behat
 image: dr.chefkoch.net/chefkoch-www
 command: ['/bin/bash']
 args:
 - '-c'
 - 'cd /app && bin/behat ; echo -n $? > /behat-result ; sleep 100'
 readinessProbe:
 exec:
 command: ['/bin/bash', '-c', '/usr/bin/test -f /behat-result']
30. apiVersion: v1
 kind: Pod
 metadata:
 name: behat
 labels:
 name: behat
 project: chefkoch-frontend
 spec:
 containers:
 - name: behat
 image: dr.chefkoch.net/chefkoch-www
 command: ['/bin/bash']
 args:
 - '-c'
 - 'cd /app && bin/behat ; echo -n $? > /behat-result ; sleep 100'
 readinessProbe:
 exec:
 command: ['/bin/bash', '-c', '/usr/bin/test -f /behat-result']
31. JOBS Erzeugen Pods für finite Tasks und tracken deren erfolgreiche Terminierung, z.B. für zusätzliches Bootstrapping nach erfolgreichem Start eines Pods. Jobs können parallel ausgeführt werden. K8S 1.2 bash -c … bash -c … bash -c … bash -c …
32. JOBS Erzeugen Pods für finite Tasks und tracken deren erfolgreiche Terminierung, z.B. für zusätzliches Bootstrapping nach erfolgreichem Start eines Pods. Jobs können parallel ausgeführt werden. K8S 1.2 bash -c … bash -c … bash -c … bash -c …
33. apiVersion: batch/v1
 kind: Job
 metadata:
 name: behat
 labels:
 name: behat
 project: chefkoch-frontend
 spec:
 containers:
 - name: behat
 image: dr.chefkoch.net/chefkoch-www
 command: ['/bin/bash', '-c', 'cd /app && bin/behat'] restartPolicy: Never
34. $ pods=$(kubectl get pods --selector=job-name=behat — output=jsonpath={.items..metadata.name}) $ kubectl logs $pods
35. RCS Replication Controller sorgen für das Hoch- und Runter- skalieren zu einer bestimmten Anzahl von Pods. WWW-RC replicas: 1 WWW
36. RCS Replication Controller sorgen für das Hoch- und Runter- skalieren zu einer bestimmten Anzahl von Pods. WWW-RC replicas: 3 WWW WWW WWW
37. USE CASE #2 Canary Deployments
38. WWW-v1-RC component: www version: v1 www-SVC selector: { component: www }
39. WWW-v1-RC WWW-v2-RC www-SVC selector: { component: www } component: www version: v1 component: www version: v2
40. WWW-v1-RC WWW-v2-RC www-SVC selector: { component: www } component: www version: v1 component: www version: v2
41. USE CASE #3 ROLLING UPDATES
50. #!/bin/bash rc_get_name() {
 local label="$1"; shift
 local template='{{(index .items 0).metadata.name }}'
 if out=$(kubectl get rc -o template --template="${template}" -l name="${label}" 2>/dev/null); then
 echo ${out}
 else
 return 1
 fi
 }
 
 main() {
 set -e
 
 pushd "$(dirname $0)" > /dev/null
 
 if express=$(rc_get_name express); then
 kubectl rolling-update --update-period="20s" ${express} -f ./express-rc.yml
 else
 kubectl create -f ./express-rc.yml
 fi
 
 if www=$(rc_get_name www); then
 kubectl rolling-update --update-period="20s" ${www} -f ./www-rc.yml
 else
 kubectl create -f ./www-rc.yml
 fi
 }
 
 [[ "$0" == "$BASH_SOURCE" ]] && main "$@"
51. DEPLOYMENTS Deklarative Updates für Pods und Replica Sets, komplett Server- seitig inkl. der Möglichkeit von Rollbacks und/oder Deployment- Pausierungen. K8S 1.2
52. apiVersion: extensions/v1
 kind: Deployment
 metadata:
 name: node-app-deployment
 labels:
 name: node-app
 project: chefkoch-activity-stream
 spec: replicas: 3 template: metadata: name: express labels: component: web tier: stable
 containers:
 - name: express
 image: dr.chefkoch.net/activity-stream-express:master-123
 ports: - containerPort: 3000
53. $ kubectl get deployments NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE node-app—deployment 3 3 3 3 20s $ kubectl rollout status deployment/node-app-deployment deployment node-app—deployment successfully rolled out
54. PODS Services REPLICATION
 CONTROLLER Deployments JOBS NAMESPACES RESOURCE QUOTAS scheduled j0bs INGRESS PET SETS SECRETS PERSISTENT VOLUMES HORIZONTAL POD AUTO- SCALING
55. PODS Services REPLICATION
 CONTROLLER Deployments JOBS NAMESPACES RESOURCE QUOTAS scheduled j0bs INGRESS PET SETS SECRETS PERSISTENT VOLUMES HORIZONTAL POD AUTO- SCALING
56. PODS Services REPLICATION
 CONTROLLER Deployments JOBS NAMESPACES RESOURCE QUOTAS scheduled j0bs INGRESS PET SETS SECRETS PERSISTENT VOLUMES HORIZONTAL POD AUTO- SCALING
57. RAINBOW POOPIN' UNICORN?
60. STEILE LERNKURVE
61. bleeding edge (SO QUASI IMMER NOCH)
62. MIGRATION AUF NEUE VERSIONEN NICHT TRIVIAL
63. VERTEILTE DATEISYSTEME
64. viele HANDGESTRICKTE LÖSUNGEN & HELPER
65. TWIGGER (Made by Chefkoch)
66. apiVersion: v1
 kind: ReplicationController
 metadata:
 name: www-{{ key }}-{{ release }}
 labels:
 name: www
 project: chefkoch-activity-stream
 spec:
 replicas: 3 template: metadata: labels: name: www origin: {{ origin }} release: {{ release }} component: web tier: stable
67. $ docker run —-rm \ -v $(pwd)/kubernetes:/app/templates \ -v $(pwd)/.cache/kubernetes:/app/build \ -v $(pwd)/twigger.yml:/app/twitter.yml \ -e TWIGGER_KEY=${bamboo_project_key} \ -e TWIGGER_ORIGIN=${bamboo_project_name} \ -e TWIGGER_RELEASE=${bamboo_build_name} \ dr.chefkoch.net/twigger
68. apiVersion: v1
 kind: ReplicationController
 metadata:
 name: www-asf-master-42
 labels:
 name: www
 project: chefkoch-activity-stream
 spec:
 replicas: 3 template: metadata: labels: name: www origin: activity-stream-frontend release: master-42 component: web tier: stable
69. $ kubectl get po --namespace=activity-stream NAME READY STATUS RESTARTS AGE api-asa-master-38-cvfdj 1/1 Running 0 1d api-asa-master-38-tfscn 1/1 Running 0 1d express-asf-master-49-mknlt 1/1 Running 0 30m mongo-asv-master-36-ab9pu 2/2 Running 0 5d varnish-asv-master-49-pud4e 1/1 Running 0 2d www-asf-master-52-nggej 1/1 Running 0 30m www-asv-master-52-yw0g5 1/1 Running 0 30m www-asv-master-52-fid3w 1/1 Running 0 30m
70. KUBERNETES NODE /var/log/containers fluentd stdout/stderr
72. microservice "foo" chefkoch.de/foo/_healthz microservice "bar" chefkoch.de/bar/_healthz mircoservice "BAZ" chefkoch.de/baz/_healthz Grafana Prometheus
74. FRAGEN?
75. VIELEN DANK!
76. bit.ly/k8s-rolling Kubernetes Rolling Update Demo Projekt (Github)
77. bit.ly/k8s-SETUP Kubernetes Setup Script zur Provisionierung der Chefkoch CI Local Agents (Github)