Comment monter une CI/CD avec GitLab sur Google Kubernetes Engine ? Par Bassem Ben Lazreg, Aymen Lamara et Alexis Morelle

Au programme de cette nouvelle session des #WeSpeakCloud...

"Comment monter une CI/CD avec GitLab sur Google Kubernetes Engine ?"

Nous verrons en détails comment mettre en place GitLab sur GCP dans le cadre d’une architecture de CI/CD résiliente, hautement disponible et scalable.
Nous ferons ensuite un point sur la mise en oeuvre de runners GitLab dans Kubernetes.

Pour finir nous détaillerons un exemple de pipeline de déploiement continue pour construire, packager, tester et déployer une application conteneurisée dans GKE.

Quelques pré-requis pour profiter pleinement de ce rdv :

- Notions de base GCP (ou autre cloud provider)
- Une idée de ce qu’est un conteneur et Kubernetes
- Intérêts d’une CI/CD

Mais les #WeSpeakCloud by WeScale késako ?
La transmission et le partage des connaissances font intégralement partie de nos valeurs chez WeScale.
C’est pour cela que nous avons décidé d'organiser les #WeSpeakCloud "et si nous parlions Cloud ?", une série d'évènements gratuits où nous pourrons apprendre et discuter ensemble sur des sujets actuels qui constituent les technologies et l'environnement Cloud.

Transcript

1. Comment mettre en place une CI/CD avec Gitlab et Gke
2. Présentation Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud La transmission et le partage des connaissances font intégralement partie des valeurs de WeScale. C’est pour cela que nous avons décidé d'organiser, les #WeSpeakCloud, une série d'événements gratuits où nous pourrons apprendre et discuter ensemble sur des sujets actuels qui constituent les technologies et l'environnement Cloud.
3. Alexis Morelle Les speakers Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Bassem Ben Lazreg Aymen Lamara
4. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Objectif de cette conférence Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé.
5. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Disclaimer notice
6. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Disclaimer Pourquoi k8s ? • Scalabilité • Simplicité • Observabilité • Portabilité • Isolation des ressources
7. Outillage
8. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Google Cloud Provider • GKE • Cloud DNS • Regional IP • Équilibrage de charge • Compute Engine: VM et disque https://cloud.google.com/
9. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Google Kubernetes Engine • Kubernetes managé par google. • Branché avec les services GCP : ◦ Autoscaling automatique. ◦ Provisionning des disques. ◦ Provisionning des load balancers. ◦ ... https://cloud.google.com/kubernetes-engine/
10. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Kubernetes https://kubernetes.io/
11. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab • Gestionnaire de repo git • Registry Intégrée • Pipelines CI/CD intégrés ◦ VM ◦ Docker ◦ Kubernetes https://about.gitlab.com/ https://gitlab.com/charts/gitlab
12. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Terraform • Standard de l’infrastructure as Code • HCL langage déclaratifs • Modifier, Tester, Versionner, partager… • TF-state • Workspace • Utilisé pour construire l’infrastructure https://www.terraform.io/
13. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Helm • Package manager pour Kubernetes • Maintenu par la CNCF • Gère les mises-à-jour et les rollback • Basé sur les “Charts” • Les charts peuvent être publiés, partagés et versionnés • Utilise le “Tiller” https://helm.sh/
14. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Helm https://helm.sh/
15. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Minio • Stockage Objet • Compatible AWS S3 • Conteneurisé • Erasure Code • Compression • Fédération https://www.min.io/
16. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Minio https://www.min.io/
17. Architecture
18. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Zone 1 eu-west 1-a Instance Group Compute Engine Gitlab Zone 2 eu-west 1-b Instance Group Compute Engine Gitlab Architecture: Gitlab Cloud Load Balancing Cloud DNS Kubernetes Cluster Kubernetes Engine Multiple Instances Backups Cloud Storage Architecture (v1)
19. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab • Avantages : ◦ Gitlab ne dépend pas de la vie du cluster k8s ◦ Haute disponibilité ◦ Autoscaling Architecture (v1)
20. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab • Inconvénients : ◦ Implémentation (1 ~2 semaines). ▪ Load Balancers avec des certifs ▪ Cache dans k8s ▪ Instance profiles ▪ ….. ◦ Maintenance pas très standard Architecture (v1)
21. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Hold on !! Faisons les choses simple !! KISS
22. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab HELM Chart
23. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab HELM Chart • NGINX • Redis • Minio • Registry • GitLab/sidekiq • GitLab/gitlab-shell • GitLab/gitaly • GitLab/unicorn • GitLab/migrations
24. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Architecture (v2) Zone 1 eu-west 1-a Zone 2 eu-west 1-b Architecture: Gitlab Cloud Load Balancing Cloud DNS Kubernetes Cluster Kubernetes Engine Multiple Instances Backups Cloud Storage Persistent Disk Persistent Disk
25. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Architecture (v2) Gitlab • Avantages : ◦ Haute disponibilité ◦ Autoscaling: Pods, VMs ◦ Maintenance très simple ◦ + Sur GCP, Avec GKE la vie est belle :)
26. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Architecture (v2) Gitlab
27. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Gitlab dans GKE Cloud Load Balancing Kubernetes cluster Prometheus Pod Registry Pod Postgresql Pod Cert-manager Pod Ingress-Controller Pod Nginx Pod Redis Pod Minio Pod Runner Pods Gitlab Processes Pods Cloud DNS
28. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud demo
29. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Backup Gitlab
30. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Backup Gitlab Gitlab • Vous permet à récupérer votre instance Gitlab • Outil gitlab “backup-utility” => TAR • Possibilité d’exporter les backups sur S3
31. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Backup Gitlab Gitlab • Base de données • Attachments / Secrets... • Repositories Git • Logs des jobs CI/CD • Artifacts des jobs CI/CD • Objets LFS • Images de la Container Registry • Pages GitLab Kubernetes cluster Minio Pod task-runner Pod gitlab-backup Pod CronJob Pod 1 2 3 Persistent Disk
32. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud demo
33. CI / CD
34. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu
35. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu Gitlab pipelines
36. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu Gitlab pipelines
37. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu Gitlab pipelines
38. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu Gitlab pipelines
39. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu Gitlab pipelines
40. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu Gitlab runners
41. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud demo
42. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu • Un serveur web en python flask représentant le menu d’un restaurant • Les éléments du menu sont stockés dans une base de donnée SQLite • Les manifests Kubernetes sont packagés dans un chart Helm : ◦ Un deployment ◦ Un service ClusterIP ◦ Un Ingress qui route vers la page /menu Applicatif déployé
43. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu - Gitflow à 2 branches: dev et master (3 pipelines) : - Pipeline sur la branche dev : - Tests unitaires - si les tests sont ok: build et push de l’image docker dans GCR - Déploiement dans GKE dans un environnement staging - Possibilité de détruire l’environnement de staging ( action manuelle) Étapes de déploiement 1
44. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu - Gitflow à 2 branches: dev et master (3 pipelines) : - Pipeline sur la branche master : - Tests unitaires - si les tests sont ok : - build et push de l’image docker dans GCR - tag de l’image en latest et push dans GCR Étapes de déploiement 2
45. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu - Gitflow à 2 branches: dev et master (3 pipelines) : - Pipeline à la création de tag : - Récupérer l’image latest taguée avec la version du tag et push dans GCR - Déploiement dans l’environnement de production (action manuelle) - Possibilité de fallback à la version précédente (action manuelle) Étapes de déploiement 3
46. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud demo
47. Limitations
48. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Limitations • GitLab Pages (issue #37) • GitLab Geo (issue #8) • Pas de HA sur la base de donnée dans le cluster (issue #48) • Authentification Smartcard (issue #988)
49. Recommandations
50. Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Recommendations • Spécifier les quotas des namespaces • Spécifier les requests/limits des pods • Attention aux droits du “Tiller” de déploiement • Gestion de secrets et droits entre environnements • Plusieurs cluster pour les environnements de déploiement • Utiliser des solutions de déploiements autres que Helm
51. One last thing !!
52. Des questions ?
53. Paris - Nantes www.wescale.fr | blog.wescale.fr Alexis Morelle Cloud Builder @almorelle alexis.morelle@wescale.fr Bassem Benlazreg Cloud Builder @BassemLazreg bassem.benlazreg@wescale.fr Aymen Lamara Cloud Builder @Aymenlamara aymen.lamara@wescale.fr