Comment monter une CI/CD avec GitLab sur Google Kubernetes Engine ? Par Bassem Ben Lazreg, Aymen Lamara et Alexis Morelle

Slide 1

Slide 1 text

Comment mettre en place une CI/CD avec Gitlab et Gke

Slide 2

Slide 2 text

Présentation Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud La transmission et le partage des connaissances font intégralement partie des valeurs de WeScale. C’est pour cela que nous avons décidé d'organiser, les #WeSpeakCloud, une série d'événements gratuits où nous pourrons apprendre et discuter ensemble sur des sujets actuels qui constituent les technologies et l'environnement Cloud.

Slide 3

Slide 3 text

Alexis Morelle Les speakers Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Bassem Ben Lazreg Aymen Lamara

Slide 4

Slide 4 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Objectif de cette conférence Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé. Je partagerai mon expérience avec la communauté qui m’a formé.

Slide 5

Slide 5 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Disclaimer notice

Slide 6

Slide 6 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Disclaimer Pourquoi k8s ? ● Scalabilité ● Simplicité ● Observabilité ● Portabilité ● Isolation des ressources

Slide 7

Slide 7 text

Outillage

Slide 8

Slide 8 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Google Cloud Provider ● GKE ● Cloud DNS ● Regional IP ● Équilibrage de charge ● Compute Engine: VM et disque https://cloud.google.com/

Slide 9

Slide 9 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Google Kubernetes Engine ● Kubernetes managé par google. ● Branché avec les services GCP : ○ Autoscaling automatique. ○ Provisionning des disques. ○ Provisionning des load balancers. ○ ... https://cloud.google.com/kubernetes-engine/

Slide 10

Slide 10 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Kubernetes https://kubernetes.io/

Slide 11

Slide 11 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab ● Gestionnaire de repo git ● Registry Intégrée ● Pipelines CI/CD intégrés ○ VM ○ Docker ○ Kubernetes https://about.gitlab.com/ https://gitlab.com/charts/gitlab

Slide 12

Slide 12 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Terraform ● Standard de l’infrastructure as Code ● HCL langage déclaratifs ● Modiﬁer, Tester, Versionner, partager… ● TF-state ● Workspace ● Utilisé pour construire l’infrastructure https://www.terraform.io/

Slide 13

Slide 13 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Helm ● Package manager pour Kubernetes ● Maintenu par la CNCF ● Gère les mises-à-jour et les rollback ● Basé sur les “Charts” ● Les charts peuvent être publiés, partagés et versionnés ● Utilise le “Tiller” https://helm.sh/

Slide 14

Slide 14 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Helm https://helm.sh/

Slide 15

Slide 15 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Minio ● Stockage Objet ● Compatible AWS S3 ● Conteneurisé ● Erasure Code ● Compression ● Fédération https://www.min.io/

Slide 16

Slide 16 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Minio https://www.min.io/

Slide 17

Slide 17 text

Architecture

Slide 18

Slide 18 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Zone 1 eu-west 1-a Instance Group Compute Engine Gitlab Zone 2 eu-west 1-b Instance Group Compute Engine Gitlab Architecture: Gitlab Cloud Load Balancing Cloud DNS Kubernetes Cluster Kubernetes Engine Multiple Instances Backups Cloud Storage Architecture (v1)

Slide 19

Slide 19 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab ● Avantages : ○ Gitlab ne dépend pas de la vie du cluster k8s ○ Haute disponibilité ○ Autoscaling Architecture (v1)

Slide 20

Slide 20 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab ● Inconvénients : ○ Implémentation (1 ~2 semaines). ■ Load Balancers avec des certifs ■ Cache dans k8s ■ Instance proﬁles ■ ….. ○ Maintenance pas très standard Architecture (v1)

Slide 21

Slide 21 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Hold on !! Faisons les choses simple !! KISS

Slide 22

Slide 22 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab HELM Chart

Slide 23

Slide 23 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab HELM Chart ● NGINX ● Redis ● Minio ● Registry ● GitLab/sidekiq ● GitLab/gitlab-shell ● GitLab/gitaly ● GitLab/unicorn ● GitLab/migrations

Slide 24

Slide 24 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Architecture (v2) Zone 1 eu-west 1-a Zone 2 eu-west 1-b Architecture: Gitlab Cloud Load Balancing Cloud DNS Kubernetes Cluster Kubernetes Engine Multiple Instances Backups Cloud Storage Persistent Disk Persistent Disk

Slide 25

Slide 25 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Architecture (v2) Gitlab ● Avantages : ○ Haute disponibilité ○ Autoscaling: Pods, VMs ○ Maintenance très simple ○ + Sur GCP, Avec GKE la vie est belle :)

Slide 26

Slide 26 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Architecture (v2) Gitlab

Slide 27

Slide 27 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Gitlab dans GKE Cloud Load Balancing Kubernetes cluster Prometheus Pod Registry Pod Postgresql Pod Cert-manager Pod Ingress-Controller Pod Nginx Pod Redis Pod Minio Pod Runner Pods Gitlab Processes Pods Cloud DNS

Slide 28

Slide 28 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud demo

Slide 29

Slide 29 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Gitlab Backup Gitlab

Slide 30

Slide 30 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Backup Gitlab Gitlab ● Vous permet à récupérer votre instance Gitlab ● Outil gitlab “backup-utility” => TAR ● Possibilité d’exporter les backups sur S3

Slide 31

Slide 31 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Backup Gitlab Gitlab ● Base de données ● Attachments / Secrets... ● Repositories Git ● Logs des jobs CI/CD ● Artifacts des jobs CI/CD ● Objets LFS ● Images de la Container Registry ● Pages GitLab Kubernetes cluster Minio Pod task-runner Pod gitlab-backup Pod CronJob Pod 1 2 3 Persistent Disk

Slide 32

Slide 32 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud demo

Slide 33

Slide 33 text

CI / CD

Slide 34

Slide 34 text

Comment mettre en place une CI/CD avec Gitlab et GKE - WeSpeakCloud Intégration / déploiement continu