Build und Deployment von Microservices mit GitLab CI

Transcript

1. Build & Deployment von Microservices mit GitLab CI Christine Koppelt christine.koppelt@innoq.com Philipp Haußleiter philipp.haussleiter@innoq.com Code Days München, 08.02.2018
2. Continuous Integration (CI) & Microservices
3. Continuous Integration (CI) Source Repository CI Server Server mit Anwendung Entwicklungsteam Sourcecode Deploybare Anwendung Feedback
4. Microservices • Mehrere eigenständige Services bilden ein Gesamtsystem ◦ Unterteilt nach Bounded Contexts (Domain Driven Design) ◦ Eigenständige Anwendungen (Frontend, Backend, Datenhaltung) ◦ Eigenständig deploybare Einheiten • Eigenständige Entwicklungsteams ◦ Komplette Verantwortung für einen Service ◦ Extremfall: “You build it you run it” ◦ Freiheiten bei technischen und organisatorischen Entscheidungen
5. Microservices & CI Branches Datenbanken Messaging Testinfrastruktur Mehrere Services Unterschiedliche Buildtools Mehrere Plattformen Mehrere Versionen Deployment- reihenfolge Docker-basierte Deployments A/B Testing Unterschiedliche Entwicklungs- prozesse Microservices
6. Microservices & Infrastruktur DO Entkopplung Infra-Team und Entwicklung Eigenständige Konfiguration von Build, Test und Deployment Kapselung der Buildumgebung Eigenständige Konfiguration der Projektmanagement-Tools Eigenständige Konfiguration von Staging Umgebungen
7. DON’T Modifikation der Konfiguration des CI Servers für einzelne Projekte Adminrechte für Entwickler Langwierige Abstimmungen zwischen Infra-Team und Entwicklung Globale Workflow-Definitionen im Issue Tracker Microservices & Infrastruktur
8. Self Service
9. Jenkins
10. Jenkins • Verschiedene Wege Jobs zu erstellen: GUI, Job DSL, Pipeline • Viele Plugins • Groovy • Bauen von Merge Requests und Branches? • Bauen mit Docker? => möglich, aber manuelle Anpassung notwendig • Issue Tracker?
11. GitLab
12. GitLab Features • Issue Tracker integriert • Bauen von Merge Requests und Branches integriert • Anlegen von Jobs über eine deklarative Konfiguration mittels Yaml • Builds innerhalb Docker => Sinnvolle Konventionen, modularer Ansatz
13. GitLab Übersicht • Gestartet als webbasierter Git Repository Manager • CI Pipelines seit 2016 • Mittlerweile: Umfangreiche Softwareentwicklungssuite ◦ Epics bis Deployment • On Premise Edition ◦ Libre (ehemals Community Edition CE) ◦ Starter ◦ Premium (ehemals Enterprise Edition EE) ◦ Ultimate • Cloud Version: gitlab.com
14. Setup
15. Komponenten Entwicklung Ticket erstellen Entwickeln Einchecken Build prüfen Merge Request erstellen Review & Merge Ticket schließen Feature Static Page Hosting Boards Issue Tracker Git Repository Chat (Mattermost) Wiki Automatisches Bauen von Branches Automatisches Prüfen & Bauen von Merge Requests Merge schließt Ticket automatisch Feature Branch
16. Komponenten CI Sourcecode auschecken Kompilieren Testen Metriken Erfassen Reports & Doku generieren Paketieren Docker Registry Artifakt Archivierung Buildumgebung als Docker Image Services & Infrastruktur als Docker Container einbinden Docker-in-Docker Unterstützung Bauen von Branches & Merge Requests Zeitgesteuertes Starten von Builds
17. Komponenten Deployment Übertragen & Installieren Abnahme Prometheus Integration Kubernetes Integration Metriken erfassen Manuelle Freigabe
18. Beispiel
19. Ziel GitLab Git Repository GitLab CI AWS Beanstalk Entwicklungsteam Sourcecode Deploybare Anwendung Feedback
20. Struktur .gitlab-ci.yml Deklaration der Stages (optional) Deklaration von Umgebungsvariablen (optional) Job-Deklaration1 (Stage, Image, Services, Script, Artifacts) Job-Deklaration2 Job-Deklaration3 . . .
21. CI Pipeline build_jar build build_docker_image package deploy_staging deploy Job Stage Sourcecode auschecken Kompilieren Testen Paketieren Deployen test int_test1 int_test2
22. Bau eines Java Projektes stages: - build build_jar: stage: build image: maven:3-jdk-8 script: - mvn install artifacts: paths: - target/*.jar build test deploy package
23. Caching stages: - build variables: MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository" cache: paths: - .m2/repository build_jar: ... build test deploy package
24. Services einbinden am Beispiel PostgreSQL ... variables: POSTGRES_DB: enco POSTGRES_USER: postgres POSTGRES_PASSWORD: postgres int_test1: stage: test image: maven:3-jdk-8 services: - postgres:9.6 script: - mvn install -P integration-test1 artifacts: paths: - target/reports/* build test deploy package
25. Docker Image bauen & pushen stages: - build - test - package ... build_docker_image: stage: package image: docker:latest services: - docker:dind script: - docker login -u gitlab-ci-token -p $CI_JOB_TOKEN $CI_REGISTRY - docker build -t $CI_REGISTRY_IMAGE:latest . - docker push $CI_REGISTRY_IMAGE:latest build test deploy package
26. Branch-Spezifische Jobs stages: - build - test - package ... build_docker_image: stage: package image: docker:latest services: - docker:dind script: - docker login -u gitlab-ci-token -p $CI_JOB_TOKEN $CI_REGISTRY - docker build -t $CI_REGISTRY_IMAGE:latest . - docker push $CI_REGISTRY_IMAGE:latest only: - master build test deploy package
27. Deployment bei AWS Beanstalk deploy_staging: ... script: - aws elasticbeanstalk create-application-version \ --application-name "$EB_APP_NAME" \ --version-label "$CI_COMMIT_SHA" \ --description "$CI_COMMIT_SHA" \ --source-bundle S3Bucket="$S3_BUCKET", \ S3Key="$CI_COMMIT_SHA.zip" - aws elasticbeanstalk update-environment \ --application-name "$EB_APP_NAME" \ --environment-name $EB_ENVIRONMENT \ --version-label "$CI_COMMIT_SHA" environment: name: staging url: $DEPLOYMENT_URL build test deploy package
28. Demo
29. Fragen?