Microservices – ein Praxisbericht

Spring Boot Starter, Jenkins Job DSL, RPMs und ELK

Transcript

1. Microservices – ein Praxisbericht_ Spring Boot Starter, Jenkins Job DSL, RPMs und ELK Berlin, 29.06.2015
2. Tobias Flohre Düsseldorf @TobiasFlohre www.github.com/tobiasflohre blog.codecentric.de/en/author/tobias.flohre tobias.flohre@codecentric.de www.codecentric.de
3. Dennis Schulte Düsseldorf @denschu www.github.com/denschu blog.codecentric.de/en/author/dsc dennis.schulte@codecentric.de www.codecentric.de
4. Worum geht es heute nicht? Was sind Microservices? Allgemeine Vor- und Nachteile Bibliotheken im Beta-Status 4
5. Worum geht es heute? Konkreter Anwendungsfall • In Produktion Tools, Methoden, Frameworks, Vorgehen 5
6. AGENDA Motivation / Problemstellung Entwicklung Build Deployment Monitoring Logging
7. Servlet Container Anwendung Batch Application HTTP Endpoint Scheduler Job- Metadaten Logs BATCH-ARCHITEKTUR Cron-Job Workflow-System
8. BATCH-META-FRAMEWORK HTTP-Endpoints Job-Start Status Job-Stop Logfile / Protokoll Laufende Jobs Deployed Jobs Job-Execution- Details Logging Logfile pro Job- Execution Thread-Local Protokoll Einheitliches Format Kerndaten des Joblaufs Revisionssichere Ablage Metrics Test- Unterstützung Test-Ressourcen In-Memory Zähler Summen Transaktionssicher
9. Servlet Container Anwendung Batch Application HTTP Endpoint Job- Metadaten Logs Sparte A Job Job Job Job Job Job Job Job Job Problem! Deployment -> Test aller Jobs Jobs sind schwer zu testen Mehrere Anwendungen! Puh... Nee... Anträge, Aufsetzen, git, Build, CI, Properties für Stages, Application Server Deployment, Monitoring, Logging MOTIVATION / PROBLEMSTELLUNG
10. MOTIVATION / PROBLEMSTELLUNG Ein Job pro Anwendung! Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen
11. ENTWICKLUNG Spring Boot makes it easy to create stand-alone, production-grade Spring based Applications that you can "just run".
12. ENTWICKLUNG Spring Boot makes it easy to create stand-alone, production-grade Spring based Applications that you can "just run". Spring Boot Starter liefern Dependencies liefern Konfiguration einfach erweiterbar
13. ENTWICKLUNG Spring Boot makes it easy to create stand-alone, production-grade Spring based Applications that you can "just run". Embedded Servlet Container Start per main-Methode Startfähiges Fat-Jar java –jar app.jar
14. ENTWICKLUNG Spring Boot makes it easy to create stand-alone, production-grade Spring based Applications that you can "just run". Monitoring Properties Remote Shell CRaSH
15. ENTWICKLUNG spring-boot-starter-batch • Batch-Ausführung standalone Lösung: eigener Spring Boot Starter Infrastruktureller Code wird geteilt https://github.com/codecentric/spring-boot-starter-batch-web <dependency> <groupId>de.codecentric</groupId> <artifactId>spring-boot-starter-batch-web</artifactId> <version>1.3.5.RELEASE</version> </dependency>
16. ENTWICKLUNG HTTP-Endpoints Job-Start Status Job-Stop Logfile / Protokoll Laufende Jobs Deployed Jobs Job-Execution- Details Logging Logfile pro Job- Execution Thread-Local Protokoll Einheitliches Format Kerndaten des Joblaufs Revisionssichere Ablage Metrics Test- Unterstützung Test-Ressourcen In-Memory Zähler Summen Transaktionssicher
17. ENTWICKLUNG 1. Wähle eine Basis aus existierenden Spring Boot Startern spring-boot-starter-web spring-boot-starter-batch spring-boot-starter-jdbc spring-boot-starter-actuator
18. ENTWICKLUNG 2. Eigene Konfiguration und Auto-Configuration META-INF/spring.factories org.springframework.boot.autoconfigure.EnableAutoConfiguration= de.codecentric.batch.configuration.BatchWebAutoConfiguration
19. ENTWICKLUNG 3. Konfigurierbarkeit durch Properties @Value("${batch.max.pool.size:5}") private int maxPoolSize; @Bean public TaskExecutor taskExecutor() { ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor(); taskExecutor.setMaxPoolSize(maxPoolSize); taskExecutor.afterPropertiesSet(); return taskExecutor; }
20. ENTWICKLUNG 4. Erweiterbarkeit durch überschreibbare Default-Implementierungen @ConditionalOnMissingBean(BatchConfigurer.class) @Configuration public class TaskExecutorBatchConfigurer implements BatchConfigurer {} public interface BatchConfigurer { JobRepository getJobRepository() throws Exception; PlatformTransactionManager getTransactionManager() throws Exception; JobLauncher getJobLauncher() throws Exception; JobExplorer getJobExplorer() throws Exception; }
21. ENTWICKLUNG 5. Abhängigkeit von Klassenpfad und Ressourcen @ConditionalOnClass(name = "javax.persistence.EntityManagerFactory") @ConditionalOnMissingBean(BatchConfigurer.class) @Configuration protected static class JpaBatchConfiguration {} @ConditionalOnMissingClass @ConditionalOnResource @ConditionalOnWebApplication @ConditionalOnExpression @ConditionalOnProperty
22. ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein ✔ Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden ✔ Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen
23. BUILD Ziel 1: Build-/CI-Jobs nicht manuell erzeugen Ziel 2: Ein Job für alles -> Build, Release, Test, Deploy
24. BUILD 30.06.1 5 24 job(type: Maven) { name("${projectName}") triggers { scm("*/5 * * * *") } scm { git { remote { url("https://github.com/codecentric/spring-samples") } } } goals("clean package") }
25. BUILD 30.06.1 5 25 def repository = "codecentric/spring-samples" def contentApi = new URL("https://api.github.com/repos/${repository}/ contents") def projects = new groovy.json.JsonSlurper().parse(contentApi.newReader()) projects.each { def projectName = it.name; job(type: Maven) {…} }
26. BUILD create repo trigger job Job DSL Plugin Seed-Job à Ein Job, der Jobs erzeugt
27. BUILD Ziel: Build-/CI-Jobs nicht manuell erzeugen ✔ Bonusziel: Ein Job für alles -> Build, Release, Test, Deploy
28. BUILD Build à Release à Test à Deploy
29. BUILD Build now bei SCM Commit mvn clean package Release manuell mvn build-helper:parse-version versions:set –DnewVersion=${...} mvn clean package mvn deploy mvn scm:tag Promotion manuell Deployment auf Stages -> Trigger eines deployApplication-Jobs
30. ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein ✔ Build-/CI-Jobs nicht manuell erzeugen ✔ Application Server loswerden ✔ Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen
31. DEPLOYMENT Ziel: Deployment vereinfachen
32. DEPLOYMENT 30.06.1 5 32 Release Deploy ssh à yum install <artefakt> + Properties umgebungsabhängig aus SCM ermitteln (Alternative: Spring Cloud Config) Releasebuild erzeugt RPM (z.B. mit Maven RPM Plugin) + Spring Boot Fat Jar + Startskript + Installationslogik (<preinstallScriptlet>)
33. DEPLOYMENT 30.06.1 5 33 <plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>rpm-maven-plugin</artifactId> <configuration> <name>${project.name}</name> <mappings> <mapping> <directory>/opt/${project.name}/</directory> <sources> <source> <destination>${project.name}.jar</destination> <location>target/${project.artifactId}.jar</location> </source> </sources> </mapping> </mappings> </configuration> </plugin>
34. ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein ✔ Build-/CI-Jobs nicht manuell erzeugen ✔ Application Server loswerden ✔ Deployment vereinfachen ✔ Monitoring und Logauswertung von vielen Anwendungen ermöglichen
35. MONITORING Spring Boot Actuator + Spring Boot Admin: Live-Demo
36. LOGGING ElasticSearch + Logstash + Kibana Anwendung Anwendung Anwendung Anwendung
37. LOGGING ElasticSearch + Logstash + Kibana Anwendung Anwendung Anwendung Anwendung
38. LOGGING ElasticSearch + Logstash + Logstash Forwarder + Kibana Anwendung Forwarder Anwendung Forwarder Anwendung Forwarder Anwendung Forwarder Logstash
39. LOGGING
40. ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein ✔ Build-/CI-Jobs nicht manuell erzeugen ✔ Application Server loswerden ✔ Deployment vereinfachen ✔ Monitoring und Logauswertung von vielen Anwendungen ermöglichen ✔
41. RESSOURCEN https://github.com/codecentric/spring-boot-starter-batch-web https://github.com/codecentric/spring-boot-admin https://blog.codecentric.de/en/2014/11/extending-spring-boot-five- steps-writing-spring-boot-starter/ https://blog.codecentric.de/2015/01/continuous-delivery-fur- microservices-mit-jenkins-und-dem-job-dsl-plugin/ https://blog.codecentric.de/2014/10/log-management-fur-spring-boot- applikationen-mit-logstash-elastichsearch-kibana/ https://github.com/tobiasflohre/movie-database
42. 42 Fragen?