Micrometer: Neue Einsichten, nicht nur für Spring Boot bei der JUG Thüringen

Transcript

1. Micrometer Neue Einsichten, nicht nur für Spring Boot Michael Simons,

   Neo4j @rotnroll666

2. • Ziele des heutigen Vortrags • Über Neo4j • Kernkonzepte

   von Micrometer • Metriken unterschiedlicher Ebenen • Monitoring Agenda

3. Ziele des heutigen Vortrags

4. • Unterschiedliche Wege kennen lernen, ein System zu beobachten •

   Die Kernkonzepte von Micrometer verstehen • Dimensionen • Registries • Messinstrumente (Meter) • Metriken auf unterschiedlichen Ebenen identifizieren • Micrometer in Monitoring-Systemen integrieren Ziele des heutigen Vortrags

5. Über Neo4j

6. • Neo4j ist die bevorzugte Plattform für stark verbundene Daten.

   • Neo4j bildet die Grundlage für analytische Anwendungen der nächsten Generation. • Prominente Anwendungsfälle sind machine learning, personalisierte Empfehlungen und fraud detection Neo4j

7. Neo4j https://neo4j.com/blog/icij-neo4j-unravel-panama-papers/ https://neo4j.com/blog/analyzing-panama-papers-neo4j/ ICIJ - International Consortium of Investigative Journalists

   https://neo4j.com/blog/analyzing-paradise-papers-neo4j/

8. • Spring Data Community Modul • Sehr frühes Spring Data

   Modul • Erste Version ~2010 (Emil Eifrem, Rod Johnson) • SDN 5: zweigeteilt, analog zu Spring Data JPA / ORM • Neo4j OGM: Object Graph Mapper • Spring Data Neo4j • Repositories • Derived und Custom queries • Events Spring Data und Neo4j

9. Spring Data und Neo4j

10. Über mich • Neo4j seit Juli 2018 • Java Champion

    • Mitgründer und aktueller Leiter der Java User Group EuregJUG • Autor (Spring Boot 2 und Arc42 by example)

11. Kernkonzepte von Micrometer

12. • Logging • Tracing • Metrics Unterschiedliche Wege, ein System

    zu beobachten

13. 13 • Neues Projekt von Pivotal • „Like SLF4J but

    for metrics“ • Herstellerneutrale Fassade für Metriken • Kein Neo4j-Produkt Micrometer

14. Spring Boot Actuator stellt Metriken bereit <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency>

15. Spring Boot Actuator stellt Metriken bereit http://localhost:8080/metrics

16. { "mem": 664619, "mem.free": 327742, "instance.uptime": 602975, "uptime": 606611, "systemload.average":

    3.19677734375, "heap.committed": 596480, "heap.init": 262144, "heap.used": 268737, "heap": 3728384, "nonheap.committed": 69472, "nonheap.init": 2496, "nonheap.used": 68142, "nonheap": 0, "threads.totalStarted": 101, "threads": 29, "datasource.primary.active": 0, "datasource.primary.usage": 0.0, "gauge.response.metrics": 2.0, "gauge.response.motd": 3.0, "gauge.response.star-star.favicon.ico": 8.0, "counter.status.200.star-star.favicon.ico": 1, "counter.status.200.metrics": 4, "counter.status.200.mine": 1008 } Spring Boot Actuator stellt Metriken bereit http://localhost:8080/metrics/counter.status.200.metrics „Drill down“ ie.

17. Diese Metriken sehen in Boot 2 deutlich anders aus

18. <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.12.RELEASE</version> <relativePath/> </parent> Diese Metriken sehen in

    Boot 2 deutlich anders aus

19. <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.1.RELEASE</version> <relativePath/> </parent> Diese Metriken sehen in

    Boot 2 deutlich anders aus

20. curl -v localhost:8080/metrics * Trying 127.0.0.1... * TCP_NODELAY set *

    Connected to localhost (127.0.0.1) port 8080 (#0) > GET /metrics HTTP/1.1 > Host: localhost:8080 > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 < Content-Type: application/json;charset=UTF-8 < Transfer-Encoding: chunked < Date: Wed, 02 May 2018 20:26:59 GMT < * Connection #0 to host localhost left intact {"timestamp":"2018-05-02T20:26:59.437+0000","status":404,"error":"Not Found","message":"No message available","path":"/metrics"}% Diese Metriken sehen in Boot 2 deutlich anders aus

21. Diese Metriken sehen in Boot 2 deutlich anders aus management.endpoints.web.exposure.include

    = *

22. curl -v localhost:8080/actuator/metrics * Trying ::1... * TCP_NODELAY set *

    Connected to localhost (::1) port 8080 (#0) > GET /actuator/metrics HTTP/1.1 > Host: localhost:8080 > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 200 < Content-Type: application/vnd.spring-boot.actuator.v2+json;charset=UTF-8 < Transfer-Encoding: chunked < Date: Wed, 02 May 2018 20:34:36 GMT < * Connection #0 to host localhost left intact {"names": ["process.cpu.usage","jvm.memory.max","jvm.gc.pause","jvm.buffer.memory.used""tom cat.threads.current"]}% Diese Metriken sehen in Boot 2 deutlich anders aus

23. { "names": [ "jvm.buffer.memory.used", "jvm.memory.used", "jvm.memory.committed", "jdbc.connections.min", "hikaricp.connections.usage", "http.server.requests", "jvm.gc.max.data.size",

    "system.cpu.count", "tomcat.servlet.request.max", "hikaricp.connections.usage.percentile", "jdbc.connections.max", "tomcat.sessions.active.current", "system.cpu.usage", "jvm.threads.live", "jvm.classes.loaded", "jvm.classes.unloaded", "jvm.threads.peak", "tomcat.threads.current", "tomcat.global.request", "hikaricp.connections.creation", "jvm.gc.memory.promoted", "tomcat.sessions.rejected", "tomcat.sessions.alive.max" ] } Wo sind die Werte hin? !

24. curl localhost:8080/actuator/metrics/http.server.requests | python -m json.tool { "name": "http.server.requests", "measurements":

    [ { "statistic": "COUNT", "value": 509.0 }, { "statistic": "MAX", "value": 0.012536956 } ], "availableTags": [ { "tag": "method", "values": [ "GET" ] }, { "tag": "uri", "values": [ "/mine", "/actuator/metrics/{requiredMetricName}" ] } ] } Echtes Drill-Down…

25. curl localhost:8080/actuator/metrics/http.server.requests\?tag\=status:200\&tag\=uri:/mine | \ python -m json.tool { "name": "http.server.requests",

    "measurements": [ { "statistic": "COUNT", "value": 500.0 }, { "statistic": "MAX", "value": 0.0 } ], "availableTags": [ { "tag": "method", "values": [ "GET" ] } ] } …und „Tags“

26. • Dimensionen • Registries • Messinstrumente (Meter) Kernkonzepte von Micrometer

27. • Hierarchische Metriken formen eine Taxonomie • Funktioniert für gut

    für eine begrenzte Anzahl an Informationen Dimensionen counter status 201

28. • Hierarchische Metriken formen eine Taxonomie • Funktioniert für gut

    für eine begrenzte Anzahl an Informationen • host-xyz.counter.status.201.mine ist noch in Ordnung… Dimensionen counter status 201 mine

29. • Hierarchische Metriken formen eine Taxonomie • Funktioniert für gut

    für eine begrenzte Anzahl an Informationen • host-xyz.counter.status.201.mine ist noch in Ordnung… • Pattern für Dashboards etc. werden unwartbar • Solange blind für neue Metriken bis alle Pattern angepasst wurden. Dimensionen counter status 201 mine instance region cloud

30. • Klassifizierung von Dingen basierend auf Schlagworten (tags) • Begriff

    „folksonomy“ entstand ungefähr 2004 • Die Vorteile laute Wikipedia • Vokabular des Benutzers • Flexibel • Mehrdimensional • Tags als Schlüssel/Werte-Paare formen die Dimension einer Metrik Von einer Taxonomy zur Folksonomy

31. • Globale tags für alle Metriken Tags definieren

32. • Globale tags für alle Metriken • Spezifische Tags für

    einzelne Metriken Tags definieren Timer.builder("presentation.slide.timer") .description("This is a timer.") .tags( "JUG", "Thüringen", "place", "Erfurt" ) .register(meterRegistry);

33. • Globale tags für alle Metriken • Spezifische Tags für

    einzelne Metriken Tags definieren Gauge.builder("jvm.memory.used", Runtime.getRuntime(), r -> r.totalMemory() - r.freeMemory()) .tag("host", "trenzalore") .tag("region", "my-desk") .register(meterRegistry);

34. Registries

35. Sammeln, speichern und exportieren Metriken • Simple registry Registries MeterRegistry

    registry = new SimpleMeterRegistry();

36. Sammeln, speichern und exportieren Metriken • Simple registry • Composite

    registries Registries CompositeMeterRegistry composite = new CompositeMeterRegistry(); Counter counter = composite.counter("counter"); counter.increment(); // noop SimpleMeterRegistry simple = new SimpleMeterRegistry(); composite.add(simple); counter.increment(); // now stuff happens

37. Sammeln, speichern und exportieren Metriken • Simple registry • Composite

    registries • Global registry Registries MeterRegistry registry = Metrics.globalRegistry; Die globale Registry hat ein paar Eigenheiten • Per default Composite, aber ohne Elemente • Kann globale Quelle von Instrumenten sein • Mindestens eine (einfache) Registry muss hinzugefügt werden (Spring Boot macht das automatisch)

38. • „Pluggable“ Service-Provider-Interface SPI für Registries

39. Messinstrumente

40. Counter

41. Gauges

42. Timer

43. Demo

44. Metriken unterschiedlicher Ebenen

45. • Systemmetriken • Anwendungsmetriken • Domain-Metriken („KPIs“) Drei unterschiedliche Arten

    von Metriken

46. • Classloader • JVM Memory usage • JVM Garbage Collector

    • JVM Thread usage • Processor usage Systemmetriken new ClassLoaderMetrics().bindTo(registry); new JvmMemoryMetrics().bindTo(registry); new JvmGcMetrics().bindTo(registry); new ProcessorMetrics().bindTo(registry); new JvmThreadMetrics().bindTo(registry);

47. • Container-Metriken • Message-Queue-Auslastung • Hystrix • Datenbankverbindungs-Usage • Hibernate-Statistiken

    • (Zukunftsmusik: Neo4j-Java-Driver-Metriken, Graph-Metriken) Anwendungsmetriken

48. Neo4j-Metriken? @Component @RequiredArgsConstructor public class Neo4jServerMetrics implements MeterBinder { private

    final Session session; @Override public void bindTo(MeterRegistry registry) { ToDoubleFunction<Session> nodeCount = session -> session.queryForObject(Double.class, "MATCH (n) RETURN COUNT(*)", Map.of()); Gauge.builder("neo4j.nodes.count", session, nodeCount) .description("Number of nodes in the graph") .baseUnit("nodes") .register(registry); ToDoubleFunction<Session> storeSize = session -> retrieveSysInfo(session, "Store sizes", "TotalStoreSize"); Gauge.builder("neo4j.store.size", session, storeSize) .description("Size of all stores") .baseUnit("bytes") .register(registry); } private static double retrieveSysInfo(Session session, String group, String attribute) { var query = "call dbms.queryJmx($jmxQuery) yield attributes\n" + "with keys(attributes) as k, attributes\n" + "unwind k as row with row, attributes\n" + "where row = $attribute\n" + "return attributes[row][\"value\"]"; var jmxQuery = String.format("org.neo4j:instance=kernel#0,name=%s", group); return session.queryForObject(Double.class, query, Map.of("jmxQuery", jmxQuery, "attribute", attribute)); } }

49. • Spring MVC • Spring WebFlux • RestTemplate (HTTP Client)

    • Spring Integration • Spring MQ Anwendungsmetriken (mit Spring Boot)

50. • Micrometer bringt: Eine API, um EURE Metriken zu erfassen

    Domain-Metriken („KPIs“)

51. • Micrometer bringt: Eine API, um EURE Metriken zu erfassen

    • Ihr bringt eure Metriken • „Wieviele Produkte wurden in der letzten Stunde verkauft?“ • „Wie lang hat der letzte Bestellprozess gedauert?“ • „Wieviele offene Registrierungen gibt es?“ Domain-Metriken („KPIs“)

52. Demo

53. Monitoring

54. Wo speichern?

55. • Atlas • Datadog • Datadog StatsD • Influx •

    Prometheus • SignalFx • Telegraf StatsD • Wavefront Mehrdimensionale Monitoring Systeme

56. • Graphite • Ganglia • JMX • Etsy StatsD Hierarchische

    Monitoring Systeme

57. Wie speichern?

58. • Atlas • Datadog • Graphite • Ganglia • Influx

    • JMX • all StatsD flavors • SignalFx • Wavefront Push model

59. • Prometheus Poll model

60. • Prometheus Poll model scrape_configs: - job_name: 'reactive-java-chain' metrics_path: '/actuator/prometheus'

    static_configs: - targets: ['localhost:8080'] - job_name: 'reactive-kotlin-chain' metrics_path: '/actuator/prometheus' static_configs: - targets: ['localhost:8090']

61. <dependency> <groupId>io.micrometer</groupId> <artifactId>micrometer-registry-prometheus</artifactId> </dependency> <dependency> <groupId>io.micrometer</groupId> <artifactId>micrometer-registry-statsd</artifactId> </dependency> <dependency> <groupId>io.micrometer</groupId>

    <artifactId>micrometer-registry-graphite</artifactId> </dependency> Wie einrichten?

62. Demo

63. • Micrometer hat viele weitere Funktionen • Histogramme • SLAs

    • Filter und transformer • Micrometer ist kein Spring Boot 2 spezifisches Produkt • Standalone • z.B. mit Micronaut, VertX • Legacy-Adapter für Spring Boot 1 Abschließende Worte

64. • Demo: 
 github.com/michael-simons/blockchain-playground
 (Inklusive Talk / Speakernotes) • Slides:

    speakerdeck.com/michaelsimons • Webinar von Jon Schneider, Micrometer Project-Lead
 https://www.brighttalk.com/webcast/14893/316569 • Spring Boot Buch
 @SpringBootBuch // springbootbuch.de Ressourcen

65. Thank you!

66. • Meter: https://unsplash.com/photos/zPZ9vqqDNBA • Library: https://unsplash.com/photos/xLhKkk2tKkA • Tally counter: https://www.flickr.com/photos/jauladeardilla/5768409603/

    • Gauge: https://unsplash.com/photos/HM731qUoUas • Timer: https://unsplash.com/photos/rBPOfVqROzY • Demo: 
 https://unsplash.com/photos/Uduc5hJX2Ew
 https://unsplash.com/photos/FlPc9_VocJ4
 https://unsplash.com/photos/gp8BLyaTaA0 • Monitoring
 https://unsplash.com/photos/mcSDtbWXUZU Bildquellen