Jaeger – the new kid on the block

Im Rahmen unserer Cloud-Migration durchleben unsere Anwendungen eine kontinuierliche Evolution und die großen Services werden immer mehr in kleinere Bestandteile zerlegt. Hierbei entstehen nicht nur klassische Microservices, oft handelt es sich um eine undogmatische modulare Zerlegung. Das Resultat dieses Vorgehens ist, dass die Logik innerhalb der einzelnen Module einfacher wird, damit werden unteranderem die Testbarkeit und die Nachvollziehbarkeit erhöht. Die Einführung von Grafana mit Prometheus und ELK-Stack, unterstützt unsere Teams dabei die einzelnen Anwendungen zu überwachen, die Veränderungen zu verfolgen und ggf. zeitnah zu reagieren.
Die Frage ist nun, wie gewinnt man den Überblick über die verteilte Architektur von kleinen Modulen, die mit einander agieren? Die Kommunikation zwischen den einzelnen Services, deren Performance und die Latenzzeiten sind nur einige Beispiele, die von Interesse sind.
Die nächsthöhere Ebene für Monitoring ist das Zusammenspiel der einzelnen Units der verteilten Servicearchitektur im Blick zu behalten. Dies ist insbesondere spannend bei den Services, deren Laufzeiten von Funktionsaufrufen kritisch sind. Hierzu nutzen wir Jaeger als Tracing-Tool, das einige Eigenschaften von Monitoring- und Logging-Tools kombiniert und uns genau diesen Überblick liefert, den wir für die Analyse benötigen.

Transcript

1. Jaeger the new kid on the block
2. Yana Software Entwicklerin Hauptsächlich Backend bei Hermes seit 3,5 Jahren Über mich
3. Über Hermes Evolution unserer Services Monitoring & Logging Jaeger Fragen Überblick
4. Inhalt 5 Über Hermes
5. Hermes Germany ist der zweitgrößte Paket-Logistiker Deutschlands. Gegründet 1972. Wir stellen derzeit etwa 400 Millionen Pakete pro Jahr zu. Neben Privatkunden sind unsere Hauptkunden Otto, Amazon, H&M, Zalando.
6. Wir lieben Weihnachten!
7. Inhalt 8 Evolution unserer Services
8. Monolithen Ein Service kann alles. Es war einmal bei Hermes
9. Der Anfang der Cloud-Philosophie Nichts für Monolithen Kleinere Services → REST Services → Besser testbar → Unabhängig erweiterbar → Unabhängig deploybar → Weniger Abstimmungen → Mehr Freiheit für die Teams
10. Der Anfang der Cloud-Philosophie Ab nun kleinere Anwendungen! Ok…
11. http://www.peeweepiglets.com/wp-content/uploads/2015/07/mini-piglets.jpg … aus einem Monolithen machen wir 5 kleinere Services
12. Monitoring mit Grafana/Prometheus Logging mit Kibana Monitoring von einzelnen Services
13. Unser erster Grafana Graph
14. Weitere Grafana-Dashboards
15. Grafana-Boards für alle!
16. Kibana für alle!
17. … mehr über die Microservices Die Frameworks werden interessanter: mehr Services mehr Interaktionen untereinander Wir lernen… • Asynchrone Verarbeitung • Parallele Verarbeitung • Reactor … • geplant: Kafka
18. Shibuya - by Joshua Mellin, CNN
19. Sind unsere einzelnen tollen Services alle zusammen langsamer als der Monolith mal war? Und dann? Cory Schadt, https://unsplash.com/photos/Hhcn6yy3Uo8
20. Wie monitort man den verteilten Datenfluss? Und den Ablauf zwischen Microservices? Kann man sich das Verhalten von Services bei den Aufrufen anschauen? Können wir Performance optimieren? Wie sind die Latenzzeiten? Wie sind die Zeiten bei den Lasttests? Haben wir Probleme mit der Infrastruktur/Knoten? Wie sind die Abläufe in den einzelnen Requests? Und noch?
21. Inhalt 22 Ein guter Zeitpunkt für Tracing
22. 23 Tracing
23. Vendor-neutral APIs and instrumentation for distributed tracing OpenTracing Project
24. Open Source (CNCF incubating project) End-to-end distributed tracing OpenTracing kompatibles Datenmodell und Bibliotheken Sehr kleiner Overhead (< 1% Leistungseinbuße) Unterschiedliche DBs als Storage Wird gepflegt und weiterentwickelt Jaeger Tracing
25. Einfach zu integrieren Spring Boot Spring Cloud Sleuth Spring RestTemplate Reactor RxJava
26. Filtern nach Services, Tags usw. Vergleich von Requests Dependencies Graph Features
27. Jaeger-Komponenten https://www.jaegertracing.io/docs/1.9/architecture/#components
28. Jaeger ist schnell einsatzfähig Jaeger (z.B. in der Cloud, lokal) Docker-Image: z.B. jaegertracing/all-in-one Sleuth + Jaeger/ Zipkin Dependency im Projekt Properties im Projekt: spring.zipkin.baseUrl: http://jaeger-url:9411/ spring.sleuth.sampler.percentage: 1.0
30. Filtern
32. Nützliche Tags
33. Jaeger & Kibana
34. SpanId und TraceId werden automatisch mit in den ELK übertragen Jaeger und Kibana lassen sich so gemeinsam verwenden
35. Jaeger & Kibana
36. Zeiten bei Last-Tests
37. Latenz-Zeiten
38. Patterns
39. Patterns
40. Zu wenige Informationen: Verdächtig: Latenz, Delay: Sequentiell: Parallel: Locks: time time time time time time
41. Persistente DB für Jaeger Event driven Architektur mit Kafka Es macht erst dann richtig Spaß, wenn alle Microservices Jaeger ansprechen Ausblick für Hermes
42. Jaeger für alle!