Open-Source-Logging und -Monitoring (W-JAX 2017)

Logging und Monitoring sind kein sexy Thema: Niemand hat Lust, sich auf Konsolen einzuloggen und Logdateien zu durchforsten. In Docker-Umgebungen potenziert sich das Problem noch einmal. Eine zentralisierte Logging-Infrastruktur muss her. Und wenn man schon dabei ist, wären ein Exception-Monitoring und detaillierte Anwendungsmetriken ja auch ganz praktisch. Ich zeige in dieser Session das Zusammenspiel aus Logstash und Graylog zur Access-Loganalyse, Sentry zum Exception Logging sowie Graphite und Grafana zur Visualisierung von Anwendungsmetriken.

Transcript

1. Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com Open-Source Logging- & Monitoring-Tools
2. @tboeghk #cto, Search Technology Meetup Hamburg, #ansible, #roadbike, #landscapephotography Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com
3. Bester Arbeitgeber Deutschlands im Handel und Konsum laut Arbeitgeber-Ranking Produktsuche. 60M Produkte. 2k Bilder/Sek. 1k Suchen/Sek. Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com
4. Open Source Power Delivered.
5. Anwendungsmonitoring
6. Kommerzielle Lösungen: schnell implementiert, effizient …
8. one size fits all?
9. business metric gap
10. teuer
11. Step back.
12. „Entwickler(in), der/die“
13. Business-Metriken Business Business
14. root cause analysis
15. Schema: Analysepunkte der Anwendung Zugriffe Anwendungslogs Interner Zustand? Zugriff via JMX? 
 Metriken? Durchsatz? Platte? IOPS? CPU? Network?
16. Schema: Monitoring
17. hands on
21. Integration via Log4j Appender
23. „vintage“
26. an old man’s time series data store
28. dropwizard-metrics
29. JMX
32. Logstash: a regex monster
34. Always buffer your logs! String parsing into json separate app for user agent parsing & geo-ip Obfuscation
36. Graylog: Overview
37. Graylog: Details
40. Hands on: Sensu neuer heißer Shice
41. sensu server monitoring
44. Bester Arbeitgeber Deutschlands im Handel und Konsum laut Arbeitgeber-Ranking Thank you! Questions? @shopping24 | @tboeghk | developer.s24.com yes, we’re hiring! Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com