Open-Source-Logging und -Monitoring (W-JAX 2017)

Logging und Monitoring sind kein sexy Thema: Niemand hat Lust, sich auf Konsolen einzuloggen und Logdateien zu durchforsten. In Docker-Umgebungen potenziert sich das Problem noch einmal. Eine zentralisierte Logging-Infrastruktur muss her. Und wenn man schon dabei ist, wären ein Exception-Monitoring und detaillierte Anwendungsmetriken ja auch ganz praktisch. Ich zeige in dieser Session das Zusammenspiel aus Logstash und Graylog zur Access-Loganalyse, Sentry zum Exception Logging sowie Graphite und Grafana zur Visualisierung von Anwendungsmetriken.

Transcript

1. Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com
   Open-Source
   Logging- & Monitoring-Tools
   

   View Slide

2. @tboeghk
   #cto, Search Technology Meetup Hamburg, #ansible, #roadbike, #landscapephotography
   Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com
   

   View Slide

3. Bester Arbeitgeber Deutschlands im Handel und Konsum laut Arbeitgeber-Ranking
   Produktsuche. 60M Produkte.
   2k Bilder/Sek. 1k Suchen/Sek.
   Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com
   

   View Slide

4. Open Source Power
   Delivered.
   

   View Slide

5. Anwendungsmonitoring
   

   View Slide

6. Kommerzielle Lösungen:
   schnell implementiert, effizient …
   

   View Slide

7. View Slide

8. one size fits all?
   

   View Slide

9. business metric gap
   

   View Slide

10. teuer
    

    View Slide

11. Step back.
    

    View Slide

12. „Entwickler(in), der/die“
    

    View Slide

13. Business-Metriken
    Business
    Business
    

    View Slide

14. root cause analysis
    

    View Slide

15. Schema: Analysepunkte
    der Anwendung
    Zugriffe
    Anwendungslogs
    Interner Zustand? Zugriff via JMX? 

    Metriken? Durchsatz?
    Platte? IOPS? CPU? Network?
    

    View Slide

16. Schema: Monitoring
    

    View Slide

17. hands on
    

    View Slide

18. View Slide

19. View Slide

20. View Slide

21. Integration via Log4j Appender
    

    View Slide

22. View Slide

23. „vintage“
    

    View Slide

24. View Slide

25. View Slide

26. an old man’s time series data store
    

    View Slide

27. View Slide

28. dropwizard-metrics
    

    View Slide

29. JMX
    

    View Slide

30. View Slide

31. View Slide

32. Logstash: a regex monster
    

    View Slide

33. View Slide

34. Always buffer your logs!
    String parsing into json separate app for user agent
    parsing & geo-ip
    Obfuscation
    

    View Slide

35. View Slide

36. Graylog: Overview
    

    View Slide

37. Graylog: Details
    

    View Slide

38. View Slide

39. View Slide

40. Hands on: Sensu
    neuer heißer Shice
    

    View Slide

41. sensu server monitoring
    

    View Slide

42. View Slide

43. View Slide

44. Bester Arbeitgeber Deutschlands im Handel und Konsum laut Arbeitgeber-Ranking
    Thank you! Questions?
    @shopping24 | @tboeghk | developer.s24.com
    yes, we’re hiring!
    Torsten Bøgh Köster | torsten.koester@s24.com | @tboeghk | developer.s24.com
    

    View Slide