Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Open-Source-Logging und -Monitoring (W-JAX 2017)

Open-Source-Logging und -Monitoring (W-JAX 2017)

Logging und Monitoring sind kein sexy Thema: Niemand hat Lust, sich auf Konsolen einzuloggen und Logdateien zu durchforsten. In Docker-Umgebungen potenziert sich das Problem noch einmal. Eine zentralisierte Logging-Infrastruktur muss her. Und wenn man schon dabei ist, wären ein Exception-Monitoring und detaillierte Anwendungsmetriken ja auch ganz praktisch. Ich zeige in dieser Session das Zusammenspiel aus Logstash und Graylog zur Access-Loganalyse, Sentry zum Exception Logging sowie Graphite und Grafana zur Visualisierung von Anwendungsmetriken.

Torsten Bøgh Köster

November 08, 2017
Tweet

More Decks by Torsten Bøgh Köster

Other Decks in Technology

Transcript

  1. Torsten Bøgh Köster | [email protected] | @tboeghk | developer.s24.com
    Open-Source
    Logging- & Monitoring-Tools

    View Slide

  2. @tboeghk
    #cto, Search Technology Meetup Hamburg, #ansible, #roadbike, #landscapephotography
    Torsten Bøgh Köster | [email protected] | @tboeghk | developer.s24.com

    View Slide

  3. Bester Arbeitgeber Deutschlands im Handel und Konsum laut Arbeitgeber-Ranking
    Produktsuche. 60M Produkte.
    2k Bilder/Sek. 1k Suchen/Sek.
    Torsten Bøgh Köster | [email protected] | @tboeghk | developer.s24.com

    View Slide

  4. Open Source Power
    Delivered.

    View Slide

  5. Anwendungsmonitoring

    View Slide

  6. Kommerzielle Lösungen:
    schnell implementiert, effizient …

    View Slide

  7. View Slide

  8. one size fits all?

    View Slide

  9. business metric gap

    View Slide

  10. teuer

    View Slide

  11. Step back.

    View Slide

  12. „Entwickler(in), der/die“

    View Slide

  13. Business-Metriken
    Business
    Business

    View Slide

  14. root cause analysis

    View Slide

  15. Schema: Analysepunkte
    der Anwendung
    Zugriffe
    Anwendungslogs
    Interner Zustand? Zugriff via JMX? 

    Metriken? Durchsatz?
    Platte? IOPS? CPU? Network?

    View Slide

  16. Schema: Monitoring

    View Slide

  17. hands on

    View Slide

  18. View Slide

  19. View Slide

  20. View Slide

  21. Integration via Log4j Appender

    View Slide

  22. View Slide

  23. „vintage“

    View Slide

  24. View Slide

  25. View Slide

  26. an old man’s time series data store

    View Slide

  27. View Slide

  28. dropwizard-metrics

    View Slide

  29. JMX

    View Slide

  30. View Slide

  31. View Slide

  32. Logstash: a regex monster

    View Slide

  33. View Slide

  34. Always buffer your logs!
    String parsing into json separate app for user agent
    parsing & geo-ip
    Obfuscation

    View Slide

  35. View Slide

  36. Graylog: Overview

    View Slide

  37. Graylog: Details

    View Slide

  38. View Slide

  39. View Slide

  40. Hands on: Sensu
    neuer heißer Shice

    View Slide

  41. sensu server monitoring

    View Slide

  42. View Slide

  43. View Slide

  44. Bester Arbeitgeber Deutschlands im Handel und Konsum laut Arbeitgeber-Ranking
    Thank you! Questions?
    @shopping24 | @tboeghk | developer.s24.com
    yes, we’re hiring!
    Torsten Bøgh Köster | [email protected] | @tboeghk | developer.s24.com

    View Slide