Upgrade to Pro — share decks privately, control downloads, hide ads and more …

take care of your logs

take care of your logs

Language German.

Präsentation auf der Froscon 2016 - Was ist ein Logfile, was ist Log Management und warum will man das zentralisieren.

Video: https://media.ccc.de/v/froscon2016-1820-take_care_of_your_logs

Jan Doberstein

August 20, 2016
Tweet

More Decks by Jan Doberstein

Other Decks in Technology

Transcript

  1. take care of your logs
    was, warum und wieso eigentlich

    View Slide

  2. Jan Doberstein
    ( @jalogisch )
    17+ Jahre IT Administrator
    Support Engineer bei Graylog
    ( @graylog2 )

    View Slide

  3. Was sind Logs?

    View Slide

  4. – Wikipedia
    „Eine Logdatei enthält das automatisch
    geführte Protokoll aller oder bestimmter
    Aktionen von Prozessen auf einem
    Computersystem.“

    View Slide

  5. – Wikipedia
    „ Außer dem Betriebssystem selbst schreiben
    meist Hintergrundprogramme (z. B. ein E-Mail-
    Server, ein Proxyserver und anderes) in
    Logdateien, um Aktionsmeldungen,
    Fehlermeldungen und Hinweise persistent
    (dauernd) oder temporär verfügbar zu halten.
    Ähnliches gilt für Installationsprogramme,
    Firewalls, Virenscanner und dergleichen. “

    View Slide

  6. Logs geben die Möglichkeit
    Dinge zu einem späteren
    Zeitpunkt nachzuvollziehen

    View Slide

  7. Aug 16 18:18:19 d8.jalogis.ch sshd[26944]: fatal: Unable
    to negotiate a key exchange method [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse
    mapping checking getaddrinfo for hn.kd.ny.adsl
    [222.138.139.252] failed - POSSIBLE BREAK-IN ATTEMPT!
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user
    admin from 222.138.139.252
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]:
    input_userauth_request: invalid user admin [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection
    closed by 222.138.139.252 [preauth]
    Aug 16 18:19:16 d8.jalogis.ch sshd[26948]: fatal: Unable
    to negotiate a key exchange method [preauth]

    View Slide

  8. View Slide

  9. ohne Logs ist
    schlecht.

    View Slide

  10. lokales Sammeln
    • Linux ( syslog / journald )
    • Windows ( Eventlog )

    View Slide

  11. lokales Sammeln
    root@d8:/var/log# grep -v "fatal: Unable to negotiate a key exchange
    method" auth.log | grep -v „pam_unix(cron:session)“ auth.log
    Aug 16 18:12:18 d8.jalogis.ch sshd[26930]: Connection closed by
    45.114.50.54 [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse mapping checking
    getaddrinfo for hn.kd.ny.adsl [222.138.139.252] failed - POSSIBLE BREAK-
    IN ATTEMPT!
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user admin from
    222.138.139.252
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: input_userauth_request:
    invalid user admin [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection closed by
    222.138.139.252 [preauth]

    View Slide

  12. View Slide

  13. lokales Sammeln
    • Ist der Host nicht erreichbar, gibt es kein Log
    • Lokale Logs erlauben es nicht, dezentrale
    Ereignisse zu verfolgen
    • Kompromittierte Systeme sind manipuliert

    View Slide

  14. (simples) zentrales Sammeln
    • OS Grundausstattung
    • geringer Aufwand
    Syslog

    View Slide

  15. (simples) zentrales Sammeln

    View Slide

  16. View Slide

  17. Datenbank & Interface

    View Slide

  18. Elasticsearch ist eine dokumentbasierte Datenbank
    die auf Apache Lucene aufsetzt und eine
    vollständige REST API bietet.

    View Slide

  19. > host:d8.jalogis.ch AND programname:sshd

    View Slide

  20. View Slide

  21. View Slide

  22. • Anreicherung
    • Filterung
    • Normalisierung

    View Slide

  23. zentrales Sammeln & Anreichern

    View Slide

  24. Aug 16 18:18:19 d8.jalogis.ch sshd[26944]: fatal: Unable
    to negotiate a key exchange method [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse
    mapping checking getaddrinfo for hn.kd.ny.adsl
    [222.138.139.252] failed - POSSIBLE BREAK-IN ATTEMPT!
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user
    admin from 222.138.139.252
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]:
    input_userauth_request: invalid user admin [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection
    closed by 222.138.139.252 [preauth]
    Aug 16 18:19:16 d8.jalogis.ch sshd[26948]: fatal: Unable
    to negotiate a key exchange method [preauth]

    View Slide

  25. View Slide

  26. View Slide

  27. View Slide

  28. View Slide

  29. Datenbank & Interface

    View Slide

  30. Syslog

    View Slide

  31. Syslog
    App
    Hardware

    View Slide

  32. App GELF / JSON
    Logfile Shipper

    View Slide

  33. App RAW
    Hardware
    Syslog

    View Slide

  34. Komplexes Sammeln
    • andere Transportwege und Protokolle
    • Warteschlangen (queue)
    • Paralleles Bearbeiten

    View Slide

  35. View Slide

  36. View Slide

  37. Einheitliche Betrachtung
    • verminderte
    Zugriffsrechte auf
    Server
    • schneller und
    einfacher Zugriff
    auf Informationen
    • einfache
    Administration

    View Slide

  38. Fragen?
    @jalogisch
    @graylog2
    http://graylog.org
    http://elastic.co

    View Slide

  39. View Slide