take care of your logs

Language German.

Präsentation auf der Froscon 2016 - Was ist ein Logfile, was ist Log Management und warum will man das zentralisieren.

Video: https://media.ccc.de/v/froscon2016-1820-take_care_of_your_logs

Transcript

1. take care of your logs
   was, warum und wieso eigentlich
   

   View Slide

2. Jan Doberstein
   ( @jalogisch )
   17+ Jahre IT Administrator
   Support Engineer bei Graylog
   ( @graylog2 )
   

   View Slide

3. Was sind Logs?
   

   View Slide

4. – Wikipedia
   „Eine Logdatei enthält das automatisch
   geführte Protokoll aller oder bestimmter
   Aktionen von Prozessen auf einem
   Computersystem.“
   

   View Slide

5. – Wikipedia
   „ Außer dem Betriebssystem selbst schreiben
   meist Hintergrundprogramme (z. B. ein E-Mail-
   Server, ein Proxyserver und anderes) in
   Logdateien, um Aktionsmeldungen,
   Fehlermeldungen und Hinweise persistent
   (dauernd) oder temporär verfügbar zu halten.
   Ähnliches gilt für Installationsprogramme,
   Firewalls, Virenscanner und dergleichen. “
   

   View Slide

6. Logs geben die Möglichkeit
   Dinge zu einem späteren
   Zeitpunkt nachzuvollziehen
   

   View Slide

7. Aug 16 18:18:19 d8.jalogis.ch sshd[26944]: fatal: Unable
   to negotiate a key exchange method [preauth]
   Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse
   mapping checking getaddrinfo for hn.kd.ny.adsl
   [222.138.139.252] failed - POSSIBLE BREAK-IN ATTEMPT!
   Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user
   admin from 222.138.139.252
   Aug 16 18:18:39 d8.jalogis.ch sshd[26946]:
   input_userauth_request: invalid user admin [preauth]
   Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection
   closed by 222.138.139.252 [preauth]
   Aug 16 18:19:16 d8.jalogis.ch sshd[26948]: fatal: Unable
   to negotiate a key exchange method [preauth]
   

   View Slide

8. View Slide

9. ohne Logs ist
   schlecht.
   

   View Slide

10. lokales Sammeln
    • Linux ( syslog / journald )
    • Windows ( Eventlog )
    

    View Slide

11. lokales Sammeln
    root@d8:/var/log# grep -v "fatal: Unable to negotiate a key exchange
    method" auth.log | grep -v „pam_unix(cron:session)“ auth.log
    Aug 16 18:12:18 d8.jalogis.ch sshd[26930]: Connection closed by
    45.114.50.54 [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse mapping checking
    getaddrinfo for hn.kd.ny.adsl [222.138.139.252] failed - POSSIBLE BREAK-
    IN ATTEMPT!
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user admin from
    222.138.139.252
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: input_userauth_request:
    invalid user admin [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection closed by
    222.138.139.252 [preauth]
    

    View Slide

12. View Slide

13. lokales Sammeln
    • Ist der Host nicht erreichbar, gibt es kein Log
    • Lokale Logs erlauben es nicht, dezentrale
    Ereignisse zu verfolgen
    • Kompromittierte Systeme sind manipuliert
    

    View Slide

14. (simples) zentrales Sammeln
    • OS Grundausstattung
    • geringer Aufwand
    Syslog
    

    View Slide

15. (simples) zentrales Sammeln
    

    View Slide

16. View Slide

17. Datenbank & Interface
    

    View Slide

18. Elasticsearch ist eine dokumentbasierte Datenbank
    die auf Apache Lucene aufsetzt und eine
    vollständige REST API bietet.
    

    View Slide

19. > host:d8.jalogis.ch AND programname:sshd
    

    View Slide

20. View Slide

21. View Slide

22. • Anreicherung
    • Filterung
    • Normalisierung
    

    View Slide

23. zentrales Sammeln & Anreichern
    

    View Slide

24. Aug 16 18:18:19 d8.jalogis.ch sshd[26944]: fatal: Unable
    to negotiate a key exchange method [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse
    mapping checking getaddrinfo for hn.kd.ny.adsl
    [222.138.139.252] failed - POSSIBLE BREAK-IN ATTEMPT!
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user
    admin from 222.138.139.252
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]:
    input_userauth_request: invalid user admin [preauth]
    Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection
    closed by 222.138.139.252 [preauth]
    Aug 16 18:19:16 d8.jalogis.ch sshd[26948]: fatal: Unable
    to negotiate a key exchange method [preauth]
    

    View Slide

25. View Slide

26. View Slide

27. View Slide

28. View Slide

29. Datenbank & Interface
    

    View Slide

30. Syslog
    

    View Slide

31. Syslog
    App
    Hardware
    

    View Slide

32. App GELF / JSON
    Logfile Shipper
    

    View Slide

33. App RAW
    Hardware
    Syslog
    

    View Slide

34. Komplexes Sammeln
    • andere Transportwege und Protokolle
    • Warteschlangen (queue)
    • Paralleles Bearbeiten
    

    View Slide

35. View Slide

36. View Slide

37. Einheitliche Betrachtung
    • verminderte
    Zugriffsrechte auf
    Server
    • schneller und
    einfacher Zugriff
    auf Informationen
    • einfache
    Administration
    

    View Slide

38. Fragen?
    @jalogisch
    @graylog2
    http://graylog.org
    http://elastic.co
    

    View Slide

39. View Slide