take care of your logs

Language German.

Präsentation auf der Froscon 2016 - Was ist ein Logfile, was ist Log Management und warum will man das zentralisieren.

Video: https://media.ccc.de/v/froscon2016-1820-take_care_of_your_logs

Transcript

1. take care of your logs was, warum und wieso eigentlich
2. Jan Doberstein ( @jalogisch ) 17+ Jahre IT Administrator Support Engineer bei Graylog ( @graylog2 )
3. Was sind Logs?
4. – Wikipedia „Eine Logdatei enthält das automatisch geführte Protokoll aller oder bestimmter Aktionen von Prozessen auf einem Computersystem.“
5. – Wikipedia „ Außer dem Betriebssystem selbst schreiben meist Hintergrundprogramme (z. B. ein E-Mail- Server, ein Proxyserver und anderes) in Logdateien, um Aktionsmeldungen, Fehlermeldungen und Hinweise persistent (dauernd) oder temporär verfügbar zu halten. Ähnliches gilt für Installationsprogramme, Firewalls, Virenscanner und dergleichen. “
6. Logs geben die Möglichkeit Dinge zu einem späteren Zeitpunkt nachzuvollziehen
7. Aug 16 18:18:19 d8.jalogis.ch sshd[26944]: fatal: Unable to negotiate a key exchange method [preauth] Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse mapping checking getaddrinfo for hn.kd.ny.adsl [222.138.139.252] failed - POSSIBLE BREAK-IN ATTEMPT! Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user admin from 222.138.139.252 Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: input_userauth_request: invalid user admin [preauth] Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection closed by 222.138.139.252 [preauth] Aug 16 18:19:16 d8.jalogis.ch sshd[26948]: fatal: Unable to negotiate a key exchange method [preauth]
9. ohne Logs ist schlecht.
10. lokales Sammeln • Linux ( syslog / journald ) • Windows ( Eventlog )
11. lokales Sammeln root@d8:/var/log# grep -v "fatal: Unable to negotiate a key exchange method" auth.log | grep -v „pam_unix(cron:session)“ auth.log Aug 16 18:12:18 d8.jalogis.ch sshd[26930]: Connection closed by 45.114.50.54 [preauth] Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse mapping checking getaddrinfo for hn.kd.ny.adsl [222.138.139.252] failed - POSSIBLE BREAK- IN ATTEMPT! Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user admin from 222.138.139.252 Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: input_userauth_request: invalid user admin [preauth] Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection closed by 222.138.139.252 [preauth]
13. lokales Sammeln • Ist der Host nicht erreichbar, gibt es kein Log • Lokale Logs erlauben es nicht, dezentrale Ereignisse zu verfolgen • Kompromittierte Systeme sind manipuliert
14. (simples) zentrales Sammeln • OS Grundausstattung • geringer Aufwand Syslog
15. (simples) zentrales Sammeln
17. Datenbank & Interface
18. Elasticsearch ist eine dokumentbasierte Datenbank die auf Apache Lucene aufsetzt und eine vollständige REST API bietet.
19. > host:d8.jalogis.ch AND programname:sshd
22. • Anreicherung • Filterung • Normalisierung
23. zentrales Sammeln & Anreichern
24. Aug 16 18:18:19 d8.jalogis.ch sshd[26944]: fatal: Unable to negotiate a key exchange method [preauth] Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: reverse mapping checking getaddrinfo for hn.kd.ny.adsl [222.138.139.252] failed - POSSIBLE BREAK-IN ATTEMPT! Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Invalid user admin from 222.138.139.252 Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: input_userauth_request: invalid user admin [preauth] Aug 16 18:18:39 d8.jalogis.ch sshd[26946]: Connection closed by 222.138.139.252 [preauth] Aug 16 18:19:16 d8.jalogis.ch sshd[26948]: fatal: Unable to negotiate a key exchange method [preauth]
29. Datenbank & Interface
30. Syslog
31. Syslog App Hardware
32. App GELF / JSON Logfile Shipper
33. App RAW Hardware Syslog
34. Komplexes Sammeln • andere Transportwege und Protokolle • Warteschlangen (queue) • Paralleles Bearbeiten
37. Einheitliche Betrachtung • verminderte Zugriffsrechte auf Server • schneller und einfacher Zugriff auf Informationen • einfache Administration
38. Fragen? @jalogisch @graylog2 http://graylog.org http://elastic.co