Zentrales Log-Management mit Graylog (german)

Introduction to Graylog as central log management system. (in german) 13. Kieler Open Source und Linux Tage 2015

Transcript

1. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Zentrales Log-Management mit Bernd Ahlers - Graylog, Inc.
2. Bernd Ahlers – Graylog, Inc. bernd@graylog.com • Bernd Ahlers • Entwickler bei Graylog, Inc. in Hamburg • bernd@graylog.com • twitter.com/berndahlers • github.com/bernd
3. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Was ist Log-Management? • Log-Daten aus allen Anwendungen und von allen Maschinen zentral sammeln und auswerten • Archivierung von Log-Daten
4. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Schneller Zugriff auf die Logs aller Maschinen • Volltext Suche über alle Logs
5. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Schnellere Analyse von Problemen im Produktionsbetrieb • Bessere Problemanalyse während der Entwicklung
6. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Erstellen strukturierter Logs aus einfachen Text Daten • Konsolidierung von Daten aus verschiedenen Systemen • Automatisches Monitoring der Log-Daten
7. Bernd Ahlers – Graylog, Inc. bernd@graylog.com SAAS Produkte • Pro – Einfacher Start – Kein Aufwand für Betrieb & Wartung • Contra – Probleme bei größerem Daten Volumen – Daten nicht unter Kontrolle
8. Bernd Ahlers – Graylog, Inc. bernd@graylog.com SAAS Produkte
9. Bernd Ahlers – Graylog, Inc. bernd@graylog.com On-Premise Produkte • Pro – Daten unter Kontrolle – Möglichkeit sehr viele Daten zu senden und zu speichern • Contra – Betrieb & Wartung müssen selbst durchgeführt werden – Hohe „Startkosten“
10. Bernd Ahlers – Graylog, Inc. bernd@graylog.com On-Premise Produkte
11. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Open Source Produkte
12. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Open Source Log Management http://www.graylog.org/ http://docs.graylog.org/
13. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Geschichte • Gestartet von Lennart Koopmann in 2010 (damals Graylog2) • TORCH GmbH in Hamburg ende 2012 als Firma hinter Graylog gegründet • Neuentwicklung als Version 0.20 im Februar 2014 fertiggestellt
14. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Geschichte • Graylog, Inc. im Januar 2015 in den USA gegründet (Entwicklung bleibt in Hamburg) • Umbenennung von Graylog2 zu Graylog • Graylog Version 1.0 im Februar 2015
15. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
16. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
17. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
18. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Graylog Collector • Läuft auf Servern und kann lokale Log-Dateien lesen und an Graylog schicken • Windows Eventlog • Linux / Windows / Mac OS X / AIX
19. Bernd Ahlers – Graylog, Inc. bernd@graylog.com <3
20. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Docker + Graylog • Docker 1.8 hat nativen GELF Treiber für Logs • Sendet alle Container Log-Daten an Graylog
21. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Download
22. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Installation • Betriebssystem Pakete – Debian / Ubuntu (deb) – RedHat / CentOS (RPM) • Virtuelle Maschinen (OVA / Vagrant) • Config management (Chef / Puppet / Ansible)
23. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Log-Daten an Graylog senden • Syslog – TCP, TCP+TLS, UDP, AMQP, Kafka • GELF – TCP, TCP+TLS, UDP, HTTP, AMQP, Kafka • Raw / Plain Text – TCP, TCP+TLS, UDP, AMQP, Kafka • Collector – TCP, TCP+TLS
24. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Syslog • Beispiel Rsyslog # RFC5424 Template $template GRAYLOGRFC5424,"<%PRI%>%PROTOCOL-VERSION% %TIMESTAMP:::date- rfc3339% %HOSTNAME% %APP-NAME% %PROCID% %MSGID% %STRUCTURED-DATA% %msg %\n" # Graylog Server *.* @graylog.example.org:5140;GRAYLOGRFC5424
25. Bernd Ahlers – Graylog, Inc. bernd@graylog.com GELF • Graylog Extended Log Format • JSON basiertes Format zum senden von strukturierten Daten • Logstash, fluentd, nxlog, Docker, ...
26. Bernd Ahlers – Graylog, Inc. bernd@graylog.com GELF • Diverse libraries um Logs direkt aus Anwendungen zu verschicken • z.B. Log4j2 <configuration status="OFF" packages="org.graylog2.log4j2"> <appenders> <GELF name="gelfAppender" server="graylog.example.com" port="12201" hostName="appserver01.example.com" additionalFields="foo=bar"/> </appenders> <loggers> <root level="info"> <appender-ref ref="gelfAppender"/> </root> </loggers> </configuration>
27. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Raw / Plain Text • Rohe Textdaten $ tail -f /var/log/logfile.log | nc graylog.example.com 5555
28. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Graylog Konfiguration • Minimale Konfiguration in zwei Dateien • /etc/graylog/server/server.conf • /etc/graylog/web/web.conf
29. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
30. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Daten Strukturieren • Aus text strings strukturierte Daten erzeugen mit Extractors • Fertige Extractors als Content Packs im Marketplace verfügbar
31. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
32. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Suchen & Analysieren
33. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
34. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
35. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
36. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
37. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
38. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Sources • Zeigt eine Übersicht aller Quellen die Log- Daten an Graylog schicken
39. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
40. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Streams • Eingehende Nachrichten können so gruppiert werden • Können benutzt werden um Berechtigungen für Benutzer zu vergeben • Stream Alerts können Benachrichtigungen verschicken
41. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
42. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
43. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Dashboards • Widgets können auf Dashboards gruppiert werden • Nützlich um wichtige Metriken und Informationen auf einem Blick anzuzeigen
44. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
45. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Benutzer & Rollen • Berechtigungen auf Streams und Dashboards • LDAP/ActiveDirectory wird für Benutzer und Rollen unterstützt
46. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
47. Bernd Ahlers – Graylog, Inc. bernd@graylog.com System Status • Es gibt diverse System-Seiten auf denen der Status der verschiedenen Komponenten angezeigt wird
48. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
49. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
50. Bernd Ahlers – Graylog, Inc. bernd@graylog.com
51. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Danke! Danke für eure Aufmerksamkeit!
52. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Fragen? bernd@graylog.com @berndahlers http://www.graylog.org/ http://docs.graylog.org/