Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Zentrales Log-Management mit Graylog (german)

Bernd Ahlers
September 18, 2015
540

Zentrales Log-Management mit Graylog (german)

Introduction to Graylog as central log management system. (in german) 13. Kieler Open Source und Linux Tage 2015

Bernd Ahlers

September 18, 2015
Tweet

Transcript

  1. Bernd Ahlers – Graylog, Inc. [email protected] • Bernd Ahlers •

    Entwickler bei Graylog, Inc. in Hamburg • [email protected] • twitter.com/berndahlers • github.com/bernd
  2. Bernd Ahlers – Graylog, Inc. [email protected] Was ist Log-Management? •

    Log-Daten aus allen Anwendungen und von allen Maschinen zentral sammeln und auswerten • Archivierung von Log-Daten
  3. Bernd Ahlers – Graylog, Inc. [email protected] Warum Log-Management? • Schneller

    Zugriff auf die Logs aller Maschinen • Volltext Suche über alle Logs
  4. Bernd Ahlers – Graylog, Inc. [email protected] Warum Log-Management? • Schnellere

    Analyse von Problemen im Produktionsbetrieb • Bessere Problemanalyse während der Entwicklung
  5. Bernd Ahlers – Graylog, Inc. [email protected] Warum Log-Management? • Erstellen

    strukturierter Logs aus einfachen Text Daten • Konsolidierung von Daten aus verschiedenen Systemen • Automatisches Monitoring der Log-Daten
  6. Bernd Ahlers – Graylog, Inc. [email protected] SAAS Produkte • Pro

    – Einfacher Start – Kein Aufwand für Betrieb & Wartung • Contra – Probleme bei größerem Daten Volumen – Daten nicht unter Kontrolle
  7. Bernd Ahlers – Graylog, Inc. [email protected] On-Premise Produkte • Pro

    – Daten unter Kontrolle – Möglichkeit sehr viele Daten zu senden und zu speichern • Contra – Betrieb & Wartung müssen selbst durchgeführt werden – Hohe „Startkosten“
  8. Bernd Ahlers – Graylog, Inc. [email protected] Open Source Log Management

    http://www.graylog.org/ http://docs.graylog.org/
  9. Bernd Ahlers – Graylog, Inc. [email protected] Geschichte • Gestartet von

    Lennart Koopmann in 2010 (damals Graylog2) • TORCH GmbH in Hamburg ende 2012 als Firma hinter Graylog gegründet • Neuentwicklung als Version 0.20 im Februar 2014 fertiggestellt
  10. Bernd Ahlers – Graylog, Inc. [email protected] Geschichte • Graylog, Inc.

    im Januar 2015 in den USA gegründet (Entwicklung bleibt in Hamburg) • Umbenennung von Graylog2 zu Graylog • Graylog Version 1.0 im Februar 2015
  11. Bernd Ahlers – Graylog, Inc. [email protected] Graylog Collector • Läuft

    auf Servern und kann lokale Log-Dateien lesen und an Graylog schicken • Windows Eventlog • Linux / Windows / Mac OS X / AIX
  12. Bernd Ahlers – Graylog, Inc. [email protected] Docker + Graylog •

    Docker 1.8 hat nativen GELF Treiber für Logs • Sendet alle Container Log-Daten an Graylog
  13. Bernd Ahlers – Graylog, Inc. [email protected] Installation • Betriebssystem Pakete

    – Debian / Ubuntu (deb) – RedHat / CentOS (RPM) • Virtuelle Maschinen (OVA / Vagrant) • Config management (Chef / Puppet / Ansible)
  14. Bernd Ahlers – Graylog, Inc. [email protected] Log-Daten an Graylog senden

    • Syslog – TCP, TCP+TLS, UDP, AMQP, Kafka • GELF – TCP, TCP+TLS, UDP, HTTP, AMQP, Kafka • Raw / Plain Text – TCP, TCP+TLS, UDP, AMQP, Kafka • Collector – TCP, TCP+TLS
  15. Bernd Ahlers – Graylog, Inc. [email protected] Syslog • Beispiel Rsyslog

    # RFC5424 Template $template GRAYLOGRFC5424,"<%PRI%>%PROTOCOL-VERSION% %TIMESTAMP:::date- rfc3339% %HOSTNAME% %APP-NAME% %PROCID% %MSGID% %STRUCTURED-DATA% %msg %\n" # Graylog Server *.* @graylog.example.org:5140;GRAYLOGRFC5424
  16. Bernd Ahlers – Graylog, Inc. [email protected] GELF • Graylog Extended

    Log Format • JSON basiertes Format zum senden von strukturierten Daten • Logstash, fluentd, nxlog, Docker, ...
  17. Bernd Ahlers – Graylog, Inc. [email protected] GELF • Diverse libraries

    um Logs direkt aus Anwendungen zu verschicken • z.B. Log4j2 <configuration status="OFF" packages="org.graylog2.log4j2"> <appenders> <GELF name="gelfAppender" server="graylog.example.com" port="12201" hostName="appserver01.example.com" additionalFields="foo=bar"/> </appenders> <loggers> <root level="info"> <appender-ref ref="gelfAppender"/> </root> </loggers> </configuration>
  18. Bernd Ahlers – Graylog, Inc. [email protected] Raw / Plain Text

    • Rohe Textdaten $ tail -f /var/log/logfile.log | nc graylog.example.com 5555
  19. Bernd Ahlers – Graylog, Inc. [email protected] Graylog Konfiguration • Minimale

    Konfiguration in zwei Dateien • /etc/graylog/server/server.conf • /etc/graylog/web/web.conf
  20. Bernd Ahlers – Graylog, Inc. [email protected] Daten Strukturieren • Aus

    text strings strukturierte Daten erzeugen mit Extractors • Fertige Extractors als Content Packs im Marketplace verfügbar
  21. Bernd Ahlers – Graylog, Inc. [email protected] Sources • Zeigt eine

    Übersicht aller Quellen die Log- Daten an Graylog schicken
  22. Bernd Ahlers – Graylog, Inc. [email protected] Streams • Eingehende Nachrichten

    können so gruppiert werden • Können benutzt werden um Berechtigungen für Benutzer zu vergeben • Stream Alerts können Benachrichtigungen verschicken
  23. Bernd Ahlers – Graylog, Inc. [email protected] Dashboards • Widgets können

    auf Dashboards gruppiert werden • Nützlich um wichtige Metriken und Informationen auf einem Blick anzuzeigen
  24. Bernd Ahlers – Graylog, Inc. [email protected] Benutzer & Rollen •

    Berechtigungen auf Streams und Dashboards • LDAP/ActiveDirectory wird für Benutzer und Rollen unterstützt
  25. Bernd Ahlers – Graylog, Inc. [email protected] System Status • Es

    gibt diverse System-Seiten auf denen der Status der verschiedenen Komponenten angezeigt wird