$30 off During Our Annual Pro Sale. View Details »

Zentrales Log-Management mit Graylog (german)

Bernd Ahlers
September 18, 2015
480

Zentrales Log-Management mit Graylog (german)

Introduction to Graylog as central log management system. (in german) 13. Kieler Open Source und Linux Tage 2015

Bernd Ahlers

September 18, 2015
Tweet

Transcript

  1. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Zentrales Log-Management mit Bernd

    Ahlers - Graylog, Inc.
  2. Bernd Ahlers – Graylog, Inc. bernd@graylog.com • Bernd Ahlers •

    Entwickler bei Graylog, Inc. in Hamburg • bernd@graylog.com • twitter.com/berndahlers • github.com/bernd
  3. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Was ist Log-Management? •

    Log-Daten aus allen Anwendungen und von allen Maschinen zentral sammeln und auswerten • Archivierung von Log-Daten
  4. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Schneller

    Zugriff auf die Logs aller Maschinen • Volltext Suche über alle Logs
  5. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Schnellere

    Analyse von Problemen im Produktionsbetrieb • Bessere Problemanalyse während der Entwicklung
  6. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Erstellen

    strukturierter Logs aus einfachen Text Daten • Konsolidierung von Daten aus verschiedenen Systemen • Automatisches Monitoring der Log-Daten
  7. Bernd Ahlers – Graylog, Inc. bernd@graylog.com SAAS Produkte • Pro

    – Einfacher Start – Kein Aufwand für Betrieb & Wartung • Contra – Probleme bei größerem Daten Volumen – Daten nicht unter Kontrolle
  8. Bernd Ahlers – Graylog, Inc. bernd@graylog.com SAAS Produkte

  9. Bernd Ahlers – Graylog, Inc. bernd@graylog.com On-Premise Produkte • Pro

    – Daten unter Kontrolle – Möglichkeit sehr viele Daten zu senden und zu speichern • Contra – Betrieb & Wartung müssen selbst durchgeführt werden – Hohe „Startkosten“
  10. Bernd Ahlers – Graylog, Inc. bernd@graylog.com On-Premise Produkte

  11. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Open Source Produkte

  12. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Open Source Log Management

    http://www.graylog.org/ http://docs.graylog.org/
  13. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Geschichte • Gestartet von

    Lennart Koopmann in 2010 (damals Graylog2) • TORCH GmbH in Hamburg ende 2012 als Firma hinter Graylog gegründet • Neuentwicklung als Version 0.20 im Februar 2014 fertiggestellt
  14. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Geschichte • Graylog, Inc.

    im Januar 2015 in den USA gegründet (Entwicklung bleibt in Hamburg) • Umbenennung von Graylog2 zu Graylog • Graylog Version 1.0 im Februar 2015
  15. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  16. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  17. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  18. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Graylog Collector • Läuft

    auf Servern und kann lokale Log-Dateien lesen und an Graylog schicken • Windows Eventlog • Linux / Windows / Mac OS X / AIX
  19. Bernd Ahlers – Graylog, Inc. bernd@graylog.com <3

  20. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Docker + Graylog •

    Docker 1.8 hat nativen GELF Treiber für Logs • Sendet alle Container Log-Daten an Graylog
  21. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Download

  22. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Installation • Betriebssystem Pakete

    – Debian / Ubuntu (deb) – RedHat / CentOS (RPM) • Virtuelle Maschinen (OVA / Vagrant) • Config management (Chef / Puppet / Ansible)
  23. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Log-Daten an Graylog senden

    • Syslog – TCP, TCP+TLS, UDP, AMQP, Kafka • GELF – TCP, TCP+TLS, UDP, HTTP, AMQP, Kafka • Raw / Plain Text – TCP, TCP+TLS, UDP, AMQP, Kafka • Collector – TCP, TCP+TLS
  24. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Syslog • Beispiel Rsyslog

    # RFC5424 Template $template GRAYLOGRFC5424,"<%PRI%>%PROTOCOL-VERSION% %TIMESTAMP:::date- rfc3339% %HOSTNAME% %APP-NAME% %PROCID% %MSGID% %STRUCTURED-DATA% %msg %\n" # Graylog Server *.* @graylog.example.org:5140;GRAYLOGRFC5424
  25. Bernd Ahlers – Graylog, Inc. bernd@graylog.com GELF • Graylog Extended

    Log Format • JSON basiertes Format zum senden von strukturierten Daten • Logstash, fluentd, nxlog, Docker, ...
  26. Bernd Ahlers – Graylog, Inc. bernd@graylog.com GELF • Diverse libraries

    um Logs direkt aus Anwendungen zu verschicken • z.B. Log4j2 <configuration status="OFF" packages="org.graylog2.log4j2"> <appenders> <GELF name="gelfAppender" server="graylog.example.com" port="12201" hostName="appserver01.example.com" additionalFields="foo=bar"/> </appenders> <loggers> <root level="info"> <appender-ref ref="gelfAppender"/> </root> </loggers> </configuration>
  27. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Raw / Plain Text

    • Rohe Textdaten $ tail -f /var/log/logfile.log | nc graylog.example.com 5555
  28. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Graylog Konfiguration • Minimale

    Konfiguration in zwei Dateien • /etc/graylog/server/server.conf • /etc/graylog/web/web.conf
  29. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  30. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Daten Strukturieren • Aus

    text strings strukturierte Daten erzeugen mit Extractors • Fertige Extractors als Content Packs im Marketplace verfügbar
  31. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  32. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Suchen & Analysieren

  33. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  34. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  35. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  36. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  37. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  38. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Sources • Zeigt eine

    Übersicht aller Quellen die Log- Daten an Graylog schicken
  39. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  40. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Streams • Eingehende Nachrichten

    können so gruppiert werden • Können benutzt werden um Berechtigungen für Benutzer zu vergeben • Stream Alerts können Benachrichtigungen verschicken
  41. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  42. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  43. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Dashboards • Widgets können

    auf Dashboards gruppiert werden • Nützlich um wichtige Metriken und Informationen auf einem Blick anzuzeigen
  44. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  45. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Benutzer & Rollen •

    Berechtigungen auf Streams und Dashboards • LDAP/ActiveDirectory wird für Benutzer und Rollen unterstützt
  46. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  47. Bernd Ahlers – Graylog, Inc. bernd@graylog.com System Status • Es

    gibt diverse System-Seiten auf denen der Status der verschiedenen Komponenten angezeigt wird
  48. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  49. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  50. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  51. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Danke! Danke für eure

    Aufmerksamkeit!
  52. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Fragen? bernd@graylog.com @berndahlers http://www.graylog.org/

    http://docs.graylog.org/