Pro Yearly is on sale from $80 to $50! »

Zentrales Log-Management mit Graylog (german)

A428c190cba8985990a410b0450b680f?s=47 Bernd Ahlers
September 18, 2015
390

Zentrales Log-Management mit Graylog (german)

Introduction to Graylog as central log management system. (in german) 13. Kieler Open Source und Linux Tage 2015

A428c190cba8985990a410b0450b680f?s=128

Bernd Ahlers

September 18, 2015
Tweet

Transcript

  1. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Zentrales Log-Management mit Bernd

    Ahlers - Graylog, Inc.
  2. Bernd Ahlers – Graylog, Inc. bernd@graylog.com • Bernd Ahlers •

    Entwickler bei Graylog, Inc. in Hamburg • bernd@graylog.com • twitter.com/berndahlers • github.com/bernd
  3. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Was ist Log-Management? •

    Log-Daten aus allen Anwendungen und von allen Maschinen zentral sammeln und auswerten • Archivierung von Log-Daten
  4. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Schneller

    Zugriff auf die Logs aller Maschinen • Volltext Suche über alle Logs
  5. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Schnellere

    Analyse von Problemen im Produktionsbetrieb • Bessere Problemanalyse während der Entwicklung
  6. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Warum Log-Management? • Erstellen

    strukturierter Logs aus einfachen Text Daten • Konsolidierung von Daten aus verschiedenen Systemen • Automatisches Monitoring der Log-Daten
  7. Bernd Ahlers – Graylog, Inc. bernd@graylog.com SAAS Produkte • Pro

    – Einfacher Start – Kein Aufwand für Betrieb & Wartung • Contra – Probleme bei größerem Daten Volumen – Daten nicht unter Kontrolle
  8. Bernd Ahlers – Graylog, Inc. bernd@graylog.com SAAS Produkte

  9. Bernd Ahlers – Graylog, Inc. bernd@graylog.com On-Premise Produkte • Pro

    – Daten unter Kontrolle – Möglichkeit sehr viele Daten zu senden und zu speichern • Contra – Betrieb & Wartung müssen selbst durchgeführt werden – Hohe „Startkosten“
  10. Bernd Ahlers – Graylog, Inc. bernd@graylog.com On-Premise Produkte

  11. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Open Source Produkte

  12. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Open Source Log Management

    http://www.graylog.org/ http://docs.graylog.org/
  13. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Geschichte • Gestartet von

    Lennart Koopmann in 2010 (damals Graylog2) • TORCH GmbH in Hamburg ende 2012 als Firma hinter Graylog gegründet • Neuentwicklung als Version 0.20 im Februar 2014 fertiggestellt
  14. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Geschichte • Graylog, Inc.

    im Januar 2015 in den USA gegründet (Entwicklung bleibt in Hamburg) • Umbenennung von Graylog2 zu Graylog • Graylog Version 1.0 im Februar 2015
  15. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  16. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  17. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  18. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Graylog Collector • Läuft

    auf Servern und kann lokale Log-Dateien lesen und an Graylog schicken • Windows Eventlog • Linux / Windows / Mac OS X / AIX
  19. Bernd Ahlers – Graylog, Inc. bernd@graylog.com <3

  20. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Docker + Graylog •

    Docker 1.8 hat nativen GELF Treiber für Logs • Sendet alle Container Log-Daten an Graylog
  21. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Download

  22. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Installation • Betriebssystem Pakete

    – Debian / Ubuntu (deb) – RedHat / CentOS (RPM) • Virtuelle Maschinen (OVA / Vagrant) • Config management (Chef / Puppet / Ansible)
  23. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Log-Daten an Graylog senden

    • Syslog – TCP, TCP+TLS, UDP, AMQP, Kafka • GELF – TCP, TCP+TLS, UDP, HTTP, AMQP, Kafka • Raw / Plain Text – TCP, TCP+TLS, UDP, AMQP, Kafka • Collector – TCP, TCP+TLS
  24. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Syslog • Beispiel Rsyslog

    # RFC5424 Template $template GRAYLOGRFC5424,"<%PRI%>%PROTOCOL-VERSION% %TIMESTAMP:::date- rfc3339% %HOSTNAME% %APP-NAME% %PROCID% %MSGID% %STRUCTURED-DATA% %msg %\n" # Graylog Server *.* @graylog.example.org:5140;GRAYLOGRFC5424
  25. Bernd Ahlers – Graylog, Inc. bernd@graylog.com GELF • Graylog Extended

    Log Format • JSON basiertes Format zum senden von strukturierten Daten • Logstash, fluentd, nxlog, Docker, ...
  26. Bernd Ahlers – Graylog, Inc. bernd@graylog.com GELF • Diverse libraries

    um Logs direkt aus Anwendungen zu verschicken • z.B. Log4j2 <configuration status="OFF" packages="org.graylog2.log4j2"> <appenders> <GELF name="gelfAppender" server="graylog.example.com" port="12201" hostName="appserver01.example.com" additionalFields="foo=bar"/> </appenders> <loggers> <root level="info"> <appender-ref ref="gelfAppender"/> </root> </loggers> </configuration>
  27. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Raw / Plain Text

    • Rohe Textdaten $ tail -f /var/log/logfile.log | nc graylog.example.com 5555
  28. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Graylog Konfiguration • Minimale

    Konfiguration in zwei Dateien • /etc/graylog/server/server.conf • /etc/graylog/web/web.conf
  29. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  30. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Daten Strukturieren • Aus

    text strings strukturierte Daten erzeugen mit Extractors • Fertige Extractors als Content Packs im Marketplace verfügbar
  31. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  32. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Suchen & Analysieren

  33. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  34. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  35. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  36. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  37. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  38. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Sources • Zeigt eine

    Übersicht aller Quellen die Log- Daten an Graylog schicken
  39. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  40. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Streams • Eingehende Nachrichten

    können so gruppiert werden • Können benutzt werden um Berechtigungen für Benutzer zu vergeben • Stream Alerts können Benachrichtigungen verschicken
  41. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  42. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  43. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Dashboards • Widgets können

    auf Dashboards gruppiert werden • Nützlich um wichtige Metriken und Informationen auf einem Blick anzuzeigen
  44. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  45. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Benutzer & Rollen •

    Berechtigungen auf Streams und Dashboards • LDAP/ActiveDirectory wird für Benutzer und Rollen unterstützt
  46. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  47. Bernd Ahlers – Graylog, Inc. bernd@graylog.com System Status • Es

    gibt diverse System-Seiten auf denen der Status der verschiedenen Komponenten angezeigt wird
  48. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  49. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  50. Bernd Ahlers – Graylog, Inc. bernd@graylog.com

  51. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Danke! Danke für eure

    Aufmerksamkeit!
  52. Bernd Ahlers – Graylog, Inc. bernd@graylog.com Fragen? bernd@graylog.com @berndahlers http://www.graylog.org/

    http://docs.graylog.org/