Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Überblick ELK (Elasticsearch, Logstash, Kibana)

Überblick ELK (Elasticsearch, Logstash, Kibana)

Überblick ELK (Elasticsearch, Logstash, Kibana)

Hendrik Saly

June 23, 2015

Transcript

18 slides
  1. • Hochskalierbare verteilte „near realtime“ Suchmaschine • Open Source Lizenz

    (ASL2) und kostenfrei • REST/JSON orientiert • Antwortzeiten im Millisekundenbereich (near realtime) • Speicherung bis zu mehreren hundert Milliarden Datensätzen • Geeignet für strukturierte und unstrukturierte Daten • Unterstützt auch unscharfe Suche (fuzzy, phonetisch) •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic, die Firma hinter Elasticsearch Elasticsearch_ 4
  2. • Datendrehscheibe zur Befüllung von Elasticsearch • Open Source Lizenz

    (ASL2) und kostenfrei • Liest Daten aus verschiedenen Quellen • … in verschiedenen Formaten • Bietet Transformation und Filterung • Speichern in Elasticsearch •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic Logstash_ 6
  3. • Visuelles Frontend zur Betrachtung und Analyse von in Elasticsearch

    gespeicherten Daten • Open Source Lizenz (ASL2) und kostenfrei • Webanwendung, läuft auf jedem modernen Browser • Kann ohne technische Kenntnisse benutzt werden • Ermöglicht auch Ad-hoc Abfragen bzw. Auswertungen •Kommerzieller Support durch elastic Kibana_ 8
  4. 10 ELK_ Elasticsearch Logstash Quelle 1 Quelle 2 Quelle 3

    Quelle n Logstash Logstash Elasticsearch Elasticsearch
  5. 11 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n

    Logstash Elasticsearch HTTP Access Logs Syslog Application Logs …
  6. 12 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n

    Elasticsearch Logstash Logstash Logstash Transformation Filterung Anreicherung
  7. 13 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n

    Logstash Elasticsearch Elasticsearch Elasticsearch Speichern Indizieren Verteilen
  8. 14 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n

    Logstash Elasticsearch Daten visualisieren Ad-hoc Reports Dashboards
  9. • Management Logdateien • Zentralisierung Logdateien (Applikation/Maschine) • Durchsuchbarkeit •

    Requesttracking/Ablaufverfolgung • Analytics • Auswertung großer Datenmengen (Big Data) • z.B. Social Media • z.B. Data Warehouse • mittels Datenkonsolidierung/Aggregation • near Realtime Anwendungsszenarien_ 16

More Decks by Hendrik Saly

Other Decks in Technology