Überblick ELK (Elasticsearch, Logstash, Kibana)

Überblick ELK (Elasticsearch, Logstash, Kibana)

Transcript

1. ELK_ Elasticsearch - Logstash - Kibana hendrik.saly@codecentric.de 23.06.2015
2. • Der ELK Stack • Elasticsearch • Logstash • Kibana •Anwendungsszenarien Inhalt_ 2
3. Elasticsearch 3
4. • Hochskalierbare verteilte „near realtime“ Suchmaschine • Open Source Lizenz (ASL2) und kostenfrei • REST/JSON orientiert • Antwortzeiten im Millisekundenbereich (near realtime) • Speicherung bis zu mehreren hundert Milliarden Datensätzen • Geeignet für strukturierte und unstrukturierte Daten • Unterstützt auch unscharfe Suche (fuzzy, phonetisch) •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic, die Firma hinter Elasticsearch Elasticsearch_ 4
5. Logstash 5
6. • Datendrehscheibe zur Befüllung von Elasticsearch • Open Source Lizenz (ASL2) und kostenfrei • Liest Daten aus verschiedenen Quellen • … in verschiedenen Formaten • Bietet Transformation und Filterung • Speichern in Elasticsearch •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic Logstash_ 6
7. Kibana 7
8. • Visuelles Frontend zur Betrachtung und Analyse von in Elasticsearch gespeicherten Daten • Open Source Lizenz (ASL2) und kostenfrei • Webanwendung, läuft auf jedem modernen Browser • Kann ohne technische Kenntnisse benutzt werden • Ermöglicht auch Ad-hoc Abfragen bzw. Auswertungen •Kommerzieller Support durch elastic Kibana_ 8
9. ELK = Elasticsearch + Logstash + Kibana 9
10. 10 ELK_ Elasticsearch Logstash Quelle 1 Quelle 2 Quelle 3 Quelle n Logstash Logstash Elasticsearch Elasticsearch
11. 11 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n Logstash Elasticsearch HTTP Access Logs Syslog Application Logs …
12. 12 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n Elasticsearch Logstash Logstash Logstash Transformation Filterung Anreicherung
13. 13 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n Logstash Elasticsearch Elasticsearch Elasticsearch Speichern Indizieren Verteilen
14. 14 ELK_ Quelle 1 Quelle 2 Quelle 3 Quelle n Logstash Elasticsearch Daten visualisieren Ad-hoc Reports Dashboards
15. Anwendungsszenarien 15
16. • Management Logdateien • Zentralisierung Logdateien (Applikation/Maschine) • Durchsuchbarkeit • Requesttracking/Ablaufverfolgung • Analytics • Auswertung großer Datenmengen (Big Data) • z.B. Social Media • z.B. Data Warehouse • mittels Datenkonsolidierung/Aggregation • near Realtime Anwendungsszenarien_ 16
17. Anwendungsszenarien_ 17 Mehr: https://www.elastic.co/use-cases Demo
18. hendrik.saly@codecentric.de Fragen? 18