Elastic Stack_ Einführung und Anwendungsszenarien [email protected] 

• Der Elastic Stack* • elasticsearch • logstash • kibana • beats • x-pack • cloud •Anwendungsszenarien Inhalt_ 2 *Früher ELK 

elasticsearch 3 

• Hochskalierbare verteilte „near realtime“ Suchmaschine • Open Source Lizenz (ASL2) und kostenfrei • REST/JSON orientiert • Antwortzeiten im Millisekundenbereich (near realtime) • Speicherung bis zu mehreren hundert Milliarden Datensätzen • Geeignet für strukturierte und unstrukturierte Daten • Unterstützt auch unscharfe Suche (fuzzy, phonetisch) •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic, die Firma hinter Elasticsearch elasticsearch_ 4 

logstash 5 

• Datendrehscheibe zur Befüllung von Elasticsearch • Open Source Lizenz (ASL2) und kostenfrei • Liest Daten aus verschiedenen Quellen • … in verschiedenen Formaten • Bietet Transformation und Filterung • Speichern in Elasticsearch •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic logstash_ 6 

kibana 7 

• Visuelles Frontend zur Betrachtung und Analyse von in Elasticsearch gespeicherten Daten • Open Source Lizenz (ASL2) und kostenfrei • Webanwendung, läuft auf jedem modernen Browser • Kann ohne technische Kenntnisse benutzt werden • Ermöglicht auch Ad-hoc Abfragen bzw. Auswertungen •Kommerzieller Support durch elastic kibana_ 8 

beats 9 

• Leichtgewichtige „Datenpumpen“ • Open Source Lizenz (ASL2) und kostenfrei • Ausführbare Go Programme (golang) •Kommerzieller Support durch elastic • Verfügbare beats • Filebeat • Packetbeat • Topbeat • Winlogbeat • Viele weitere community beats • https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html beats_ 10 

Elastic Stack 11 

12 Elasticsearch Logstash Quelle 1 Quelle 2 Quelle 3 Quelle z Logstash Logstash Elasticsearch Elasticsearch Quelle x Elastic Stack_ Q u e u e Q u e u e Quelle y 

13 Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Elastic Stack_ Quelle y Elasticsearch Q u e u e Logstash Q u e u e Spark/Hadoop Logdateien Netzwerkpakete … Betriebssystem Metriken E-Mails (IMAP) •Quellen • Logstash Plugins • Beats • Hadoop • … 

14 Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Elastic Stack_ Q u e u e Q u e u e Quelle y Elasticsearch Logstash •Queues • Kafka • Redis • RabbitMQ 

15 Elasticsearch Logstash Logstash Logstash Transformation Filterung Anreicherung Elastic Stack_ Quelle 1 Quelle 2 Quelle 3 Quelle z Q u e u e 

16 Elastic Stack_ Elasticsearch Elasticsearch Elasticsearch Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Q u e u e Q u e u e Quelle y Logstash Speichern Indizieren Verteilen 

Elasticsearch 17 Elastic Stack_ Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Q u e u e Q u e u e Quelle y Logstash Daten visualisieren Ad-hoc Reports Dashboards 

x-pack 18 

• Kommerzielle kostenpflichtige closed-source Komponenten • Support durch elastic • Verfügbare Packs • Security (früher Shield) • Alerting (früher Watcher) • Monitoring (früher Marvel) • Graph • Reporting x-pack_ 19 

cloud 20 

• Elasticsearch als cloudienst • Auch „on-premise“ möglich (derzeit Beta) • Hochverfügbar • 14 Tage Testversion • Abrechnung nach Zeit • Gehostet auf Amazon EC2 cloud_ 21 

Anwendungsszenarien 22 

• Zentrales Logmanagement • Zentralisierung Logdateien (Applikation/Maschine) • Durchsuchbarkeit • Requesttracking/Ablaufverfolgung • Volltextsuche • Phonetische/Unscharfe Suche • Highlighting • Search as you type • Relevanzberechnung/Scoring • near Realtime Anwendungsszenarien_ 23 

• Analytics • Auswertung großer Datenmengen (Big Data) • z.B. Social Media • z.B. Data Warehouse • mittels Datenkonsolidierung/Aggregation • near Realtime Anwendungsszenarien_ 24 

Anwendungsszenarien_ 25 Mehr: https://www.elastic.co/use-cases Demo 

[email protected] Fragen? 26