Elastic Stack

Einführung und Anwendungsszenarien

Transcript

1. Elastic Stack_ Einführung und Anwendungsszenarien hendrik.saly@codecentric.de
2. • Der Elastic Stack* • elasticsearch • logstash • kibana • beats • x-pack • cloud •Anwendungsszenarien Inhalt_ 2 *Früher ELK
3. elasticsearch 3
4. • Hochskalierbare verteilte „near realtime“ Suchmaschine • Open Source Lizenz (ASL2) und kostenfrei • REST/JSON orientiert • Antwortzeiten im Millisekundenbereich (near realtime) • Speicherung bis zu mehreren hundert Milliarden Datensätzen • Geeignet für strukturierte und unstrukturierte Daten • Unterstützt auch unscharfe Suche (fuzzy, phonetisch) •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic, die Firma hinter Elasticsearch elasticsearch_ 4
5. logstash 5
6. • Datendrehscheibe zur Befüllung von Elasticsearch • Open Source Lizenz (ASL2) und kostenfrei • Liest Daten aus verschiedenen Quellen • … in verschiedenen Formaten • Bietet Transformation und Filterung • Speichern in Elasticsearch •Betrieb auf Standardhardware bzw. virtuellen Umgebungen •Kommerzieller Support durch elastic logstash_ 6
7. kibana 7
8. • Visuelles Frontend zur Betrachtung und Analyse von in Elasticsearch gespeicherten Daten • Open Source Lizenz (ASL2) und kostenfrei • Webanwendung, läuft auf jedem modernen Browser • Kann ohne technische Kenntnisse benutzt werden • Ermöglicht auch Ad-hoc Abfragen bzw. Auswertungen •Kommerzieller Support durch elastic kibana_ 8
9. beats 9
10. • Leichtgewichtige „Datenpumpen“ • Open Source Lizenz (ASL2) und kostenfrei • Ausführbare Go Programme (golang) •Kommerzieller Support durch elastic • Verfügbare beats • Filebeat • Packetbeat • Topbeat • Winlogbeat • Viele weitere community beats • https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html beats_ 10
11. Elastic Stack 11
12. 12 Elasticsearch Logstash Quelle 1 Quelle 2 Quelle 3 Quelle z Logstash Logstash Elasticsearch Elasticsearch Quelle x Elastic Stack_ Q u e u e Q u e u e Quelle y
13. 13 Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Elastic Stack_ Quelle y Elasticsearch Q u e u e Logstash Q u e u e Spark/Hadoop Logdateien Netzwerkpakete … Betriebssystem Metriken E-Mails (IMAP) •Quellen • Logstash Plugins • Beats • Hadoop • …
14. 14 Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Elastic Stack_ Q u e u e Q u e u e Quelle y Elasticsearch Logstash •Queues • Kafka • Redis • RabbitMQ
15. 15 Elasticsearch Logstash Logstash Logstash Transformation Filterung Anreicherung Elastic Stack_ Quelle 1 Quelle 2 Quelle 3 Quelle z Q u e u e
16. 16 Elastic Stack_ Elasticsearch Elasticsearch Elasticsearch Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Q u e u e Q u e u e Quelle y Logstash Speichern Indizieren Verteilen
17. Elasticsearch 17 Elastic Stack_ Quelle 1 Quelle 2 Quelle 3 Quelle z Quelle x Q u e u e Q u e u e Quelle y Logstash Daten visualisieren Ad-hoc Reports Dashboards
18. x-pack 18
19. • Kommerzielle kostenpflichtige closed-source Komponenten • Support durch elastic • Verfügbare Packs • Security (früher Shield) • Alerting (früher Watcher) • Monitoring (früher Marvel) • Graph • Reporting x-pack_ 19
20. cloud 20
21. • Elasticsearch als cloudienst • Auch „on-premise“ möglich (derzeit Beta) • Hochverfügbar • 14 Tage Testversion • Abrechnung nach Zeit • Gehostet auf Amazon EC2 cloud_ 21
22. Anwendungsszenarien 22
23. • Zentrales Logmanagement • Zentralisierung Logdateien (Applikation/Maschine) • Durchsuchbarkeit • Requesttracking/Ablaufverfolgung • Volltextsuche • Phonetische/Unscharfe Suche • Highlighting • Search as you type • Relevanzberechnung/Scoring • near Realtime Anwendungsszenarien_ 23
24. • Analytics • Auswertung großer Datenmengen (Big Data) • z.B. Social Media • z.B. Data Warehouse • mittels Datenkonsolidierung/Aggregation • near Realtime Anwendungsszenarien_ 24
25. Anwendungsszenarien_ 25 Mehr: https://www.elastic.co/use-cases Demo
26. hendrik.saly@codecentric.de Fragen? 26