Zentrales Logging mit Elasticsearch Digital Xchange 2019 

Wer bin ich ● Simon Schneider ● Software Engineer bei der Rewe Digital ○ Schwerpunkt: Suche ● Bis Oktober 2018, INFORM GmbH in Aachen ○ Schwerpunkt: Zentrales Logging 2/28 

Agenda 1) Allgemein a) Was bedeutet “Zentrales Logging”? b) Wie funktioniert der Elastic Stack? c) Wie nutzt REWE Digital den Elastic Stack? 2) Ingest und Speicherung a) Setup Elasticsearch b) Setup Logstash 3) Datenanalyse mit Kibana a) Live Demo 4) Fragen 3/28 

“Zentrales Logging” Was bedeutet 

Was bedeutet “Zentrales Logging” ? Dezentrales Logging VPN Maschine Jump Host (beim Kunden) Application Server Entwickler PC 5/28 

Was bedeutet “Zentrales Logging” ? Zentrales Logging Application Server Entwickler PC Logging Service Anfragen der Logs Senden der Logs 6/28 

Zentrales Logging Vor- und Nachteile des Zentralen Loggings Pros Contras ● Single source of truth (SSOT): Alle Logs an einem Ort => Leicht zu finden Keine Suchen nach Logs auf Servern => Schneller ● Neue Zusammenhänge: Globale Sicht ermöglicht arbeiten über Service Grenzen => CorrelationId ● Verbesserte Sicherheit: Entwickler benötigen weniger/keinen Zugriff auf Produktivsysteme ● Exploratives Verhaltensanalyse: Entwickler können mit wenig Aufwand Programmverhalten im Livebetrieb nachvollziehen ● Zusätzliche Infrastruktur: Neuer Speicherplatz und Rechenkapazität wird benötigt ● Großer Initialaufwand: Alle existierenden Services müssen auf das neue System umgestellt werden. 7/28 

Wie funktioniert der Elastic Stack ? 

Wie funktioniert der Elastic Stack ? Allgemeines ● Bestandteile ○ Elasticsearch ○ Logstash ○ Kibana ○ Beats ● Maintainer: Elastic NV (Niederlande) ● Lizenz: Apache License Version 2.0 9/28 

Wie funktioniert der Elastic Stack ? Aufbau Elastic Stack Kibana Elasticsearch Beats Logstash SaaS Self Managed Elastic Stack Visualize & Manage Store, Search & Analyze Ingest Deployment Elastic Cloud Elastic Cloud Enterprise Standalone 10/28 

Wie funktioniert Logstash ? Logstash ● Annehmen von Daten aus: ○ Beats ○ Redis ○ Kafka ○ Salesforce ○ ... ● Verarbeiten der Daten mit: ○ Grok ○ Geo IP ○ Date/Time Parser ○ Ruby/Java ○ … ● Ablegen der Daten in: ○ Elasticsearch ○ Syslog ○ ... 11/28 

Wie funktionieren Beats ? Filebeat/Metricbeat/Packetbeat... ● Filebeat => Logs einlesen ● Metricbeat => System/Docker/MongoDB/Kubernetes Metriken sammeln ● Packetbeat => Sammelt und Analysiert Netzwerkverkehr ● Winlogbeat => Einlesen der Windows Ereignisprotokolle ● Auditbeat => Einlesen der Ereignisse aus dem Linux Audit Framework ● Heartbeat => Heartbeat Pings über ICMP, TCP und HTTP ● Libbeat => Go Library für das entwickeln von Beats 12/28 

Wie funktioniert Elasticsearch ? Allgemein ● Eigenschaften ○ Suchmaschine und Analytics Engine auf Basis von Lucene ○ Skalierbar auf mehrere hundert Knoten ○ Robust gegen Störungen (Resilenz) ○ Flexibel, verschiedene Anwendungsfälle werden abgedeckt ● Kompatibilität ○ RESTful ○ SQL 13/28 

Wie funktioniert Elasticsearch ? Knoten Modi ● Master ○ Verwaltung des Clusters ○ Geringe CPU Last, kaum Speicherverbrauch ● Data ○ Speichern von Daten ○ Hohe CPU Last, hoher Speicherverbrauch, häufige Festplattenzugriffe ● Ingest / Machine Learning ○ Verarbeiten der Daten ○ Hohe CPU Last, mittelmäßiger bis hoher Speicherverbrauch 14/28 

Elasticsearch Architekturen Daumenregeln Hot-Warm Indizes ● Hot-Warm Architektur ○ Master Knoten (3) ○ Hot Knoten (>=3) ○ Warm Knoten (>=3) ● Indizes ○ Jeden Tag ein neuer Index ○ Alte Indizes werden auf die Warm Knoten verschoben ○ Ein Alias zeigt immer auf den tagesaktuellen Index ○ Alte Indizes werden komprimiert ● Shards ○ Shard Replication mindestens auf 2 ○ Shard Anzahl = Datenmenge / 30 GB + 1 https://www.elastic.co/de/blog/hot-warm-architecture-in-elasticsearch-5-x 15/28 

Wie funktioniert Elasticsearch ? Datenhaltung Elasticsearch Elasticsearch Index Elasticsearch Shard Elasticsearch Shard Elasticsearch Shard Elasticsearch Shard Lucene Index Lucene Index Lucene Index Lucene Index Segment Segment Segment Segment Segment Segment Segment Segment 16/28 

den Elastic Stack Wie nutzt REWE 

Elastic Stack @ Logging im Rewe Online Shop - Technical Logs ● Die Logs aller Microservice Instanzen müssen persistiert werden ● Datenmenge Pro Tag: ○ 427 Millionen Log Events ○ 435 GB Log Daten ● Datenmenge Gesamt: ○ 5,9 Milliarden Log Events ○ 6,09 TB Log Daten 18/28 

Logging im Rewe Online Shop - Logging Infrastruktur ● Docker Node ○ Docker / Logstash ● Ingest/Master Nodes: ○ Redis / Logstash / Elasticsearch ○ 3 Nodes ● Data Nodes: ○ 4 CPU Cores / 64GB RAM / 2TB SSD ○ 8 Nodes ● Kibana Nodes: ○ Kibana / Elasticsearch ○ 2 Nodes Docker Node Ingest Node Data Node Kibana Node Elastic Stack @ 19/28 

Setup Elasticsearch 

Live Coding 

Logstash Setup 

Setup Logstash Pipeline Konfiguration ● Input ○ Einlesen mit “gelf” auf UDP Port 12201 ● Filter ○ JSON Entpacken ○ Nginx/Service Logs unterscheiden ● Output ○ Logs an Elasticsearch senden gelf { type => docker port => 12201 } json { source => "message" target => "payload" } if [tag] == "app" { ... } elasticsearch { hosts => ["elasticsearch:9200"] } 23/28 

Live Coding 

mit Kibana Datenanalyse 

Live Demo 

Fragen ? 

Vielen Dank! für eure Aufmerksamkeit 10:30 Uhr 11:30 Uhr 14:30 Uhr 

Elasticsearch Cluster Anforderungen ● Workload: 1TB pro Tag ● Speicherdauer: 30 Tage ● Relevanz Quantil: 7 Tage ● Datenaufbereitung: Ingest ● Datensammlung A B A B C A A A 

Credits Log Icon made by Freepik from www.flaticon.com Elastic Icons - https://www.elastic.co/de/brand 30/28