Share
Embed
Fantastic, Bombastic, Elastic: You Know, for Amazing New Experience at R+V
In this talk Markus and Bernd will describe how Elasticsearch was introduced as a new technology at R+V for Log Monitoring and Customer Search. They will also speak to the amazing new experiences they've had with the entire Elastic Stack in combination with other solutions such as Apache Spark. Excited to share their road map, Markus and Bernd will present their ideas on some interesting Elasticsearch use cases they R & V are exploring for the near future.
Markus Schneider
Dr. Bernd Sutter
Elastic Co
November 24, 2016
Transcript
37 slides
-
Fantastic, Bombastic, Elastic You Know, for Amazing New Experiences Markus
Schneider, Dr. Bernd Sutter | Final v1.2.1 -
22.11.2016 Fantastic, Bombastic, Elastic... Agenda Wir über UNS@R+V Am Anfang
war… Use-Case I: Log-Monitoring Use-Case II: Wildcard-Suche & Kundenselektion Schlussfolgerung Fragen & Antworten 1 -
22.11.2016 Fantastic, Bombastic, Elastic... @schneidermatic DevOps (IT System Management) Geek
with more than 15 years of experience in implementation, customization and integration of IT operations management solutions. OSS-Lover, Coder, Initiator & Lead of Talks4Nerds, IT-Consultant@ruv_de Job: System, Application & Performance Monitoring $ whoami Markus Schneider | [email protected] | http://www.slideshare.net/schneidermatic 2 -
22.11.2016 Fantastic, Bombastic, Elastic... Dr. Bernd Sutter Anwendungsarchitekt mit Schwerpunkt
Vertriebsanwendungen und Portale mit mehr als 20 Jahren Erfahrung mit Versicherungsprozessen, deren konzeptionellen Abbildung und Umsetzung Job: Anwendungsdesigner im Großprojekt „Außendienstsystem R+V CONNECT Bernd Sutter | [email protected] $ whoami 3 -
22.11.2016 Fantastic, Bombastic, Elastic... Inhouse-Event https://twitter.com/search?q=talks4Nerds&src=typd https://youtu.be/mjJzEznRyak Fantastic, Bombastic, Elastic
Fantastic, Bombastic, Elastic... 22.11.2016 Fantastic, Bombastic, Elastic… …You know, for Amazing new Experiences 5 -
22.11.2016 Fantastic, Bombastic, Elastic... Das Unternehmen 11/2015 Vorstellung des Elastic
Stacks bei Talks4Nerds 03/2016 POC Elasticsearch 05/2016 Entscheidung Elasticsearch Unternehmenseinsatz 06/2016 Beginn Implementierung Elasticsearch Wildcardsuche/ Kundenselektion 09/2016 Beginn Implementierung Elasticsearch Log-Monitoring 01/2017 Produktivnahme Elasticsearch Wildcardsuche/ Kundenselektion 6 -
§ Verschiedene Log-Monitoring Lösungen im Einsatz Log4u Eigenentwicklung (2011)
für alle Web-Portale/Linux WebSeal Log Auswertung Eigenentwicklung etc… § Einheitliches Log-Monitoring über alle Plattformen (Windows/Linux/zOS/VMware/Docker) fehlt derzeit § Log-Monitoring Lösungen sind jeweils unterschiedlich in das übergreifende IT-Monitoring integriert § Umfangreiche Datenanalyse aller Log-Informationen ist nicht ohne größeren Aufwand möglich 22.11.2016 Fantastic, Bombastic, Elastic... IST-Situation 8 -
22.11.2016 Fantastic, Bombastic, Elastic... Beispiel: Log4U Log4u-Portal (JBoss) rv24 (JBoss)
portalxyz.ear /log logagent.war /apps/l4u/ /rv24 /ruv.de http/https log4u.ear logagent.war Zentrales Portal für Logging Portale Filesystem 9 -
22.11.2016 Fantastic, Bombastic, Elastic... Beispiel: Log4U Log4u-Portal (JBoss) rv24 (JBoss)
portalxyz.ear /log logagent.war /apps/l4u/ /rv24 /ruv.de http/https log4u.ear logagent.war Zentrales Portal für Logging Portale Filesystem Übertragung von Log Daten in Sekunden- Intervall (push) 10 -
22.11.2016 Fantastic, Bombastic, Elastic... Beispiel: Log4U Log4u-Portal (JBoss) rv24 (JBoss)
portalxyz.ear /log logagent.war /apps/l4u/ /rv24 /ruv.de http/https log4u.ear logagent.war Zentrales Portal für Logging Portale Filesystem Verarbeitung und Visualisierung 11 -
22.11.2016 Fantastic, Bombastic, Elastic... Beispiel: Log4U Log4u-Portal (JBoss) rv24 (JBoss)
portalxyz.ear /log logagent.war /apps/l4u/ /rv24 /ruv.de http/https log4u.ear logagent.war Zentrales Portal für Logging Portale Filesystem Kompremier-ung von Log-Daten 12 -
22.11.2016 Fantastic, Bombastic, Elastic... Log-Monitoring/Elastic 2.3.x Funktion: Indexer Funktion: Forwarder
Funktion: Filebeat Hinweis: zukünftige Elastic Architektur (>= 5.0) wird beeinflußt durch Ingest-Node und die Möglichkeit Filebeat direkt zu koppeln mit 14 -
§ 6 Kundeanforderungen bzgl. des Log-Monitorings mit Elasticsearch On-Premises
Cloud: Monitoring der Docker-Container, um die Ver-fügbarkeit und Performance der On-Premises Cloud und PaaS Kom-ponenten sicherzustellen WebSecurity: Monitoring der WebSeal Appliance, hinsichtlich Last-verhalten und Traffic- Analyse Identity-Management: Monitoring des Identity-Management Systems Enterprise Service Bus: Monitoring und Near Real Time Tracking der Enterprise Service-Aufrufe Host Logging: Monitoring aller CICS Transaktionsaufrufe Application Management: Übergreifendes Monitoring aller Portale 22.11.2016 Fantastic, Bombastic, Elastic... Anforderungen 15 -
§ Elastic Stack ersetzt proprietären Lösungen § Generische Lösung für
multiple Use-Cases Wildcard-Suche & Kundenselektion Log-Monitoring Business-Intelligence etc… § Flexible und skalierbare Plattform § Resiliente Lösung durch Sharding und Replikationen § Verteilte Arbeitsteiligkeit (Divide & Conquer) durch RESTful-Interfaces § Plattformübergreifende Lösung zur Log-Datenanalyse 22.11.2016 Fantastic, Bombastic, Elastic... Nutzen Fantastic! 16 -
§ Produktivnahme des Elastic Stacks für das Log-Monitoring § Integration
in den übergreifenden Monitoring-Stack § Umsetzung der bestehenden Kundenanforderungen § Verprobung von Elasticsearch für den Bereich Config-Management § Verprobung von Prelert § Verprobung aller weiteren Funktionen (Graph, Reporting, verschied. Beats, Watcher etc…) § Schnellstmöglicher Upgrade auf Elastic 5.x 22.11.2016 Fantastic, Bombastic, Elastic... Ausblick 19 -
22.11.2016 Fantastic, Bombastic, Elastic... Predictive Analysis WebSEAL Response Time Anomaly:
actual: 15398300000000 typical: 112567000000 22 -
§ R+V CONNECT: Vertriebssystem für den Außendienst Mobile Anbindung
Zentrale Datenhaltung aller Daten § Hier im Fokus: Durchführung von Selektionen Anfrage unter Berücksichtigung des Bestandes des Anwenders Individuelle Festlegung von Filterkriterien auf Attributen zum Partner, zum Vertrag sowie zu den Akquisedaten (ca. 150 Attribute stehen zur Auswahl) Bereitstellung einer Wildcard-Suche auf Partner Anfrage unter Berücksichtigung des Bestandes des Anwenders 22.11.2016 Fantastic, Bombastic, Elastic... Anforderungen 24 -
§ Gesucht wurde Eine Lösung, die eine performante Umsetzung
der Suchanfragen ermöglicht § Durchführung eines Proof of Concepts mit mehreren Alternativen § Entscheidung für: Elasticsearch in Kombination mit Apache Spark für den Datenaufbau 22.11.2016 Fantastic, Bombastic, Elastic... Anforderungen 26 -
22.11.2016 Fantastic, Bombastic, Elastic... Grobarchitektur und Einbindung Data Services Near
Realtime Aktualisierung Komplett- aufbau R+V Connect Host- Backend Datastore 27 -
§ Strukturiertes Datenschema Schemadefinition mit festen Datentypen und Denormalisierung
§ Ein Dokument enthält die notwendigen Partnerdaten Über Schachtelung (“Nested Objects”) werden die Fachobjekte Adressen, Verträge, Angebote usw. eingebunden § Ca. 20 Mio. Partner-Dokumente 22.11.2016 Fantastic, Bombastic, Elastic... Datenhaltung Dokument Partner Vertrag (Nested Object) Adresse (Nested Object) Angebot (Nested Object) 28 -
§ Anfragen an Elasticsearch werden Dynamisch aus den gewählten
Selektionskriterien des Anwenders im Data Service aufgebaut Gesamtstruktur über geschachtelte Bool-Filter – damit lässt sich auch die Nicht-Existenz von Fachobjekten elegant abfragen § Nach dem täglichen Komplettaufbau: Alias-Kommando zum unterbrechungsfreien Umschalten auf den neu aufgebauten Index 22.11.2016 Fantastic, Bombastic, Elastic... Datenzugriff 29 -
22.11.2016 Fantastic, Bombastic, Elastic... Suchanfrage … "bool": {"filter": { "must":
[ "range": {"alter": {"from": 22, "to": 55}, "terms": {"agenturen": ["12345","23456"]}, "nested": { "query": {"bool": { "must": [ {"term": {"vertraege.sparte": "KFZ"}}, {"term": {"vertraege.vollkasko": true}]}}, "path": "vertraege" }}], "must_not" :[ {"nested": {"query": {"bool": { "must": [ {"term": {"vertraege.sparte": "Unfall"}}]… Filterung auf Kunden … mit KFZ- Vertrag… ohne Unfall- vertrag 30 -
§ Komplettaufbau mit Apache Spark Täglicher Aufbau für eine
aktuelle Datenbereitstellung Komplexe Transformation der Quelldaten (ca. 15 Tabellen, als csv-Dateien bereitgestellt) § Einsatz Elasticsearch for Apache Hadoop-Konnektor § Mit Apache Spark Performant High-Level Operatoren ermöglichen eine schlanke und intuitive Programmierung der Datentransformation § Near Realtime Aktualisierung Nächste Stufe … 22.11.2016 Fantastic, Bombastic, Elastic... Datenbewirtschaftung 31 -
§ Lessons Learned Die Anforderungen an die Laufzeiten wurden
übertroffen § Anfragen an Elasticsearch § Komplettaufbau der Indexstrukturen über Apache Spark Start Small § Systemarchitektur und Fachliche Anforderungenüber Nicht zu unterschätzen: Betriebssicherheit, Monitoring oder Releasewechsel, denn: Die Cluster Elasticsearch und Apache Spark sind voll in die Anwendungslandschaft integriert § Ausblick Near Realtime-Aktualisierung der Indizes im Elasticsearch Der Appetit wird größer … 22.11.2016 Fantastic, Bombastic, Elastic... Lessons Learned & Ausblick Bombastic! 32 -
§ Der Elastic Stack konnte innerhalb küzester Zeit im Unternehmen
bereitgestellt werden § Der Elastic Stack erfüllt optimal unsere Anforderungen hinsichtlich: Wildcardsuche und Kundenselektionen Log-Monitoring § Der Elastic Stack erfüllt unsere Anforderungen hinsichtlich Ausfall- sicherheit und Wartbarkeit (7x24) => Muss sich in der Praxis noch unter Beweis stellen ;) § Der einfache Zugang zu dieser Technologie begeistert Kollegen und steigert die Akzeptanz innheralb des Unternehmens 22.11.2016 Fantastic, Bombastic, Elastic... Schlussfolgerung 34