Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch

Transcript

1. Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
2. 2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen
3. 3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4. 4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache Geo-Suche Logfile-Analyse Analytics Suchmaschinen
5. 5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau Struktur Suchmaschinen
6. 6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
7. 7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug document 1 1 2 3 4 Replica: 0 Replica: 0
8. 8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document 1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
9. 9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
10. 10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl • Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
11. 11 Aggregationen für Analysen Elasticsearch
12. 12 Aggregationen für Analysen Elasticsearch
13. 13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
14. 14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
15. 15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release: Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
16. 16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
17. 17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma
18. 18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
19. 19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
20. 20 DrillDown des SellIn von Firma, Business Unit und Linie Umsätze Pharma
21. 21 DrillDown des SellIn von Firma, Business Unit und Linie Umsätze Pharma
22. 22 DrillDown des SellIn von Firma, Business Unit und Linie Umsätze Pharma
23. 23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma
24. 24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma
25. 25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
26. 26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
27. Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft