Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag TDWI Roundtable Stuttgart

Transcript

1. Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine TDWI Stuttgart 15.04.2015 Tobias Kraft, exensio GmbH
2. 2 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen
3. 3 Funktionen einer Suche Blätterung Sortierung Facettierung Unstrukturierte Suche Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4. 4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache Geo-Suche Logfile-Analyse Analytics
5. 5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau Struktur
6. 6 Near Realtime http://www.morguefile.com/archive/display/196583 • Inkrementell Indexieren • Änderungen auch im Cluster schnell verfügbar • Onlineabfragen für Facetting / Aggregationen
7. 7 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen
8. 8 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open Source License • Erstes Release 2010 • Firma hinter Elasticsearch: • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend
9. 9 Große Datenmengen über Shards verwalten Node 1 otcdrug document 1 1 2 3 4 Replica: 0 Replica: 0
10. 10 Node 1 otcdrug document Node 2 otcdrug document 1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
11. 11 Node 1 otcdrug document Node 2 otcdrug document Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 1 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
12. 12 Aggregationen - Buckets und Metrics Metrics • Anzahl • Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histogramme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
13. 13 Aggregationen für Analysen
14. 14 Aggregationen für Analysen
15. 15 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen
16. 16 BI mit Elasticsearch Eigene Loader mit ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
17. 17 ELK-Stack (Logstash, Elasticsearch, Kibana) Eigene Loader mit ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Eigene Visualisierung Analyse ETL Speicherung / Berechnungen Logstash Shield für Security
18. 18 Datentransport mit Logstash • Event Processing Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
19. 19 Visualisierungen mit Kibana • Aktuelles Release: Kibana 4.0.2 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
20. 20 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript
21. 21 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript Abfrage und Datenhaltung Innensensor u. Erfassung Knoten 1 Knoten 2 Innensensor u. Erfassung Innensensor u. Erfassung Innensensor u. Erfassung Dashboard Außen-Wetterstation
22. 22 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen
23. 23 Marktanalysen Pharmamarkt – Starschema
24. 24 Marktanalysen Pharmamarkt – Suchmaschine
25. 25 Marktanalysen Pharmamarkt – Suchmaschine
26. 26 DrillDown des SellIn von Firma, Business Unit und Linie
27. 27 DrillDown des SellIn von Firma, Business Unit und Linie
28. 28 DrillDown des SellIn von Firma, Business Unit und Linie
29. 29 Donat-Diagramm für SellIn auf BU-und Linien-Ebene
30. 30 Visualisierung von Aggregationen mit einer Tabelle
31. 31 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
32. 32 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
33. Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft tobias.kraft@exensio.de