Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Transcript

1. Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open

   Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH

2. 2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen

3. 3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche

   Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme

4. 4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache

   Geo-Suche Logfile-Analyse Analytics Suchmaschinen

5. 5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau

   Struktur Suchmaschinen

6. 6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open

   Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch

7. 7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug

   document 1 1 2 3 4 Replica: 0 Replica: 0

8. 8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document

   1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten

9. 9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document

   Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten

10. 10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl

    • Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq

11. 11 Aggregationen für Analysen Elasticsearch

12. 12 Aggregationen für Analysen Elasticsearch

13. 13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit

    ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen

14. 14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing

    Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file

15. 15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:

    Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards

16. 16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte

    von ES auf Basis von JavaScript BI-Stack mit Elasticsearch

17. 17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma

18. 18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma

19. 19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma

20. 20 DrillDown des SellIn von Firma, Business Unit und Linie

    Umsätze Pharma

21. 21 DrillDown des SellIn von Firma, Business Unit und Linie

    Umsätze Pharma

22. 22 DrillDown des SellIn von Firma, Business Unit und Linie

    Umsätze Pharma

23. 23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma

24. 24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma

25. 25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.

    über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist

26. 26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near

    Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten

27. Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft