Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch

Transcript

1. Umsetzung von BI-Lösungen mit
   Unterstützung einer Suchmaschine
   6. Workshop Open Source Business Intelligence
   05.03.2015
   Tobias Kraft, exensio GmbH
   

   View Slide

2. 2
   Agenda
   Elasticsearch
   BI-Stack mit Elasticsearch
   Umsätze Pharma
   Suchmaschinen
   

   View Slide

3. 3
   Funktionen einer Suche
   Suchmaschinen
   Blätterung Sortierung
   Facettierung
   Unstrukturierte Suche
   Strukturierte Suche
   Highlighting
   Autocomplete
   Did you mean Synonyme
   

   View Slide

4. 4
   Für Suchmaschinen gibt es viele Einsatzszenarien
   Volltextsuche
   Speicher
   Cache
   Geo-Suche
   Logfile-Analyse
   Analytics
   Suchmaschinen
   

   View Slide

5. 5
   Speichern von Daten in einer Suchmaschine
   Document Analyzing Aufbau
   Struktur
   Suchmaschinen
   

   View Slide

6. 6
   Elasticsearch im Überblick
   ● Suchmaschine unter Apache 2 Open Source License
   ● Erstes Release 2010
   ● Basiert auf Java
   ● Basiert auf Lucene
   ● JSON-API
   ● Schemalos
   ● Plugins
   ● Runterladen und loslegen
   ● Im Trend
   Elasticsearch
   

   View Slide

7. 7
   Große Datenmengen über Shards verwalten
   Elasticsearch
   Node 1
   otcdrug
   document
   1
   1 2
   3 4
   Replica: 0
   Replica: 0
   

   View Slide

8. 8
   Elasticsearch
   Node 1
   otcdrug
   document
   Node 2
   otcdrug
   document
   1
   1 2
   3
   1‘
   4
   Replica: 1
   Replica: 0
   Neuer Knoten im Cluster
   Große Datenmengen über Shards verwalten
   

   View Slide

9. 9
   Elasticsearch
   Node 1
   otcdrug
   document
   Node 2
   otcdrug
   document
   Node 3
   otcdrug
   document
   1
   1 2
   3
   1‘
   4
   1‘ 2‘
   3‘
   Replica: 0
   Replica: 1
   4‘
   Neuer Knoten im Cluster
   Große Datenmengen über Shards verwalten
   

   View Slide

10. 10
    Aggregationen - Buckets und Metrics
    Elasticsearch
    Metrics
    ● Anzahl
    ● Summe
    ● Min / Max / Average
    ● Varianz
    ● Perzentile
    Buckets
    ● Terme
    ● Ranges
    ● Histograme
    ● Geo-Distanz
    http://mrg.bz/Nn57cJ
    http://mrg.bz/lQNZFq
    

    View Slide

11. 11
    Aggregationen für Analysen
    Elasticsearch
    

    View Slide

12. 12
    Aggregationen für Analysen
    Elasticsearch
    

    View Slide

13. 13
    BI mit Elasticsearch
    BI-Stack mit Elasticsearch
    Eigene Loader mit
    ES-Client (Bsp. SpringBoot)
    Implementierungen für
    • JDBC
    • CSV
    • …
    Logstash
    Eigene Visualisierung
    Analyse
    ETL Speicherung / Berechnungen
    

    View Slide

14. 14
    Datentransport mit Logstash
    BI-Stack mit Elasticsearch
    ● Event Processing Engine
    ● Optimiert für Log-Dateien
    ● Pipeline-Prinzip
    ● Input (50+)
    ● Filter (60+)
    ● Output (75+)
    input filter output
    date{…}
    elasticsearch
    rename{…}
    grok{…}
    file
    

    View Slide

15. 15
    Visualisierungen mit Kibana
    BI-Stack mit Elasticsearch
    ● Aktuelles Release: Kibana 4
    ● Browserbasierte Visualisierung von Daten
    ● Abfragen über JSON an ES
    ● Aufbereitung über
    ● Discover
    ● Visualize
    ● Dashboards
    

    View Slide

16. 16
    Eigene Analyse-Komponenten sind einfach zu erstellen
    Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript
    BI-Stack mit Elasticsearch
    

    View Slide

17. 17
    Marktanalysen Pharmamarkt – Starschema
    Umsätze Pharma
    

    View Slide

18. 18
    Marktanalysen Pharmamarkt – Suchmaschine
    Umsätze Pharma
    

    View Slide

19. 19
    Marktanalysen Pharmamarkt – Suchmaschine
    Umsätze Pharma
    

    View Slide

20. 20
    DrillDown des SellIn von Firma, Business Unit und Linie
    Umsätze Pharma
    

    View Slide

21. 21
    DrillDown des SellIn von Firma, Business Unit und Linie
    Umsätze Pharma
    

    View Slide

22. 22
    DrillDown des SellIn von Firma, Business Unit und Linie
    Umsätze Pharma
    

    View Slide

23. 23
    Donat-Diagramm für SellIn auf BU-und Linien-Ebene
    Umsätze Pharma
    

    View Slide

24. 24
    Visualisierung von Aggregationen mit einer Tabelle
    Umsätze Pharma
    

    View Slide

25. 25
    Competitive Intelligence als weiteres Einsatzszenario
    Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine
    eindeutige ID wie EAN Code vorhanden ist
    

    View Slide

26. 26
    Fazit
    ● Aggregationen ersetzen Dimensionen
    im Star-Schema
    ● Near Realtime
    ● Leichtgewichtig
    ● Kostengünstige Alternative
    ● Einfach zu integrieren und erweitern
    ● Kombinierbar mit Vorteilen von
    Suchmaschinen
    ● Matching
    ● Unstrukturierte Daten
    

    View Slide

27. Partner:
    Fragen?
    Vielen Dank!
    http://blog.exensio.de
    @tokraft
    

    View Slide