Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag TDWI Roundtable Stuttgart

Transcript

1. Umsetzung von BI-Lösungen mit
   Unterstützung einer Suchmaschine
   TDWI Stuttgart
   15.04.2015
   Tobias Kraft, exensio GmbH
   

   View Slide

2. 2
   Elasticsearch
   BI-Stack mit Elasticsearch
   Use Cases Pharmabranche
   Suchmaschinen
   

   View Slide

3. 3
   Funktionen einer Suche
   Blätterung Sortierung
   Facettierung
   Unstrukturierte Suche
   Strukturierte Suche
   Highlighting
   Autocomplete
   Did you mean Synonyme
   

   View Slide

4. 4
   Für Suchmaschinen gibt es viele Einsatzszenarien
   Volltextsuche
   Speicher
   Cache
   Geo-Suche
   Logfile-Analyse
   Analytics
   

   View Slide

5. 5
   Speichern von Daten in einer Suchmaschine
   Document Analyzing Aufbau
   Struktur
   

   View Slide

6. 6
   Near Realtime
   http://www.morguefile.com/archive/display/196583
   ● Inkrementell Indexieren
   ● Änderungen auch im Cluster schnell verfügbar
   ● Onlineabfragen für Facetting / Aggregationen
   

   View Slide

7. 7
   Elasticsearch
   BI-Stack mit Elasticsearch
   Use Cases Pharmabranche
   Suchmaschinen
   

   View Slide

8. 8
   Elasticsearch im Überblick
   ● Suchmaschine unter Apache 2 Open Source License
   ● Erstes Release 2010
   ● Firma hinter Elasticsearch:
   ● Basiert auf Java
   ● Basiert auf Lucene
   ● JSON-API
   ● Schemalos
   ● Plugins
   ● Runterladen und loslegen
   ● Im Trend
   

   View Slide

9. 9
   Große Datenmengen über Shards verwalten
   Node 1
   otcdrug
   document
   1
   1 2
   3 4
   Replica: 0
   Replica: 0
   

   View Slide

10. 10
    Node 1
    otcdrug
    document
    Node 2
    otcdrug
    document
    1
    1 2
    3
    1‘
    4
    Replica: 1
    Replica: 0
    Neuer Knoten im Cluster
    Große Datenmengen über Shards verwalten
    

    View Slide

11. 11
    Node 1
    otcdrug
    document
    Node 2
    otcdrug
    document
    Node 3
    otcdrug
    document
    1
    1 2
    3
    1‘
    4
    1‘ 2‘
    3‘
    Replica: 1
    Replica: 1
    4‘
    Neuer Knoten im Cluster
    Große Datenmengen über Shards verwalten
    

    View Slide

12. 12
    Aggregationen - Buckets und Metrics
    Metrics
    ● Anzahl
    ● Summe
    ● Min / Max / Average
    ● Varianz
    ● Perzentile
    Buckets
    ● Terme
    ● Ranges
    ● Histogramme
    ● Geo-Distanz
    http://mrg.bz/Nn57cJ
    http://mrg.bz/lQNZFq
    

    View Slide

13. 13
    Aggregationen für Analysen
    

    View Slide

14. 14
    Aggregationen für Analysen
    

    View Slide

15. 15
    Elasticsearch
    BI-Stack mit Elasticsearch
    Use Cases Pharmabranche
    Suchmaschinen
    

    View Slide

16. 16
    BI mit Elasticsearch
    Eigene Loader mit
    ES-Client (Bsp. SpringBoot)
    Implementierungen für
    • JDBC
    • CSV
    • …
    Logstash
    Eigene Visualisierung
    Analyse
    ETL Speicherung / Berechnungen
    

    View Slide

17. 17
    ELK-Stack (Logstash, Elasticsearch, Kibana)
    Eigene Loader mit
    ES-Client (Bsp. SpringBoot)
    Implementierungen für
    • JDBC
    • CSV
    • …
    Eigene Visualisierung
    Analyse
    ETL Speicherung / Berechnungen
    Logstash
    Shield für Security
    

    View Slide

18. 18
    Datentransport mit Logstash
    ● Event Processing Engine
    ● Optimiert für Log-Dateien
    ● Pipeline-Prinzip
    ● Input (50+)
    ● Filter (60+)
    ● Output (75+)
    input filter output
    date{…}
    elasticsearch
    rename{…}
    grok{…}
    file
    

    View Slide

19. 19
    Visualisierungen mit Kibana
    ● Aktuelles Release: Kibana 4.0.2
    ● Browserbasierte Visualisierung von Daten
    ● Abfragen über JSON an ES
    ● Aufbereitung über
    ● Discover
    ● Visualize
    ● Dashboards
    

    View Slide

20. 20
    Eigene Analyse-Komponenten sind einfach zu erstellen
    Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript
    

    View Slide

21. 21
    Eigene Analyse-Komponenten sind einfach zu erstellen
    Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript
    Abfrage und Datenhaltung
    Innensensor u. Erfassung
    Knoten 1
    Knoten 2
    Innensensor u. Erfassung
    Innensensor u. Erfassung
    Innensensor u. Erfassung
    Dashboard
    Außen-Wetterstation
    

    View Slide

22. 22
    Elasticsearch
    BI-Stack mit Elasticsearch
    Use Cases Pharmabranche
    Suchmaschinen
    

    View Slide

23. 23
    Marktanalysen Pharmamarkt – Starschema
    

    View Slide

24. 24
    Marktanalysen Pharmamarkt – Suchmaschine
    

    View Slide

25. 25
    Marktanalysen Pharmamarkt – Suchmaschine
    

    View Slide

26. 26
    DrillDown des SellIn von Firma, Business Unit und Linie
    

    View Slide

27. 27
    DrillDown des SellIn von Firma, Business Unit und Linie
    

    View Slide

28. 28
    DrillDown des SellIn von Firma, Business Unit und Linie
    

    View Slide

29. 29
    Donat-Diagramm für SellIn auf BU-und Linien-Ebene
    

    View Slide

30. 30
    Visualisierung von Aggregationen mit einer Tabelle
    

    View Slide

31. 31
    Competitive Intelligence als weiteres Einsatzszenario
    Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine
    eindeutige ID wie EAN Code vorhanden ist
    

    View Slide

32. 32
    Fazit
    ● Aggregationen ersetzen Dimensionen
    im Star-Schema
    ● Near Realtime
    ● Leichtgewichtig
    ● Kostengünstige Alternative
    ● Einfach zu integrieren und erweitern
    ● Kombinierbar mit Vorteilen von
    Suchmaschinen
    ● Matching
    ● Unstrukturierte Daten
    

    View Slide

33. Partner:
    Fragen?
    Vielen Dank!
    http://blog.exensio.de
    @tokraft
    tobias.kraft@exensio.de
    

    View Slide