Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

exensio
March 05, 2015

Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch

exensio

March 05, 2015
Tweet

More Decks by exensio

Other Decks in Technology

Transcript

  1. Umsetzung von BI-Lösungen mit
    Unterstützung einer Suchmaschine
    6. Workshop Open Source Business Intelligence
    05.03.2015
    Tobias Kraft, exensio GmbH

    View Slide

  2. 2
    Agenda
    Elasticsearch
    BI-Stack mit Elasticsearch
    Umsätze Pharma
    Suchmaschinen

    View Slide

  3. 3
    Funktionen einer Suche
    Suchmaschinen
    Blätterung Sortierung
    Facettierung
    Unstrukturierte Suche
    Strukturierte Suche
    Highlighting
    Autocomplete
    Did you mean Synonyme

    View Slide

  4. 4
    Für Suchmaschinen gibt es viele Einsatzszenarien
    Volltextsuche
    Speicher
    Cache
    Geo-Suche
    Logfile-Analyse
    Analytics
    Suchmaschinen

    View Slide

  5. 5
    Speichern von Daten in einer Suchmaschine
    Document Analyzing Aufbau
    Struktur
    Suchmaschinen

    View Slide

  6. 6
    Elasticsearch im Überblick
    ● Suchmaschine unter Apache 2 Open Source License
    ● Erstes Release 2010
    ● Basiert auf Java
    ● Basiert auf Lucene
    ● JSON-API
    ● Schemalos
    ● Plugins
    ● Runterladen und loslegen
    ● Im Trend
    Elasticsearch

    View Slide

  7. 7
    Große Datenmengen über Shards verwalten
    Elasticsearch
    Node 1
    otcdrug
    document
    1
    1 2
    3 4
    Replica: 0
    Replica: 0

    View Slide

  8. 8
    Elasticsearch
    Node 1
    otcdrug
    document
    Node 2
    otcdrug
    document
    1
    1 2
    3
    1‘
    4
    Replica: 1
    Replica: 0
    Neuer Knoten im Cluster
    Große Datenmengen über Shards verwalten

    View Slide

  9. 9
    Elasticsearch
    Node 1
    otcdrug
    document
    Node 2
    otcdrug
    document
    Node 3
    otcdrug
    document
    1
    1 2
    3
    1‘
    4
    1‘ 2‘
    3‘
    Replica: 0
    Replica: 1
    4‘
    Neuer Knoten im Cluster
    Große Datenmengen über Shards verwalten

    View Slide

  10. 10
    Aggregationen - Buckets und Metrics
    Elasticsearch
    Metrics
    ● Anzahl
    ● Summe
    ● Min / Max / Average
    ● Varianz
    ● Perzentile
    Buckets
    ● Terme
    ● Ranges
    ● Histograme
    ● Geo-Distanz
    http://mrg.bz/Nn57cJ
    http://mrg.bz/lQNZFq

    View Slide

  11. 11
    Aggregationen für Analysen
    Elasticsearch

    View Slide

  12. 12
    Aggregationen für Analysen
    Elasticsearch

    View Slide

  13. 13
    BI mit Elasticsearch
    BI-Stack mit Elasticsearch
    Eigene Loader mit
    ES-Client (Bsp. SpringBoot)
    Implementierungen für
    • JDBC
    • CSV
    • …
    Logstash
    Eigene Visualisierung
    Analyse
    ETL Speicherung / Berechnungen

    View Slide

  14. 14
    Datentransport mit Logstash
    BI-Stack mit Elasticsearch
    ● Event Processing Engine
    ● Optimiert für Log-Dateien
    ● Pipeline-Prinzip
    ● Input (50+)
    ● Filter (60+)
    ● Output (75+)
    input filter output
    date{…}
    elasticsearch
    rename{…}
    grok{…}
    file

    View Slide

  15. 15
    Visualisierungen mit Kibana
    BI-Stack mit Elasticsearch
    ● Aktuelles Release: Kibana 4
    ● Browserbasierte Visualisierung von Daten
    ● Abfragen über JSON an ES
    ● Aufbereitung über
    ● Discover
    ● Visualize
    ● Dashboards

    View Slide

  16. 16
    Eigene Analyse-Komponenten sind einfach zu erstellen
    Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript
    BI-Stack mit Elasticsearch

    View Slide

  17. 17
    Marktanalysen Pharmamarkt – Starschema
    Umsätze Pharma

    View Slide

  18. 18
    Marktanalysen Pharmamarkt – Suchmaschine
    Umsätze Pharma

    View Slide

  19. 19
    Marktanalysen Pharmamarkt – Suchmaschine
    Umsätze Pharma

    View Slide

  20. 20
    DrillDown des SellIn von Firma, Business Unit und Linie
    Umsätze Pharma

    View Slide

  21. 21
    DrillDown des SellIn von Firma, Business Unit und Linie
    Umsätze Pharma

    View Slide

  22. 22
    DrillDown des SellIn von Firma, Business Unit und Linie
    Umsätze Pharma

    View Slide

  23. 23
    Donat-Diagramm für SellIn auf BU-und Linien-Ebene
    Umsätze Pharma

    View Slide

  24. 24
    Visualisierung von Aggregationen mit einer Tabelle
    Umsätze Pharma

    View Slide

  25. 25
    Competitive Intelligence als weiteres Einsatzszenario
    Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine
    eindeutige ID wie EAN Code vorhanden ist

    View Slide

  26. 26
    Fazit
    ● Aggregationen ersetzen Dimensionen
    im Star-Schema
    ● Near Realtime
    ● Leichtgewichtig
    ● Kostengünstige Alternative
    ● Einfach zu integrieren und erweitern
    ● Kombinierbar mit Vorteilen von
    Suchmaschinen
    ● Matching
    ● Unstrukturierte Daten

    View Slide

  27. Partner:
    Fragen?
    Vielen Dank!
    http://blog.exensio.de
    @tokraft

    View Slide