Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

7de95d7db80b3f52975ec0a245eaad14?s=47 exensio
March 05, 2015

Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch

7de95d7db80b3f52975ec0a245eaad14?s=128

exensio

March 05, 2015
Tweet

Transcript

  1. Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open

    Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
  2. 2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen

  3. 3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche

    Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
  4. 4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache

    Geo-Suche Logfile-Analyse Analytics Suchmaschinen
  5. 5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau

    Struktur Suchmaschinen
  6. 6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open

    Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
  7. 7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug

    document 1 1 2 3 4 Replica: 0 Replica: 0
  8. 8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document

    1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
  9. 9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document

    Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
  10. 10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl

    • Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
  11. 11 Aggregationen für Analysen Elasticsearch

  12. 12 Aggregationen für Analysen Elasticsearch

  13. 13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit

    ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
  14. 14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing

    Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
  15. 15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:

    Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
  16. 16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte

    von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
  17. 17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma

  18. 18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma

  19. 19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma

  20. 20 DrillDown des SellIn von Firma, Business Unit und Linie

    Umsätze Pharma
  21. 21 DrillDown des SellIn von Firma, Business Unit und Linie

    Umsätze Pharma
  22. 22 DrillDown des SellIn von Firma, Business Unit und Linie

    Umsätze Pharma
  23. 23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma

  24. 24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma

  25. 25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.

    über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
  26. 26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near

    Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
  27. Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft