Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

7de95d7db80b3f52975ec0a245eaad14?s=47 exensio
April 15, 2015

Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

Vortrag TDWI Roundtable Stuttgart

7de95d7db80b3f52975ec0a245eaad14?s=128

exensio

April 15, 2015
Tweet

Transcript

  1. Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine TDWI Stuttgart 15.04.2015

    Tobias Kraft, exensio GmbH
  2. 2 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen

  3. 3 Funktionen einer Suche Blätterung Sortierung Facettierung Unstrukturierte Suche Strukturierte

    Suche Highlighting Autocomplete Did you mean Synonyme
  4. 4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache

    Geo-Suche Logfile-Analyse Analytics
  5. 5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau

    Struktur
  6. 6 Near Realtime http://www.morguefile.com/archive/display/196583 • Inkrementell Indexieren • Änderungen auch

    im Cluster schnell verfügbar • Onlineabfragen für Facetting / Aggregationen
  7. 7 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen

  8. 8 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open

    Source License • Erstes Release 2010 • Firma hinter Elasticsearch: • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend
  9. 9 Große Datenmengen über Shards verwalten Node 1 otcdrug document

    1 1 2 3 4 Replica: 0 Replica: 0
  10. 10 Node 1 otcdrug document Node 2 otcdrug document 1

    1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
  11. 11 Node 1 otcdrug document Node 2 otcdrug document Node

    3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 1 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
  12. 12 Aggregationen - Buckets und Metrics Metrics • Anzahl •

    Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histogramme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
  13. 13 Aggregationen für Analysen

  14. 14 Aggregationen für Analysen

  15. 15 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen

  16. 16 BI mit Elasticsearch Eigene Loader mit ES-Client (Bsp. SpringBoot)

    Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
  17. 17 ELK-Stack (Logstash, Elasticsearch, Kibana) Eigene Loader mit ES-Client (Bsp.

    SpringBoot) Implementierungen für • JDBC • CSV • … Eigene Visualisierung Analyse ETL Speicherung / Berechnungen Logstash Shield für Security
  18. 18 Datentransport mit Logstash • Event Processing Engine • Optimiert

    für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
  19. 19 Visualisierungen mit Kibana • Aktuelles Release: Kibana 4.0.2 •

    Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
  20. 20 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte

    von ES auf Basis von JavaScript
  21. 21 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte

    von ES auf Basis von JavaScript Abfrage und Datenhaltung Innensensor u. Erfassung Knoten 1 Knoten 2 Innensensor u. Erfassung Innensensor u. Erfassung Innensensor u. Erfassung Dashboard Außen-Wetterstation
  22. 22 Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche Suchmaschinen

  23. 23 Marktanalysen Pharmamarkt – Starschema

  24. 24 Marktanalysen Pharmamarkt – Suchmaschine

  25. 25 Marktanalysen Pharmamarkt – Suchmaschine

  26. 26 DrillDown des SellIn von Firma, Business Unit und Linie

  27. 27 DrillDown des SellIn von Firma, Business Unit und Linie

  28. 28 DrillDown des SellIn von Firma, Business Unit und Linie

  29. 29 Donat-Diagramm für SellIn auf BU-und Linien-Ebene

  30. 30 Visualisierung von Aggregationen mit einer Tabelle

  31. 31 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.

    über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
  32. 32 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near

    Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
  33. Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft tobias.kraft@exensio.de