Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Umsetzung von BI-Lösungen mit Unterstützung ein...
Search
exensio
March 05, 2015
Technology
1
440
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch
exensio
March 05, 2015
Tweet
Share
More Decks by exensio
See All by exensio
Spock und Geb: Übersichtlich und nachvollzierbar Testen für alle!
exensio
1
130
Die Suche macht den Unterschied
exensio
1
480
Spock und Geb: Übersichtliche und nachvollziehbare Tests!
exensio
2
1.2k
"Das Leben ist zu kurz, um schlechten Wein zu trinken" - Wettbewerbsbeobachtung im Online-Handel
exensio
0
110
Suchgetriebene Anwendungen mit Elasticsearch und Solr
exensio
1
150
Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle!
exensio
2
490
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
exensio
1
410
Ist Big-Data-Technologie auch bei kleinen Datenmengen sinnvoll einsetzbar?
exensio
0
430
Elasticsearch und IoT
exensio
1
770
Other Decks in Technology
See All in Technology
DatabricksにOLTPデータベース『Lakebase』がやってきた!
inoutk
0
150
Rethinking Incident Response: Context-Aware AI in Practice
rrreeeyyy
1
230
AI エージェントと考え直すデータ基盤
na0
17
6.8k
20250708オープンエンドな探索と知識発見
sakana_ai
PRO
2
480
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
220
全部AI、全員Cursor、ドキュメント駆動開発 〜DevinやGeminiも添えて〜
rinchsan
0
190
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
360
推し書籍📚 / Books and a QA Engineer
ak1210
0
120
AWS CDKの仕組み / how-aws-cdk-works
gotok365
10
720
ゼロからはじめる採用広報
yutadayo
3
1k
SEQUENCE object comparison - db tech showcase 2025 LT2
nori_shinoda
0
260
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
600
Featured
See All Featured
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
320
Facilitating Awesome Meetings
lara
54
6.4k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Building an army of robots
kneath
306
45k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Writing Fast Ruby
sferik
628
62k
Why Our Code Smells
bkeepers
PRO
336
57k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Designing for Performance
lara
610
69k
Transcript
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open
Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen
3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche
Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache
Geo-Suche Logfile-Analyse Analytics Suchmaschinen
5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau
Struktur Suchmaschinen
6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open
Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug
document 1 1 2 3 4 Replica: 0 Replica: 0
8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl
• Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
11 Aggregationen für Analysen Elasticsearch
12 Aggregationen für Analysen Elasticsearch
13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit
ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing
Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:
Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte
von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma
18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
20 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
21 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
22 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma
24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma
25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.
über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near
Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft