Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Umsetzung von BI-Lösungen mit Unterstützung ein...
Search
exensio
March 05, 2015
Technology
1
450
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch
exensio
March 05, 2015
Tweet
Share
More Decks by exensio
See All by exensio
Spock und Geb: Übersichtlich und nachvollzierbar Testen für alle!
exensio
1
140
Die Suche macht den Unterschied
exensio
1
480
Spock und Geb: Übersichtliche und nachvollziehbare Tests!
exensio
2
1.2k
"Das Leben ist zu kurz, um schlechten Wein zu trinken" - Wettbewerbsbeobachtung im Online-Handel
exensio
0
110
Suchgetriebene Anwendungen mit Elasticsearch und Solr
exensio
1
160
Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle!
exensio
2
490
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
exensio
1
410
Ist Big-Data-Technologie auch bei kleinen Datenmengen sinnvoll einsetzbar?
exensio
0
440
Elasticsearch und IoT
exensio
1
770
Other Decks in Technology
See All in Technology
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
15
6.5k
2025年夏 コーディングエージェントを統べる者
nwiizo
0
140
250905 大吉祥寺.pm 2025 前夜祭 「プログラミングに出会って20年、『今』が1番楽しい」
msykd
PRO
1
640
AWSを利用する上で知っておきたい名前解決のはなし(10分版)
nagisa53
9
2.9k
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
290
クラウドセキュリティを支える技術と運用の最前線 / Cutting-edge Technologies and Operations Supporting Cloud Security
yuj1osm
2
310
2025年になってもまだMySQLが好き
yoku0825
8
4.5k
AI開発ツールCreateがAnythingになったよ
tendasato
0
120
Automating Web Accessibility Testing with AI Agents
maminami373
0
1.2k
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
260
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.7k
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
110
Featured
See All Featured
Practical Orchestrator
shlominoach
190
11k
For a Future-Friendly Web
brad_frost
180
9.9k
What's in a price? How to price your products and services
michaelherold
246
12k
Code Reviewing Like a Champion
maltzj
525
40k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Context Engineering - Making Every Token Count
addyosmani
1
23
Automating Front-end Workflow
addyosmani
1370
200k
Navigating Team Friction
lara
189
15k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open
Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen
3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche
Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache
Geo-Suche Logfile-Analyse Analytics Suchmaschinen
5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau
Struktur Suchmaschinen
6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open
Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug
document 1 1 2 3 4 Replica: 0 Replica: 0
8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl
• Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
11 Aggregationen für Analysen Elasticsearch
12 Aggregationen für Analysen Elasticsearch
13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit
ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing
Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:
Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte
von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma
18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
20 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
21 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
22 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma
24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma
25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.
über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near
Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft