Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Umsetzung von BI-Lösungen mit Unterstützung ein...
Search
exensio
March 05, 2015
Technology
1
450
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch
exensio
March 05, 2015
Tweet
Share
More Decks by exensio
See All by exensio
Spock und Geb: Übersichtlich und nachvollzierbar Testen für alle!
exensio
1
140
Die Suche macht den Unterschied
exensio
1
480
Spock und Geb: Übersichtliche und nachvollziehbare Tests!
exensio
2
1.2k
"Das Leben ist zu kurz, um schlechten Wein zu trinken" - Wettbewerbsbeobachtung im Online-Handel
exensio
0
110
Suchgetriebene Anwendungen mit Elasticsearch und Solr
exensio
1
160
Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle!
exensio
2
490
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
exensio
1
410
Ist Big-Data-Technologie auch bei kleinen Datenmengen sinnvoll einsetzbar?
exensio
0
440
Elasticsearch und IoT
exensio
1
770
Other Decks in Technology
See All in Technology
DataOpsNight#8_Terragruntを用いたスケーラブルなSnowflakeインフラ管理
roki18d
1
320
Pure Goで体験するWasmの未来
askua
1
170
定期的な価値提供だけじゃない、スクラムが導くチームの共創化 / 20251004 Naoki Takahashi
shift_evolve
PRO
3
280
Azure SynapseからAzure Databricksへ 移行してわかった新時代のコスト問題!?
databricksjapan
0
130
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
6
2k
C# 14 / .NET 10 の新機能 (RC 1 時点)
nenonaninu
1
1.5k
生成AIで「お客様の声」を ストーリーに変える 新潮流「Generative ETL」
ishikawa_satoru
1
290
【新卒研修資料】LLM・生成AI研修 / Large Language Model・Generative AI
brainpadpr
23
16k
Function calling機能をPLaMo2に実装するには / PFN LLMセミナー
pfn
PRO
0
870
「技術負債にならない・間違えない」 権限管理の設計と実装
naro143
35
11k
許しとアジャイル
jnuank
1
110
「AI駆動PO」を考えてみる - 作る速さから価値のスループットへ:検査・適応で未来を開発 / AI-driven product owner. scrummat2025
yosuke_nagai
3
530
Featured
See All Featured
Code Review Best Practice
trishagee
72
19k
Rails Girls Zürich Keynote
gr2m
95
14k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
How to Think Like a Performance Engineer
csswizardry
27
2k
Agile that works and the tools we love
rasmusluckow
331
21k
RailsConf 2023
tenderlove
30
1.2k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Typedesign – Prime Four
hannesfritz
42
2.8k
Transcript
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open
Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen
3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche
Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache
Geo-Suche Logfile-Analyse Analytics Suchmaschinen
5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau
Struktur Suchmaschinen
6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open
Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug
document 1 1 2 3 4 Replica: 0 Replica: 0
8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl
• Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
11 Aggregationen für Analysen Elasticsearch
12 Aggregationen für Analysen Elasticsearch
13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit
ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing
Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:
Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte
von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma
18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
20 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
21 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
22 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma
24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma
25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.
über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near
Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft