Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Search
exensio
March 05, 2015
Technology
1
430
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch
exensio
March 05, 2015
Tweet
Share
More Decks by exensio
See All by exensio
Spock und Geb: Übersichtlich und nachvollzierbar Testen für alle!
exensio
1
98
Die Suche macht den Unterschied
exensio
1
450
Spock und Geb: Übersichtliche und nachvollziehbare Tests!
exensio
2
1.1k
"Das Leben ist zu kurz, um schlechten Wein zu trinken" - Wettbewerbsbeobachtung im Online-Handel
exensio
0
87
Suchgetriebene Anwendungen mit Elasticsearch und Solr
exensio
1
110
Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle!
exensio
2
450
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
exensio
1
380
Ist Big-Data-Technologie auch bei kleinen Datenmengen sinnvoll einsetzbar?
exensio
0
400
Elasticsearch und IoT
exensio
1
760
Other Decks in Technology
See All in Technology
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
160
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
セキュリティ研修 Day1【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
280
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
190
エンジニア向け会社紹介資料
caddi_eng
14
230k
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
開発と事業を繋ぐ!SREのオブザーバビリティ戦略 ~ Developers Summit 2024 Summer ~
leveragestech
0
640
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
20240717_イケコパ代表Copilot_in_Teams会社でこう使ってます
ponponmikankan
2
430
Featured
See All Featured
Web development in the modern age
philhawksworth
203
10k
Fontdeck: Realign not Redesign
paulrobertlloyd
79
5.1k
Teambox: Starting and Learning
jrom
130
8.6k
Embracing the Ebb and Flow
colly
81
4.3k
The World Runs on Bad Software
bkeepers
PRO
63
11k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
A Modern Web Designer's Workflow
chriscoyier
689
190k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
105
6.8k
Speed Design
sergeychernyshev
9
270
Transcript
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open
Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen
3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche
Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache
Geo-Suche Logfile-Analyse Analytics Suchmaschinen
5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau
Struktur Suchmaschinen
6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open
Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug
document 1 1 2 3 4 Replica: 0 Replica: 0
8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl
• Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
11 Aggregationen für Analysen Elasticsearch
12 Aggregationen für Analysen Elasticsearch
13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit
ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing
Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:
Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte
von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma
18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
20 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
21 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
22 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma
24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma
25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.
über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near
Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft