Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Search
exensio
March 05, 2015
Technology
1
420
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
Vortrag beim 6. Workshop Open Source Business Intelligence
auf Basis von Elasticsearch
exensio
March 05, 2015
Tweet
Share
More Decks by exensio
See All by exensio
Spock und Geb: Übersichtlich und nachvollzierbar Testen für alle!
exensio
1
88
Die Suche macht den Unterschied
exensio
1
440
Spock und Geb: Übersichtliche und nachvollziehbare Tests!
exensio
2
1.1k
"Das Leben ist zu kurz, um schlechten Wein zu trinken" - Wettbewerbsbeobachtung im Online-Handel
exensio
0
82
Suchgetriebene Anwendungen mit Elasticsearch und Solr
exensio
1
100
Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle!
exensio
2
430
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine
exensio
1
360
Ist Big-Data-Technologie auch bei kleinen Datenmengen sinnvoll einsetzbar?
exensio
0
400
Elasticsearch und IoT
exensio
1
760
Other Decks in Technology
See All in Technology
WebアプリケーションにおけるPDOの使い方入門 / phpcon odawara 2024
meihei3
2
430
OpenTelemetry を使ったトレースエグザンプラーの活用 / otel-trace-exemplar
k6s4i53rx
2
640
o11y入門_外形監視を利用したWebアプリケーションへの最適なモニタリング_TechBrew
k5k
3
100
なぜ NOT A HOTEL が Web3 に取り組むのか - NOT A HOTEL TECH TALK
ynunokawa
0
160
プロデザ! BY リクルート vol.18_リクルートのリサーチ実践組織「リサーチブーストコミュニティ」
recruitengineers
PRO
3
240
HEXA OSINT CTF V3 作戦会議
meow_noisy
0
110
少数チームで挑む: SwiftUI, TCA, KMPを用いた 新規動画配信アプリ 「ABEMA Live」の開発について
tomu28
0
540
入社後初めてのタスクでk8sアップグレードした話.pdf
kkato1
1
380
コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える / Scalable and Secure Infrastructure as Code Pipeline for a Compound Startup
yuyatakeyama
3
2.4k
Vertex AI を中心に 生成AIのアップデートを共有します
kaz1437
0
140
コンテナセキュリティの基本と脅威への対策
kyohmizu
3
690
LLM とプロンプトエンジニアリング/チューターをビルドする / LLM and Prompt Engineering and Building Tutors
ks91
PRO
0
220
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
29
46k
Typedesign – Prime Four
hannesfritz
36
2.1k
Automating Front-end Workflow
addyosmani
1355
200k
Clear Off the Table
cherdarchuk
83
310k
Why Our Code Smells
bkeepers
PRO
331
56k
Fireside Chat
paigeccino
20
2.6k
Raft: Consensus for Rubyists
vanstee
132
6.2k
Scaling GitHub
holman
457
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
16
6.4k
Atom: Resistance is Futile
akmur
258
25k
Learning to Love Humans: Emotional Interface Design
aarron
266
39k
A Philosophy of Restraint
colly
196
16k
Transcript
Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine 6. Workshop Open
Source Business Intelligence 05.03.2015 Tobias Kraft, exensio GmbH
2 Agenda Elasticsearch BI-Stack mit Elasticsearch Umsätze Pharma Suchmaschinen
3 Funktionen einer Suche Suchmaschinen Blätterung Sortierung Facettierung Unstrukturierte Suche
Strukturierte Suche Highlighting Autocomplete Did you mean Synonyme
4 Für Suchmaschinen gibt es viele Einsatzszenarien Volltextsuche Speicher Cache
Geo-Suche Logfile-Analyse Analytics Suchmaschinen
5 Speichern von Daten in einer Suchmaschine Document Analyzing Aufbau
Struktur Suchmaschinen
6 Elasticsearch im Überblick • Suchmaschine unter Apache 2 Open
Source License • Erstes Release 2010 • Basiert auf Java • Basiert auf Lucene • JSON-API • Schemalos • Plugins • Runterladen und loslegen • Im Trend Elasticsearch
7 Große Datenmengen über Shards verwalten Elasticsearch Node 1 otcdrug
document 1 1 2 3 4 Replica: 0 Replica: 0
8 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
1 1 2 3 1‘ 4 Replica: 1 Replica: 0 Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
9 Elasticsearch Node 1 otcdrug document Node 2 otcdrug document
Node 3 otcdrug document 1 1 2 3 1‘ 4 1‘ 2‘ 3‘ Replica: 0 Replica: 1 4‘ Neuer Knoten im Cluster Große Datenmengen über Shards verwalten
10 Aggregationen - Buckets und Metrics Elasticsearch Metrics • Anzahl
• Summe • Min / Max / Average • Varianz • Perzentile Buckets • Terme • Ranges • Histograme • Geo-Distanz http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq
11 Aggregationen für Analysen Elasticsearch
12 Aggregationen für Analysen Elasticsearch
13 BI mit Elasticsearch BI-Stack mit Elasticsearch Eigene Loader mit
ES-Client (Bsp. SpringBoot) Implementierungen für • JDBC • CSV • … Logstash Eigene Visualisierung Analyse ETL Speicherung / Berechnungen
14 Datentransport mit Logstash BI-Stack mit Elasticsearch • Event Processing
Engine • Optimiert für Log-Dateien • Pipeline-Prinzip • Input (50+) • Filter (60+) • Output (75+) input filter output date{…} elasticsearch rename{…} grok{…} file
15 Visualisierungen mit Kibana BI-Stack mit Elasticsearch • Aktuelles Release:
Kibana 4 • Browserbasierte Visualisierung von Daten • Abfragen über JSON an ES • Aufbereitung über • Discover • Visualize • Dashboards
16 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte
von ES auf Basis von JavaScript BI-Stack mit Elasticsearch
17 Marktanalysen Pharmamarkt – Starschema Umsätze Pharma
18 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
19 Marktanalysen Pharmamarkt – Suchmaschine Umsätze Pharma
20 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
21 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
22 DrillDown des SellIn von Firma, Business Unit und Linie
Umsätze Pharma
23 Donat-Diagramm für SellIn auf BU-und Linien-Ebene Umsätze Pharma
24 Visualisierung von Aggregationen mit einer Tabelle Umsätze Pharma
25 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw.
über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist
26 Fazit • Aggregationen ersetzen Dimensionen im Star-Schema • Near
Realtime • Leichtgewichtig • Kostengünstige Alternative • Einfach zu integrieren und erweitern • Kombinierbar mit Vorteilen von Suchmaschinen • Matching • Unstrukturierte Daten
Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft