Elasticsearch und IoT - Speaker Deck

Slide 1

Slide 1 text

Elasticsearch und IoT Tobias Kraft, exensio GmbH, 16.10.2014

Slide 2

Slide 2 text

2 Internet of Things

Slide 3

Slide 3 text

3 Agenda Analysen Alarme Primary Store Demo-Szenario

Slide 4

Slide 4 text

4 Abfrage und Datenhaltung Innensensor u. Erfassung Knoten 1 Knoten 2 Innensensor u. Erfassung Innensensor u. Erfassung Innensensor u. Erfassung Dashboard Außen-Wetterstation Messung • Außentemperatur • Luftfeuchtigkeit • Regenmenge Messung & Speicherung in 4 Räumen • Temperatur • Luftfeuchtigkeit Visualisierung • Echtzeit • Langzeitanalysen Abfrage und Speicherung aller Daten Aufbau Wettermess-Szenario Demo-Szenario

Slide 5

Slide 5 text

5 Aufbau Indexstruktur Demo-Szenario

Slide 6

Slide 6 text

6 Aufbau Indexstruktur Demo-Szenario

Slide 7

Slide 7 text

7 Indexierung mit SpringData Demo-Szenario

Slide 8

Slide 8 text

8 Indexierung mit SpringData Demo-Szenario

Slide 9

Slide 9 text

9 Datenbestand ● Erfassung seit Juni 2014 ● Sensoren-Messpunkte ● Außen-Messung: drei Minuten ● Innen-Messung: 2,5 Sekunden  Täglich ca. 100.000 Messwerte ● Puffern der Werte in der Nacht und am Wochenende ● Nachfahren am Morgen ● Abfrage liefert max. 500 Einträge pro Sensor Demo-Szenario

Slide 10

Slide 10 text

10 Dashboard für Analysen Analysen

Slide 11

Slide 11 text

11 Verschiedene Sichten für die Analyse Analysen

Slide 12

Slide 12 text

12 Analysen

Slide 13

Slide 13 text

13 Auswertungen mit Aggregationen Analysen

Slide 14

Slide 14 text

14 Alarme und Monitoring mit Percolation ● Registrieren von Queries im Index ● Filtern des Dokuments gegen Queries über Percolator-API ● Rückgabe der passenden Queries Alarme Alarm bei Überschreiten einer Temperatur-Grenze

Slide 15

Slide 15 text

15 Alarme und Monitoring mit Percolation ● Registrieren von Queries im Index ● Filtern des Dokuments gegen Queries über Percolator-API ● Rückgabe der passenden Queries Alarme Alarm bei Überschreiten einer Temperatur-Grenze

Slide 16

Slide 16 text

16 Multi Percolate API Alarme

Slide 17

Slide 17 text

17 Multi Percolate API Alarme

Slide 18

Slide 18 text

18 ES als Primary Store für Minicomputer Odroid-U3 Raspberry Pi Model B OS Ubuntu 14.04 Raspian 7 Memory 2 GB 512 MB Processor ARM Cortex-A9 1,7 MHz ARM11 700 MHz Primary Store

Slide 19

Slide 19 text

19 ES als Primary Store für Minicomputer Was spricht für die Nutzung von ES als Primary Store? ● Einfach aufzubauen ● Installation ● Keine zwangsweisen Optimierungen notwendig ● Ausfallsicherheit durch Cluster ● Läuft auf heterogenen Systemen Zu Beachten ● Performance ● Aggregationen ● Plugins externalisieren ● Ggfs. Einschränkungen durch ARM-Architektur ● z.B. Logstash Primary Store

Slide 20

Slide 20 text

20 ES als Primary Store für Minicomputer Abfragen und Indexieren von 2.000 Einträgen dauert 20 -30 s ● Lieferung der Daten von Sensor ● Ohne Optimierungsmaßnahmen ● Heterogener Cluster Primary Store

Slide 21

Slide 21 text

Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft