Elasticsearch und IoT

Anwendungsszenario für die Nutzung Elasticsearch in einer IoT-Infratstruktur

Transcript

1. Elasticsearch und IoT Tobias Kraft, exensio GmbH, 16.10.2014
2. 2 Internet of Things
3. 3 Agenda Analysen Alarme Primary Store Demo-Szenario
4. 4 Abfrage und Datenhaltung Innensensor u. Erfassung Knoten 1 Knoten 2 Innensensor u. Erfassung Innensensor u. Erfassung Innensensor u. Erfassung Dashboard Außen-Wetterstation Messung • Außentemperatur • Luftfeuchtigkeit • Regenmenge Messung & Speicherung in 4 Räumen • Temperatur • Luftfeuchtigkeit Visualisierung • Echtzeit • Langzeitanalysen Abfrage und Speicherung aller Daten Aufbau Wettermess-Szenario Demo-Szenario
5. 5 Aufbau Indexstruktur Demo-Szenario
6. 6 Aufbau Indexstruktur Demo-Szenario
7. 7 Indexierung mit SpringData Demo-Szenario
8. 8 Indexierung mit SpringData Demo-Szenario
9. 9 Datenbestand • Erfassung seit Juni 2014 • Sensoren-Messpunkte • Außen-Messung: drei Minuten • Innen-Messung: 2,5 Sekunden  Täglich ca. 100.000 Messwerte • Puffern der Werte in der Nacht und am Wochenende • Nachfahren am Morgen • Abfrage liefert max. 500 Einträge pro Sensor Demo-Szenario
10. 10 Dashboard für Analysen Analysen
11. 11 Verschiedene Sichten für die Analyse Analysen
12. 12 Analysen
13. 13 Auswertungen mit Aggregationen Analysen
14. 14 Alarme und Monitoring mit Percolation • Registrieren von Queries im Index • Filtern des Dokuments gegen Queries über Percolator-API • Rückgabe der passenden Queries Alarme Alarm bei Überschreiten einer Temperatur-Grenze
15. 15 Alarme und Monitoring mit Percolation • Registrieren von Queries im Index • Filtern des Dokuments gegen Queries über Percolator-API • Rückgabe der passenden Queries Alarme Alarm bei Überschreiten einer Temperatur-Grenze
16. 16 Multi Percolate API Alarme
17. 17 Multi Percolate API Alarme
18. 18 ES als Primary Store für Minicomputer Odroid-U3 Raspberry Pi Model B OS Ubuntu 14.04 Raspian 7 Memory 2 GB 512 MB Processor ARM Cortex-A9 1,7 MHz ARM11 700 MHz Primary Store
19. 19 ES als Primary Store für Minicomputer Was spricht für die Nutzung von ES als Primary Store? • Einfach aufzubauen • Installation • Keine zwangsweisen Optimierungen notwendig • Ausfallsicherheit durch Cluster • Läuft auf heterogenen Systemen Zu Beachten • Performance • Aggregationen • Plugins externalisieren • Ggfs. Einschränkungen durch ARM-Architektur • z.B. Logstash Primary Store
20. 20 ES als Primary Store für Minicomputer Abfragen und Indexieren von 2.000 Einträgen dauert 20 -30 s • Lieferung der Daten von Sensor • Ohne Optimierungsmaßnahmen • Heterogener Cluster Primary Store
21. Partner: Fragen? Vielen Dank! http://blog.exensio.de @tokraft