[GER] NoSQL CGN: Zeitreihendaten mit InfluxDB (05/2014)

Dear non-German speakers: Sorry :)

Auf der NoSQL Cologne User Group habe ich im Mai einen Vortrag zu InfluxDB gehalten und ein wenig erklärt und gezeigt, wie ich InfluxDB bei StormForger.com (Loadtesting as a Service) einsetze.

Transcript

1. Zeitreihendaten mit InfluxDB Sebastian Cohnen, @tisba
 stormforger.com, @StormForgerApp
 NoSQL UG Cologne, Mai 2014
2. Zeitreihenda…WAS? • Zeit-Reihen-Daten (Time Series Data) • …sind Daten, die einen inhärenten zeitlichen Bezug haben… • Sensordaten • Logdaten • Börsenkurse • “Ereignisse” (Benutzeraktionen, Fehler, Commits, Deployments, …)
3. Zeitreihendatenbank • Ausnutzung des inhärenten Zeitbezugs • “ORDER BY time” • RRDTool, Graphite (carbon), OpenTSDB, Kairos, …, InfluxDB
4. Allgemeine Use Cases • (statistische) Auswertung • Zusammenfassungen • über alles • aggregiert über Intervalle • Moving Window: letzten X Minuten, Stunden, Tage… • …
5. Allgemeine Use Cases • Dashboards & Visualisierungen • Monitoring & Alerting • …
6. Anforderungen • Query Language • Stream Processing: On-the-Fly Verarbeitung von eingehenden Daten • (optionales) Downsampling • Cleanup • Online-Datenbank
7. Herausforderungen • Je nach Anwendungsfall: SEHR VIELE Datenpunkte (>109) • Performance, Skalierbarkeit • Cluster Support
10. InfluxDB • geschrieben in Go, Open Source seit Ende 2013(?) • Storage Backend: LevelDB • aktuell Version 0.6 • von Paul Dix, Todd Persen, und John Shahid (ehemals Errplane)
11. InfluxDB • REST/HTTP & Protobuf API • SQL-ähnliche Abfragesprache • Build-in Support für Authentifikation und Autorisierung • Support für clustering • Clients für JavaScript, Ruby, Rails, Python, Node.js, PHP, Clojure, Common Lisp, Java Metrics, Go, Go Metrics, Scala, R, Perl, Haskell
12. Konzepte • Cluster, Server, User • Datenbanken (databases) • Zeitreihen (time series), “Tabellen” • Ereignisse (events), “Zeilen”
13. Datenmodell der Ereignisse • Kein festes Schema • Ereignisse sind Maps (Schlüssel-Werte Paare); wobei als Werte Strings, Zahlen, Listen und Boolean erlaubt sind • time & sequence_number sind reserviert bzw. haben eine besondere Bedeutung
14. Mein Anwendungsfall
15. StormForger.com Load Testing as a Service Platform
16. StormForger? • Load Testing as a ServiceS für HTTP APIs • Vereinfachung und Automatisierung von Lasttests • Durchführung von umfangreichen und reproduzierbaren Lasttests
17. StormForger • Überall Metriken! …und Auswertungen! …und Visualisierungen! • Sensordaten von Monitoring Systemen • Massig(!) Messdaten bei der Testdurchführung; aktuell 15 Datenpunkte pro Request… bei 10k+ rps über 90 Minuten… macht das…
18. 648.000.000 Datenpunkte!
19. Anforderungen an Zeitreihen-DB • hohe/maximale Auflösung • Flexibles, On-the-Fly Downsampling & Stream Verarbeitung • Online Abfragen mit SQL-ähnlicher Sprache • Viele Daten :)
20. InfluxDB Query Language InfluxDB’s SQL
21. Allgemeine Statistiken SELECT COUNT(duration) AS request_count, MIN(duration) AS min, MAX(duration) AS max, MEDIAN(duration) AS median, MEAN(duration) AS mean, STDDEV(duration) AS stddev, PERCENTILE(duration, 95.0) AS p95_0, PERCENTILE(duration, 99.0) AS p99_0, SUM(size) AS size FROM tr42.requests.fullstats {
22. Fehler SELECT COUNT(http_status) AS count FROM tr42.requests.fullstats WHERE http_status >= 400
23. Aggregation über Zeit SELECT COUNT(http_status) AS count FROM tr42.requests.fullstats WHERE http_status >= 400 GROUP BY time(1s)
24. Funktionen • COUNT, MIN, MAX, MEAN, MODE, MEDIAN, DISTINCT, PERCENTILE, HISTOGRAM, DERIVATIVE, SUM, STDDEV, FIRST, LAST… • http://influxdb.org/docs/query_language/functions.html
25. Merges & Joins SELECT COUNT(type) FROM user_events MERGE admin_events GROUP BY time(10m) ! SELECT * FROM MERGE /stats.*/ ! ! SELECT (hosta.value + hostb.value) AS total FROM cpu_load AS hosta INNER JOIN cpu_load AS hostb WHERE hosta.host = 'hosta.influxdb.org' AND hostb.host = 'hostb.influxdb.org'
26. Continuous Queries aka “Stream Processing”
27. Continuous Queries • Es können Abfragen hinterlegt werden, die laufend auf neue Daten angewendet werden • Use Cases: • Downsampling, Vorberechnungen • Organisation (“fanout”)
28. Aggregieren & Vorberechnen SELECT PERCENTILE(value, 95) FROM response_times GROUP BY time(5m) INTO response_times.percentiles.5m.95 SELECT COUNT(http_status) FROM response_times GROUP BY time(1m), http_status INTO response_times.count.1m.[http_status]
29. Organisieren SELECT *
 FROM response_times INTO responses.status.[http_status] ! ! SELECT MAX(duration), http_status FROM /stats\..*/ GROUP BY time(10m), http_status INTO max_duration.[http_status].:series_name
30. Cleanup
31. Cleanup • Es können Clean Up Regeln festgelegt werden, wann welche Daten gelöscht werden sollen • Beispiel:
 { "olderThan": "14d", "regex": "stats\\..*", "runAt": 3 }
32. Authentifikation und Autorisierung
33. Authentifikation und Autorisierung • Cluster Admin, Database Admin, Database User • Rechte read/write bis auf Zeitreihen (definierbar mit Regexp) { "name": "tisba", "readFrom": ".*", "writeTo": ".*" }
34. Weitere Themen…
35. Weitere Themen… • Clustering (RAFT für Meta Daten, Sharding) • Write Ahead Log (WAL) • (Distributed) Query Processing • Storage Details (LevelDB, LSM Trees, …)
37. Fazit
38. (M)ein Fazit • Beta™ Software, “moving target”; aber läuft bei StormForger erfolgreich in Produktion :) • intensiver Austausch auf ML und IRC, super engagierte Devs • elegant in der Nutzung und Modellierung • Lernkurve fast nicht existent! • I like :)
39. Fragen? Sebastian Cohnen, @tisba
 stormforger.com, @StormForgerApp Loadtest anyone? :)