Analytics mit Elasticsearch

Ad-hoc Analysen auf strukturierten Daten

Transcript

1. Analytics mit Elastic_ Ad-hoc Analysen auf strukturierten Daten hendrik.saly@codecentric.de
2. •Ad-hoc •Strukturierte Daten •Analysemöglichkeiten in elasticsearch •Visualisierung •Demo Inhalt_ 2
3. •„für diesen Augenblick gemacht“ •Reporting für nicht-technische Endbenutzer •Reports müssen nicht vordefiniert oder programmiert werden •Beantwortet geschäftsspezifische Fragestellungen •Idealerweise webbasiert •near-realtime Ad-hoc_ 3
4. •Typisierte Daten • Skalare Typen • Aufzählungen • Zusammengesetzte Typen •Bedeutung einzelnen Datenelemente Strukturierte Daten_ 4
5. •Datenformat in elasticsearch is JSON •JSON eigene Datentypen • Zeichenkette • Nummer • Boolscher Wert • Undefinierter Wert (null) • Aufzählung • Objekt Strukturierte Daten_ 5
6. •Elasticsearch Datentypen • Alle JSON Typen • Datum • Geopunkt/Geohash • Binary • IPv4 Strukturierte Daten_ 6
7. { "firstname":"Max", "name":"Mustermann", "current_ip_addr":"192.168.1.1", "birthdate":"1977-02-17", "last_login":"2016-03-12T12:02:22.321+02:00", "last_login_from":{ "lat":41.12, "lon":-71.34 }, "login_count":1332, "is_premium":true, "roles":[ "users", "premium" ], "addresses":[ { "type":"BILLING", "street":"Musterstr. 11", "plz":"76227" }, { "type":"SHIPPING", "street":"Lorenzweg 34a", "plz":"90998" } ] } Strukturierte Daten_ 7 "firstname":"Max", "name":"Mustermann", "current_ip_addr":"192.168.1.1", "birthdate":"1977-02-17", "last_login":"2016-03-12T12:02:22.321+02:00", "last_login_from":{ "lat":41.12, "lon":-71.34 } String String IPv4 Date Object/Geopoint
8. { "firstname":"Max", "name":"Mustermann", "current_ip_addr":"192.168.1.1", "birthdate":"1977-02-17", "last_login":"2016-03-12T12:02:22.321+02:00", "last_login_from":{ "lat":41.12, "lon":-71.34 }, "login_count":1332, "is_premium":true, "roles":[ "users", "premium" ], "addresses":[ { "type":"BILLING", "street":"Musterstr. 11", "plz":"76227" }, { "type":"SHIPPING", "street":"Lorenzweg 34a", "plz":"90998" } ] } Strukturierte Daten_ 8 "login_count":1332, "is_premium":true, "roles":[ "users", "premium" ] Number Boolean Array
9. { "firstname":"Max", "name":"Mustermann", "current_ip_addr":"192.168.1.1", "birthdate":"1977-02-17", "last_login":"2016-03-12T12:02:22.321+02:00", "last_login_from":{ "lat":41.12, "lon":-71.34 }, "login_count":1332, "is_premium":true, "roles":[ "users", "premium" ], "addresses":[ { "type":"BILLING", "street":"Musterstr. 11", "plz":"76227" }, { "type":"SHIPPING", "street":"Lorenzweg 34a", "plz": null } ] } Strukturierte Daten_ 9 "addresses":[ { "type":"BILLING", "street":"Musterstr. 11", "plz":"76227" }, { "type":"SHIPPING", "street":"Lorenzweg 34a", "plz": null } ] Array String/Enum null
10. •Aggregationen • Metrik Aggregationen • Bucket Aggregationen • Pipeline Aggregationen • Metrik oder Bucket Aggregationen verketten • Eingabe einer Aggregation ist Ausgabe einer anderen •Near-realtime •Keine „rollups“ nötig •Einbeziehung unstrukturierter Daten möglich Analysemöglichkeiten in elasticsearch_ 10
11. •Metrik Aggregation • Berechnen eine Metrik auf Basis einer Menge an Dokumenten • Relevante Dokumente per Suche (Query) finden • Mögliche Aggregationen (Auswahl) • Summe (sum) • Durchschnitt (avg) • Minimum/Maximum (min/max) • Kardinalität (cardinality) • Percentile (percentiles) • „Per Skript“ (scripted_metric) Analysemöglichkeiten_ 11
12. •Bucket Aggregation • Erzeugt „Töpfe“ (buckets) von Dokumenten • Ausprägung des buckets hängt vom Typ der Aggregation ab • Mögliche Aggregationen (Auswahl) • Ausdruck (terms) • Bereich (range) • Histogramm (histogram) • Geo Distanz (geo_distance) Analysemöglichkeiten_ 12
13. •kibana Visualisierung_ 13 Metric Chart Map Chart Chart Query (auch über unstrukturierte Daten)
14. •Zeitreihenorientiert (geht aber auch ohne) •Interaktives „Discovery“ •Interaktive Dashboards • Drill-down • Filter • Suche Visualisierung_ 14
15. •New York Unfall Statistik •https://github.com/salyh/elk2-out-of-the-box-demo Demo_ 15
16. •Discover Demo_ 16
17. Demo_ 17 •Visualize
18. Demo_ 18 •Dashboard
19. •Discovery: Suche zusammenstellen •Visualize: Aggregation erstellen •Dashboards: Visualisierungen kombinieren Demo_ 19
20. Demo_ 20 •Beispiel: Unfallzahl nach Stadtteil und Ursache
21. Demo_ 21 •Beispiel: Unfallzahl mit Todesopfern nach Stadtteil und Ursache
22. Demo_ 22 •Beispiel: Summe betroffener Personen nach Stadtteil und Zeithistogramm
23. Demo_ 23 Mehr: https://www.elastic.co/use-cases Demo
24. hendrik.saly@codecentric.de Fragen? 24