Elasticsearch Aggregations

Meetup Big Data - http://www.meetup.com/Montevideo-BigData-DataScience-Meetup/events/223833509/

Transcript

1. Elasticsearch Aggregations Javier Rey @vierja
2. Aggregations Información sumarizada a partir de varios documentos o tuplas para obtener alguna métrica o información del conjunto de datos. SELECT sum(x), count(1) GROUP BY y;
3. Aggregations en Big Data ◎ Grandes volúmenes de datos se hace difícil revisar/monitorear la información. ◎ A veces queremos extraer información compleja sin tener que programar (app o jobs). ◎ Métricas en tiempo real.
4. Buckets terms histogram geo grids ... Aggregations en Elasticsearch Metrics min - max - avg stats cardinality ... SELECT sum(x), count(1) GROUP BY y; BUCKET METRICS
5. Nested aggregations Root agg Inner agg ▸ bucket Leaf agg ▸ bucket or metric
6. Por qué usarlas en Elasticsearch? ◎ Combinables con búsquedas ◦ Ver agregaciones de resultados de búsquedas ◎ Fáciles de usar ◦ JSON based DSL ◎ Rápidas ◦ Estructuras de datos optimizadas ◦ Single pass de datos
7. Funcionamiento en clusters ◎ Agregación a nivel de shard (distribuido) ◎ Merge de las distintas sub agregaciones ◎ Algoritmos de aproximación: ◦ Cardinalidad ◉ HyperLogLog ◦ Percentiles ◉ TDigest
8. Aggregations interesantes ◎ Significant Terms aggregations ◦ The uncommonly common ◎ Geohash grid ◎ Terms con scripts
9. Ejemplos Multas de tránsito de Montevideo catalogodatos.gub.uy github.com/vierja/geojson_montevideo Queries: gist.github.com/vierja/aad3cd56fb11af129fae SFPD Crime Incident Reporting elasticsearch.demos.tryolabs.com
10. Gracias! Preguntas?