Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Elasticsearch Aggregations

Acb9f29929cf6e5beddcc21b57c121fe?s=47 Javier Rey
August 19, 2015

Elasticsearch Aggregations

Acb9f29929cf6e5beddcc21b57c121fe?s=128

Javier Rey

August 19, 2015
Tweet

Transcript

  1. Elasticsearch Aggregations Javier Rey @vierja

  2. Aggregations Información sumarizada a partir de varios documentos o tuplas

    para obtener alguna métrica o información del conjunto de datos. SELECT sum(x), count(1) GROUP BY y;
  3. Aggregations en Big Data ◎ Grandes volúmenes de datos se

    hace difícil revisar/monitorear la información. ◎ A veces queremos extraer información compleja sin tener que programar (app o jobs). ◎ Métricas en tiempo real.
  4. Buckets terms histogram geo grids ... Aggregations en Elasticsearch Metrics

    min - max - avg stats cardinality ... SELECT sum(x), count(1) GROUP BY y; BUCKET METRICS
  5. Nested aggregations Root agg Inner agg ▸ bucket Leaf agg

    ▸ bucket or metric
  6. Por qué usarlas en Elasticsearch? ◎ Combinables con búsquedas ◦

    Ver agregaciones de resultados de búsquedas ◎ Fáciles de usar ◦ JSON based DSL ◎ Rápidas ◦ Estructuras de datos optimizadas ◦ Single pass de datos
  7. Funcionamiento en clusters ◎ Agregación a nivel de shard (distribuido)

    ◎ Merge de las distintas sub agregaciones ◎ Algoritmos de aproximación: ◦ Cardinalidad ◉ HyperLogLog ◦ Percentiles ◉ TDigest
  8. Aggregations interesantes ◎ Significant Terms aggregations ◦ The uncommonly common

    ◎ Geohash grid ◎ Terms con scripts
  9. Ejemplos Multas de tránsito de Montevideo catalogodatos.gub.uy github.com/vierja/geojson_montevideo Queries: gist.github.com/vierja/aad3cd56fb11af129fae

    SFPD Crime Incident Reporting elasticsearch.demos.tryolabs.com
  10. Gracias! Preguntas?