Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Elasticsearch Aggregations
Search
Javier Rey
August 19, 2015
Technology
0
410
Elasticsearch Aggregations
Meetup Big Data -
http://www.meetup.com/Montevideo-BigData-DataScience-Meetup/events/223833509/
Javier Rey
August 19, 2015
Tweet
Share
More Decks by Javier Rey
See All by Javier Rey
Elasticsearch en producción
vierja
0
300
Tryomeetup - Elasticsearch
vierja
0
39
Tryomeetup - Elasticsearch - English
vierja
0
45
Other Decks in Technology
See All in Technology
デザインとエンジニアリングの架け橋を目指す OPTiMのデザインシステム「nucleus」の軌跡と広げ方
optim
0
120
FinOps について (ちょっと) 本気出して考えてみた
skmkzyk
0
220
Biz職でもDifyでできる! 「触らないAIワークフロー」を実現する方法
igarashikana
7
3.5k
プロダクト開発と社内データ活用での、BI×AIの現在地 / Data_Findy
sansan_randd
0
180
ブラウザのAPIで Nintendo Switch用の特殊なゲーム用コントローラーを体験型コンテンツに / IoTLT @ストラタシス・ジャパン
you
PRO
0
140
Building a cloud native business on open source
lizrice
0
180
What's new in OpenShift 4.20
redhatlivestreaming
0
280
「タコピーの原罪」から学ぶ間違った”支援” / the bad support of Takopii
piyonakajima
0
140
Azure Well-Architected Framework入門
tomokusaba
1
130
Oracle Database@Google Cloud:サービス概要のご紹介
oracle4engineer
PRO
0
360
AI AgentをLangflowでサクッと作って、1日働かせてみた!
yano13
1
160
AIでデータ活用を加速させる取り組み / Leveraging AI to accelerate data utilization
okiyuki99
1
480
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
Navigating Team Friction
lara
190
15k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Reflections from 52 weeks, 52 projects
jeffersonlam
353
21k
Practical Orchestrator
shlominoach
190
11k
Speed Design
sergeychernyshev
32
1.2k
Optimising Largest Contentful Paint
csswizardry
37
3.5k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
36
6.1k
Transcript
Elasticsearch Aggregations Javier Rey @vierja
Aggregations Información sumarizada a partir de varios documentos o tuplas
para obtener alguna métrica o información del conjunto de datos. SELECT sum(x), count(1) GROUP BY y;
Aggregations en Big Data ◎ Grandes volúmenes de datos se
hace difícil revisar/monitorear la información. ◎ A veces queremos extraer información compleja sin tener que programar (app o jobs). ◎ Métricas en tiempo real.
Buckets terms histogram geo grids ... Aggregations en Elasticsearch Metrics
min - max - avg stats cardinality ... SELECT sum(x), count(1) GROUP BY y; BUCKET METRICS
Nested aggregations Root agg Inner agg ▸ bucket Leaf agg
▸ bucket or metric
Por qué usarlas en Elasticsearch? ◎ Combinables con búsquedas ◦
Ver agregaciones de resultados de búsquedas ◎ Fáciles de usar ◦ JSON based DSL ◎ Rápidas ◦ Estructuras de datos optimizadas ◦ Single pass de datos
Funcionamiento en clusters ◎ Agregación a nivel de shard (distribuido)
◎ Merge de las distintas sub agregaciones ◎ Algoritmos de aproximación: ◦ Cardinalidad ◉ HyperLogLog ◦ Percentiles ◉ TDigest
Aggregations interesantes ◎ Significant Terms aggregations ◦ The uncommonly common
◎ Geohash grid ◎ Terms con scripts
Ejemplos Multas de tránsito de Montevideo catalogodatos.gub.uy github.com/vierja/geojson_montevideo Queries: gist.github.com/vierja/aad3cd56fb11af129fae
SFPD Crime Incident Reporting elasticsearch.demos.tryolabs.com
Gracias! Preguntas?