Meetup: Sesión #10 - Elasticsearch Pt II: Elasticsearch - Buscando data en índices invertidos

Continuación de la presentación de Elasticsearch para el Meetup de Querétaro Software Development.

Agenda:
- Índices Invertidos
- AWS Elasticsearch Service
- Kibana
- Elasticsearch Client
- Almacenando datos
- Graficando Datos en Kibana

Transcript

1. Querétaro Software Development Meetup Sesión #10 Junio, 2019
2. La finalidad del Meetup es tener un lugar donde compartir experiencias (técnicas o no), ideas y tendencias en la industria de IT Querétaro Software Development Meetup
3. Querétaro Software Development Meetup Redes: facebook.com/groups/queretaro.software.development/ twitter.com/qrosoftwaredev meetup.com/qro-software
4. Agenda Serverless Computing con Terraform en AWS Elasticsearch Pt II: Búsquedas en índices invertidos Presentado por Osvaldo Mercado (P\S\L Group) Presentado por Gabriel de Obieta (Konfio) DevOps Moderno: el futuro de la plomería, plataformas y big data RIFAS | BREAK | ANUNCIOS PARROQUIALES Presentado por Gustavo Barrón (ring)
7. ¡Gracias por apoyar 10 ediciones!
8. Junio, 2019 Elasticsearch Pt II: Búsquedas en índices invertidos Presentado por Osvaldo Mercado Coss Querétaro Software Development Meetup
9. 9 Osvaldo Mercado Coss • De Guadalajara, México • Technical Project Manager en P\S\L Group • Estudios en Multimedia, de alguna manera termine codeando en el backend ◦ Stack: LA|EMP, PHP + Framework, NodeJS, Ruby ◦ DevOps: AWS + Vagrant + Chef ◦ DBs: MySQL/MariaDB, Amazon Aurora, CouchDB, Couchbase, MongoDB y desgraciadamente SQL Server ◦ Interesado en Software Escalable, DevOps & Perros Un poco sobre mi: Hola! https://mx.linkedin.com/in/osvaldomercado @omercadocoss omercadocoss@gmail.com
10. Elasticsearch es un motor de búsqueda y análisis open source, capaz de solucionar numerosos casos de uso. Querétaro Software Development Meetup
11. 11 ¿Qué hicimos en la 1ra Sesión de Elasticsearch? Recapitulando... Instalamos Elasticsearch Creamos un índice Buscamos datos Insertamos datos Analizamos (brevemente) cómo se insertan datos
12. 12 ¿Porqué Elasticsearch? Recapitulando...
20. 20 Entendiendo el Índice Invertido Entendiendo la base de Elasticsearch (o Lucene) string 1: “HOY HAY MEETUP” string 2: “HOY VA A LLOVER” string 3: “¿MAÑANA VA A LLOVER?” HOY (1,0);(2,0) HAY (1,4) MEETUP (1,8) VA (2,4);(3,8) A (2,7);(3,11) LLOVER (2,9);(3,12) MAÑANA (3,1)
21. 21 Entendiendo el Índice Invertido Entendiendo la base de Elasticsearch (o Lucene) curl -XGET -H'content-type:application/json' https://search-qro-meetup-demo-ai5f55oexpe57gvvwoawfbrke4.us-east-1.es.amazonaws.com/_analyze/ ?pretty -d'{"analyzer":"standard", "text":"HOY HAY MEETUP"}’
22. 22 Conozcamos Kibana Cómo podemos trabajar mejor con Elasticsearch
23. 23 Conozcamos Kibana Cómo podemos trabajar mejor con Elasticsearch
24. 24 Conozcamos Kibana Cómo podemos trabajar mejor con Elasticsearch
25. 25 Conozcamos Kibana Cómo podemos trabajar mejor con Elasticsearch
26. 26 Entendiendo el Índice Invertido Entendiendo la base de Elasticsearch (o Lucene)
27. 27 Entendiendo el Índice Invertido Entendiendo la base de Elasticsearch
28. 28 Entendiendo el Índice Invertido Entendiendo la base de Elasticsearch
29. 29 Entendiendo el Índice Invertido Entendiendo la base de Elasticsearch ¿Y... sí se guarda así?
30. Tus datos se enriquecen por medio de analyzers, filters, tokenizers, para que se adecuen a tu caso de uso, cualquiera que sea, en el lenguaje que sea, en la cantidad que sea
31. 31 Y si aguanta? Si podemos confiar en Elasticsearch para manejo de grandes cantidades de datos? 10,000,000 millones de docs?
32. 32 Mi último caso de uso, solucionado con Elasticsearch Un sistema de sinónimos de palabras junto con reglas de uso por país Carro Automóvil Camioneta Coche Auto Vehículo Nave
33. 33 Mi último caso de uso, solucionado con Elasticsearch Un sistema de sinónimos de palabras junto con reglas de uso por país Carro Automóvil Camioneta Coche Auto Vehículo Nave
34. 34 Mi último caso de uso ,solucionado con Elasticsearch Un sistema de sinónimos de palabras junto con reglas de uso por país
35. Puedes aplicar reglas por key extendiendo así múltiples reglas por documento, que puede o no puede traer esos datos, porque tienes el beneficio de que es un document storage
36. 36 Haciendo combinaciones de usos en Elasticsearch Una vez que empiezas a descubrir el poder detrás de Elasticsearch
37. 37 ¿Porqué Elasticsearch? Creo que queda corta estas definiciones para un sistema tan poderoso y complejo
38. Gracias! Bienvenidas las preguntas, comentarios, quejas y sugerencias omercadocoss@gmail.com https://mx.linkedin.com/in/osvaldomercado @omercadocoss Querétaro Software Development Meetup Patrocinadores del mes:
39. Links Recomendados Recomendaciones personales acerca del tema Elasticsearch Queries: A Thorough Guide https://logz.io/blog/elasticsearch-queries/ Synonyms in Elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis- synonym-tokenfilter.html Amazon Elasticsearch Service https://aws.amazon.com/es/elasticsearch-service/pricing/ Inverted Index https://xlinux.nist.gov/dads/HTML/invertedIndex.html Getting Started with Elasticsearch https://www.elastic.co/guide/en/elasticsearch/guide/master/getting-started.html Document Oriented Database https://en.wikipedia.org/wiki/Document-oriented_database Elastic Cloud https://www.elastic.co/cloud/ Kibana https://www.elastic.co/products/kibana Elasticsearch ICU now understands emoji! https://jolicode.com/blog/elasticsearch-icu-now-understands-emoji Elasticsearch explain - analyze https://www.elastic.co/guide/en/elasticsearch/reference/6.8/_explain_analyze.html An overview of Elasticsearch and its usages https://towardsdatascience.com/an-overview-on-elasticsearch-and-its-usage-e26df1d1d 24a What happens when a document is indexed in Elasticsearch https://medium.com/elasticsearch/what-happens-when-a-document-is-indexed-in-elasti csearch-16b7ae3415bc A dive into Elasticsearch Storage https://www.elastic.co/blog/found-dive-into-elasticsearch-storage