Sphinx - Very small introduction

Very small introduction of Sphinx (full-text searching) for the audience of "Chorizo Data Tech Community" in Pachuca, Hgo, MEX.

Transcript

1. SPHINX OPTIMIZACIÓN DE BÚSQUEDAS
2. BENIGNO HERNÁNDEZ bhernez bhernez bhernez@kioru.com JOSÉ CARLOS LÓPEZ ppill0 ppillo@kioru.com
3. Kioru
4. • Aplicación Web • Código en Ruby • Base en MySQL CONVENCIONES
5. BASE DE DATOS
6. ¿CÓMO SE BUSCA? • ¿Cómo busca el usuario?
7. BUSCAR EL NOMBRE DE ALGÚN ALUMNO
8. Miguel EL USUARIO INTRODUCE:
9. LIKE SELECT * FROM PERSONAS WHERE nombre LIKE ‘Miguel’
10. EL USUARIO: NO BUSCA COMO LO GUARDÓ
11. nombre LIKE ‘Miguel’ OR nombre LIKE ‘miguel’ LIKE SELECT * FROM PERSONAS WHERE
12. LOWER(nombre) LIKE ‘miguel’ LIKE SELECT * FROM PERSONAS WHERE
13. EL USUARIO: NO RECUERDA TODO LO QUE GUARDÓ
14. LOWER(nombre) LIKE ‘%miguel%’ LIKE SELECT * FROM PERSONAS WHERE
15. EL USUARIO: NO RECUERDA EN DONDE LO GUARDÓ
16. LIKE LOWER(nombre) LIKE ‘%miguel%’ OR LOWER (apellido_paterno) LIKE ‘%miguel%’ OR LOWER (apellido_materno) LIKE ‘%miguel%’ SELECT * FROM PERSONAS WHERE
17. MATCH MATCH(nombre, apellido_paterno, apellido_materno) AGAINST(‘%miguel%’) SELECT * FROM PERSONAS WHERE
18. MATCH CREATE TABLE personas( … FULLTEXT(nombre, apellido_paterno, apellido_materno) ) REQUIERE
19. BUSCAR EN 100 REGISTROS 103 ms
20. BUSCAR EN 1000 REGISTROS 2:35 seg
21. BUSCAR EN 1 MILLÓN DE REGISTROS 2:07 min
22. + Velocidad + Coincidencias - Dificultad OBJETIVO
23. QUÉ ES SPHINX? • Se ejecuta? • Cómo se usa?
24. Motor de búsqueda de Texto-Integral (full-text searching) Se ejecuta como proceso en el fondo (daemon) API para la mayoría de clientes (PHP, Perl, Ruby, Java, C#) SPHINX
25. • sphinx.conf • indexer • searchd COMPONENTES
26. sphinx.conf indexer { mem_limit = 32M } searchd { listen = 9312 log = /var/log/searchd.log query_log = /var/log/query.log pid_file = /var/run/searchd.pid max_matches = 1000 ... }
27. source src_my_articles { type = mysql sql_host = localhost sql_user = myuser sql_pass = mypassword sql_db = mydatabase sql_query = SELECT SQL_NO_CACHE `alumnos`.`id` * CAST(7 AS SIGNED) + 0 AS `id` , `personas`.`nombre` AS `nombre`, `personas`.`apellido_paterno` AS `apellido_paterno`, `personas`.`apellido_materno` AS `apellido_materno`, `alumnos`.`matricula` AS `matricula`, `alumnos`.`id` AS `sphinx_internal_id`, 0 AS `sphinx_deleted`, 328847387 AS `class_crc`, IFNULL('Alumno', '') AS `sphinx_internal_class`, GROUP_CONCAT(DISTINCT IFNULL(`ciclos`.`escuela_id`, '0') SEPARATOR ',') AS `escuela_id` FROM `alumnos` LEFT OUTER JOIN [...] }
28. INTEGRANDO RUBY ON RAILS
29. GEMA thinking-sphinx
30. sphinx.yml production: enable_star: true max_matches: 1024 config_file: "/var/myapp/config/ts/production.sphinx.conf" ... pid_file: "/var/app/tmp/pids/sphinx.pid" indexed_models: - Alumno
31. class Contacto < ActiveRecord::Base belongs_to :contactable, :polymorphic => true belongs_to :identidad, :polymorphic => true ... end class Persona < ActiveRecord::Base has_one :contacto, :as => :identidad ... end MODELOS INDEXADOS
32. class Alumno < ActiveRecord::Base belongs_to :carrera has_one :contacto, :as => :contactable ... define_index do indexes contacto.persona.nombre, :as => :nombre indexes contacto.persona.apellido_paterno, :as => :apellido_paterno indexes contacto.persona.apellido_materno, :as => :apellido_materno indexes matricula end ... end
33. indexer - searchd rake ts:config indexer --config /path/to/sphinx.conf --all searchd --config /path/to/sphinx.conf
34. USO EN CONTROLADORES
35. AlumnosController.rb alumnos = Alumno.facets(‘miguel’, :match_mode => : extended ) FACETS
36. BUSCAR NOMBRE, APELLIDOS y MATRÍCULA SIN SPHINX 1000 REGISTROS 4:85 seg
37. BUSCAR NOMBRE, APELLIDOS y MATRÍCULA CON SPHINX 3880 REGISTROS 0.00406 seg
38. EL USUARIO: NO BUSCA COMO LO GUARDÓ NO RECUERDA TODO LO QUE GUARDÓ NO SABE EN DONDE LO GUARDÓ
39. ¿QUE MÁS DE SPHINX? INDICES DISTRIBUIDOS DELTAS ÍNDICE DE ARCHIVOS
40. sphinxsearch.com MÁS SOBRE SPHINX
41. ?