Proyecto Buscalibre Tecnologías de busqueda en la web

Transcript

1. Proyecto Tecnologías de Búsqueda en la Web Pablo Alcantar Morales 2.604.530-4
2. Definición del Problema • Buscalibre.com: Retail Web en proceso de crecimiento • Migración de una Librería Web a un Retail Web • Búsqueda funcional pero poco óptima
3. Definición del Problema • Búsquedas Faceteadas – ¿Cómo facetear 4M de distintas elementos? – OK… ¿y si son 10req/sec a distintas categorías? (distintas categorías implica distintos atributos a facetear) • Ayudar/Guiar al usuario en la navegación del sitio
4. Pero… ¿Este era el problema presentando anteriormente?
5. No
6. Y ¿Usaríamos Solr?
7. No
8. ¿Qué pasó entonces?
9. Problema de las facetas mucho más importante que problema de búsqueda
10. Además, solucionando problema de facetas se soluciona problema de búsqueda :D
11. Sphinx VS Solr
12. ROUND 1: Uso de CPU
13. 0 10 20 30 40 50 60 70 80 Utilización promedio de CPU [% por segundo] 1000 requests a 10 req/s Solr 11 Solr 12 Sphinx 11 Sphinx 12
14. ROUND 2: Uso de RAM
15. 0 50000 100000 150000 200000 250000 300000 350000 400000 450000 Utilización de memoria [por segundo] 1000 requests a 10 req/s solr11 solr12 sphinx11 sphinx12
16. ROUND 3: Tiempo de Respuesta
17. 11,9 14,6 50,1 53,2 Reply Response Time [ms] 1000 requests a 10 req/s Solr 11 Solr 12 Sphinx 11 Sphinx 12
18. • Archivos de prueba con aproximadamente 1000 URL’s distintas aplicando distintos filtros • Solr11 y Sphinx11: URL’s solo tomando en cuenta las categorías que tienen menos de 1M de datos • Solr12 y Sphinx12: URL’s de todas las categorías.
19. Solr superior a Sphinx *aunque sea Java
20. Técnicas a explorar • Stemming Snowball * + Porter • BM25: Scoring por defecto http://wiki.apache.org/solr/LanguageAnalysis#Notes_about_solr.SnowballPorterFilterFactory
21. Metodología de Desarrollo • SCRUM • Dos Personas • 2 semanas de desarrollo • Configuraciones y arreglos en caliente
22. Herramientas Usadas • Solr 4 • PHP 5.3.8 • Java • Tomcat 6 • MySQL 5.2 • Servidor RHEL
23. Criterios de Diseño • Carga de Datos a índice mediante DataImportHandler • Actualización de índice: – Mediante Cron Jobs • Task Symfony • Cada 15 min actualiza información • Una vez al día (noches) rehace índice completo
24. Criterios de Diseño – Carga en RAM: • Java Heap Exception: Alta carga de RAM • Soluciones: – Entregar más RAM a Tomcat – Fetching por partes en entidades super-pobladas – Id único
25. Casos de Prueba y Validación • Dos puntos a tomar en cuenta: – Tiempo de Respuesta – Fiabilidad de Respuesta
26. Casos de Prueba y Validación • Tiempo de Respuesta – Solr tiene tiempos de respuesta muy por debajo de Sphinx… – … a pesar de esto, no por ser más bajo, es aceptable a priori – Validación tomando en cuenta tiempo de carga del sitio mediante el uso de Solr
27. Casos de Prueba y Validación • Fiabilidad de Respuesta – Netamente dependiente de la programación – Tanto Solr como Sphinx, entregan los datos de formas correcta
28. Demo en vivo