Apache Solr @ Welovephp by Softonic

Intro a Apache Solr

Transcript

1. 15/dic/2012
2. Sobre mi @santiagolizardo http://www.santiagolizardo.com http://github.com/santiagolizardo http://testif.com
3. Sobre Solr
4. Grandes usuarios
5. Funcionalidades – Highlighting – Navegación por filtros y conteos – Corrector ortográfico – Autocompletador de búsquedas – Resultados similares – ¡Más!
6. Detrás de escenas: Lucene • Código abierto • Libreria de indexación y búsqueda de texto • No es un servidor • No tiene ficheros de configuración – Analizadores de texto (de frases a términos) – Sintáxis de búsqueda – Algoritmo de puntuación
7. Lucene: Índice invertido
8. Solr: Lucene con esteroides • Lucene como servidor • Procesos de indexación y búsqueda mediante HTTP • Varios niveles de cache • Administración Web • Ficheros de configuración para el esquema y el servidor • Conteos (faceting), Spellchecker, Morelikethis • Escalable
9. Desplegando Solr • Aplicación Web (WAR != JAR) • Corre sobre diferentes servidores de aplicaciones
10. Diferencias sobre una base de datos • Solr es una coleccion de documentos NO relacional • Los documentos son inmutables • Búsqueda por términos, no por texto • Resultados ordenados por nivel de coincidencia • Commits lentos (modelo NoSQL)
11. Primer vistazo a la administración
12. Administración Web
13. Indexar documentos • HTTP POST http://localhost:8080/solr/update
14. Indexar documentos via PHP
15. Borrando documentos
16. Cambios en el indice • Efectuar cambios – <commit/> • Deshacer cambios – <rollback/> • Optimizar indice – <optimize/>
17. Consultar el indice • HTTP GET http://localhost:8080/solr/select/?q=monitor
18. Consultar el indice
19. Consultar el indice via PHP
20. Elementos de la respuesta • Tipos de datos – arr – str – bool – int – float • Multivalor
21. Parametros de búsqueda • q: Los terminos de búsqueda • df: Campo de búsqueda por defecto • qt: Tipo de consulta • fl: Listado de campos • sort: Criterio de ordenación
22. Parametros de búsqueda: páginas • Parametros: start + rows
23. Parametros de busqueda: wt • Writer type • Formatos incluidos: – xml – javabin – json – python – php + phps – ruby
24. Parámetros utiles para debug • indent • debugQuery • echoHandler • echoParams
25. Sintaxis de búsqueda • Termino obligatorio (incluir) +java • Termino prohibido (excluir) -php • Termino opcional html • Tambien AND, OR y NOT
26. Sintaxis de busqueda: Comodines • Todos los valores de cualquier campo (todos los docs) – *:* • Campo especifico – title:something • Comodines – *, ? – lun* – sep?a
27. Sub expresiones y campos • +name:Billy +name:Corgan • name:(+Billy +Corgan)
28. Distancia entre palabras • Frases literales – “css guidelines” • Definir la distancia – “css guidelines”~3 • css new guidelines • css new browser standard guidelines
29. Busqueda por rangos • Funciona con los tipos de datos: fecha, numero, moneda • a_begin_date:[1990-01-01T00:00:00.000Z TO 1999-12- 31T24:59:99.999Z] • r_event_date:[* TO NOW-2YEAR] • t_duration:[300000 TO *] • somefield:[B TO C]
30. Ordenar resultados • Por defecto ordena por puntuacion • sort=score+asc • sort=a_type+desc,score+desc
31. Manos a la obra: Busquedas
32. Solr: Directorio principal • conf: Ficheros de configuracion – schema.xml La estructura de datos (tipos, analizadores, etc) – solrconfig.xml Configuracion principal (componentes, controladores) • http://.../update • http://.../select • data: El indice de Lucene • lib: Librerias Java basicas y adicionales
33. Fichero de configuracion: schema.xml • Lista de tipos • Lista de campos • Definicion de la clave primaria
34. Schema.xml • Tipos de campo – Nombres unicos – Asociados a una clase Java (ej: solr.IntField) • Propiedades – indexed – stored • compressed – multivalued
35. Schema.xml • Propiedades – name – type (una referencia a los tipos creados antes) – default – required
36. Schema.xml • Campos especiales – copyField: Anadir el contenido de uno varios campos – dynamicField: Anadir columnas dinamicamente
37. Schema.xml
38. Analisis de texto • Separacion en terminos (tokenizer) • Normalizacion (may/minusc) • Raizes • Sinonimos • Objetivo: Convertir frases en terminos • Esencial porque las personas no buscan de la misma forma en que los datos estan indexados
39. Analisis de texto
40. Analisis de texto • El unico tipo de datos con analizadores es solr.TextField • Dos cadenas: index, query – Un tokenizador por cadena. Cero o mas filtros. • Filtros a nivel de caracter: (CharFilterFactory) – Quitar acentos – Quitar signos de puntuacion – Etc...
41. Tokenizers • Separan en partes (tokens) una cadena de texto • WhitespaceTokenizerFactory: Espacios (tabs, …) • KeywordTokenizerFactory • StandardTokenizerFactory: Espacios, signos de puntuacion, guiones, etc... (no separa urls, ni emails) • PatternTokenizerFactory: Expresiones regulares
42. Stemming • Reducir palabras derivadas a su forma base (raiz) • Diferentes implementaciones: – EnglishPorterFilterFactory – SnowballPorterFilterFactory
43. Sinonimos • Filtro para buscar por sinonimos • <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> • i-pod, i pod => ipod
44. Stopwords • Filtro • Excluye de la cadena las palabras contenidas en el listado • <filter class="solr.StopFilterFactory" words="stopwords.txt" ignoreCase="true"/>
45. Otros filtros • StandardFilterFactory: Quita signos entre palabras (I.B.M. => IBM) • LowerCaseFilterFactory: Pone en minusculas todo el texto • KeepWordFilterFactory: Solo indexa/busca las palabras en el listado • LengthFilterFactory: Filtra palabras por longitud • RemoveDuplicatesTokenFilterFactory • ISOLatin1AccentFilterFactory
46. Mas filtros • CapitalizationFilterFactory • PatternReplaceFilterFactory
47. Caso de analisis
48. Componentes de busqueda • Mecanismo para extender la funcionalidad principal – QueryComponent – DebugComponent – FacetComponent • Otros – Highlighting – Query elevation – Spell checking – More like this –
49. Definiendo componentes
50. Componente de resaltado • http://localhost:8983/solr/select? indent=on&q=corgan&rows=3&qt=mb_artists&hl=true
51. Elevacion (enchufe) • Priorizar resultados “manualmente” para ciertas busquedas
52. Query elevation
53. Query elevation
54. Spellchecker • Presenta el tipico “Quiso decir...?” • Basado en palabras – De un diccionario – Del propio indice
55. MoreLikeThis
56. Cores • Tener multiples indices en una misma aplicacion • Por ejemplo, verticals: jobs, cars, homes • http://localhost:8983/solr/select?q=dave%20matthews • http://localhost:8983/solr/mbartists/select?q=dave %20matthews
57. Configuracion de cores
58. Accediendo a Solr desde PHP • Dos diferentes Writer types: php, phps • <queryResponseWriter name="php" • class="org.apache.solr.request.PHPResponseWriter"/> • <queryResponseWriter name="phps" • class="org.apache.solr.request.PHPSerializedResponse Writer"/>
60. • a:2:{s:14:"responseHeader";a:3: {s:6:"status";i:0;s:5:"QTime";i:1;s:6:" • params";a:5: {s:2:"wt";s:4:"phps";s:6:"indent";s:2:"on";s:4:"rows";s:1: • "1";s:5:"start";s:1:"0";s:1:"q";s:11:"Pete Moutso";}}s:8:"response";a: • 3:{s:8:"numFound";i:523;s:5:"start";i:0;s:4:"docs";a:1:{i:0;a:4:{s:6:" • a_name";s:11:"Pete Moutso";s:6:"a_type";s:1:"1";s:2:"id";s:13:"Artist: • 371203";s:4:"type";s:6:"Artist";}}}}
61. DataImportHandler • Obtener la informacion del indice de origenes de datos diversos. – XML – Documentos ricos: Pdf, XLS, Doc, PPT, … – Base de datos – Cuentas de correo • Puede extraer y transformar datos • Deltas
62. DataImportHandler: BBDD
63. DataImportHandler: Email
64. DataImportHandler: URL+Xpath
65. Configuracion del DIH • Habilitar controlador <requestHandler name="/dataimport" • class="org.apache.solr.handler.dataimport.DataImportHandler"> • <lst name="defaults"> • <str name="config">mb-dih-artists-jdbc.xml</str> • </lst> • </requestHandler> • Presente en el panel de administracion • curl http://localhost:8983/solr/dataimport -F command=full-import
66. Solr Cell • Utiliza Apache Tika para extraer metadata de ficheros “ricos” • Requiere un controlador especifico habilitado • <requestHandler name="/update/extract" • class="org.apache.solr.handler.extraction.ExtractingRequestHandler "> • <lst name="defaults"> • <str name="map.Last-Modified">last_modified</str> • <str name="uprefix">metadata_</str> • </lst> • </requestHandler>
67. Escalando • Master-slave • Sharding http://s1:8080/solr/select?shards=s1,s2,s3
68. Alternativas a Solr
69. Solr o Sphinx? • Buenos productos • Larga lista de empresas que los utilizan • Ambos son de codigo abierto • Ambos ofrecen soporte comercial • Clientes para muchos lenguajes • Ambos pueden escalar
70. Solr o Sphinx? • Menor consumo de memoria • Mas funcionalidades • Desligado del origen de datos (no rdbms)
71. • Shinx como un complemento de tu Web • Solr si tu Web esta centrada en busqueda
72. Gracias!