Apache Solr - A deeper look

Transcript

2. http://www.dkd.de
4. d d k design kommunikation development
6. Apache Solr - A deeper look Stefan Sprenger, Developer dkd Olivier Dobberkau, Geschäftsführer dkd
7. Agenda Einführung Boosting Empfehlungen Ausblick
8. Einführung Was ist Apache Solr?
9. Apache Lucene hoch-performante Such-Engine Open-Source 100% Java Ressourcen-sparend Ports für zahlreiche Programmiersprachen
10. Apache Solr basiert im Kern auf Apache Lucene REST-ähnliche HTTP-Schnittstelle verarbeitet XML, JSON, CSV und Binärdaten erweitert Lucene um diverse Features, z.B. Facetten Suchwort-Highlighting HTML-Admin-Interface Caching Stable-Versionen: 3.6.2 und 4.2
11. Apache Solr wird verwendet bei ...
12. Workflow einer Suchanwendung Indexieren Abfragen Ergebnisse Analyse
13. Schemafreiheit Dokumente besitzen kein festes Schema hohe Flexibilität beliebige Attribute Beispiel: Visitenkarten
14. Datenmodell Solr-Index Dokument A title author content Dokument B title content Dokument C title author content created
15. Solr-Index „Inverted Index“ Liste an Wörtern („Terms“) jeder Term zeigt auf Dokumente, die ihn enthalten
16. Lucene Query Language (1) erlaubt das Durchsuchen von Dokumenten Keyword-Matching title:“TYPO3“ title:“TYPO3“ AND content:“Solr“ title:“TYPO3“ OR content:“Solr“ Wildcard-Matching title:“TYPO*“ *:“TYPO3“
17. Lucene Query Language (2) Range-Queries created:[20120101 TO 20140131]
18. Facettierte Suche
19. Content-Elevation Bezahlte Ergebnisse bestimmte Dokumente erscheinen immer am Anfang der Suchergebnisse
20. Geo-Suche Suche im Umkreis einer Geo-Position z.B. Shops im Umkreis von 10km Funktionen zur Distanzberechnung
21. Dateiindexierung mit Apache Tika Tika ist in Solr integriert extrahiert Metadaten aus Dateien erkennt 1200+ Dateitypen liest davon 600+ z.B. Of ce-Formate, Audio, Bilder, Videos, E-Mails, ...
22. Apache Nutch kann zur Indexierung von externen Webseiten verwendet werden EXT:solr bietet eine API an, die ein selbst entwickeltes Nutch-Plugin verwendet Integration in TYPO3
23. Weitere Features Rechtschreibüberprüfung Synonyme und Stoppwörter Sortierung Gruppierte Ausgabe von Ergebnissen Hervorhebung von Suchwörtern ...
24. Literatur
25. Boosting
26. Ziel Relevanz der Suchergebnisse beein ussen beschreibt die Qualität/Güte der Suchergebnisse Ergebnisse verbessern Standard-Sortierung: Relevanz Ergebnisse mit hoher Relevanz stehen am Anfang
27. Boosting von Attributen Relevanz einzelner Attribute beein ussen (title:typo3)^5.0 (content:typo3)^2.0
28. Case-Insensitive Matches Wenn nach „solr“ gesucht wird, sollen auch Dokumente, die „Solr“ enhalten, gefunden werden Verwenden eines lowercase-Filters
29. Boosting von exakten Matches exakte Matches sollen eine höhere Relevanz in den Suchergebnissen erhalten z.B. Case-sensitive Schreibweise eigenes Feld mittels copyField erstellen, das das Wort in exakter Schreibweise enthält ohne lowercase-Filter dieses Feld erhält eine höhere Priorität
30. Boosting von Dokumenten „Bezahlte Ergebnisse“ Kon guration der Dokumente per XML <elevate> <query text=“Typo3“> <doc id=“1“ /> </query> <query text=“Solr“> <doc id=“2“ /> <doc id=“3“ /> <doc id=“5“ exclude=“true“ /> </query> </elevate>
31. Empfehlungen
32. Einsatzgebiet Apache Solr zum Erstellen von Empfehlungen verwenden Navigation durch Suchergebnisse und Webseiteninhalte z.B. Shops
33. Attributsbasierte Empfehlungen (1) http://de.slideshare.net/treygrainger/building-a-real-time-solrpowered-recommendation-engine Verwenden von Eigenschaften, die man vom Benutzer kennt, um einen Solr-Index abzufragen Beispiel: man weiß, dass ein Benutzer sich für den Studiengang „Informatik“ interessiert dann können Dokumente aus dem Fachbereich „Informatik“ vorgeschlagen werden fachbereich:Informatik
34. Attributsbasierte Empfehlungen (2) Spezielle Felder erstellen, auf deren Basis Empfehlungen ausgesprochen werden Bessere Steuerung von Empfehlungen
35. More Like This eigenes Solr-Modul arbeitet basierend auf Begriffen („Terms“) in Attributen Solr berechnet die textliche Ähnlichkeit der Dokumente und schlägt die Top-Treffer vor
36. Ausblick
37. Apache Stanbol Content Enhancement annotiert Texte mit Metadaten z.B. Personen, Orte nutzt Apache Solr zur Speicherung unterstützt Mehrsprachigkeit
38. Hosted Solr
39. Links lucene.apache.org/solr/ www.typo3-solr.com forge.typo3.org/projects/extension-solr/ Wiki Issues
40. Fragen?
41. d d k design kommunikation development sagt danke.