Architectural challenges of search

held at University of Hamburg in Software Architecture class in 2011

Transcript

1. Architecture challenges of search. Torsten Bøgh Köster (Shopping24) University of Hamburg, November, 14th 2011
2. Inhalt ‣ Ich & mein Brötchengeber ‣ Von Totalausfällen und roten Kleidern ‣ Von „Pimping“ und „Tweaking“ ‣ Authentifizierung und Caching ‣ Von Flüssen und Klötzen
3. @tboeghk ‣ Software- and systems- architect ‣ Studied at University of Hamburg (class of 2005) ‣ Thesis on geo-spatial search ‣ 4y experience with Solr / Lucene ‣ 5y software architect at Deutscher Ring insurance developing customer and sales internet / intranet portals ‣ 2y system administrator & PHP/Perl hacker ‣ Currently team of 8 Java developers at Shopping24
4. shopping24 internet group
6. google legt die messlatte ...
7. ... sehr hoch
8. suche hat viele facetten
9. Suche bei shopping24
10. apache solr
11. aktuelle sucharchitektur
13. Eine neue API!
14. Rahmenbedingungen ‣ Jeder Aspekt ein Deployable ‣ Caching ‣ Authentifizierung ‣ Vollständige fachliche Kapselung ‣ Suchmaschine austauschbar ‣ 1 Request <> 1 Portalseite ‣ 100ms
15. Inhalt ‣ Ich & mein Brötchengeber ‣ Von Totalausfällen und roten Kleidern ‣ Von „Pimping“ und „Tweaking“ ‣ Authentifizierung und Caching ‣ Von Flüssen und Klötzen
16. von totalausfällen und roten kleidern
19. Precision & Recall
20. Suchqualität manuell ermitteln
21. Entwicklungserfolg wird messbar
22. Zugriffszeiten minimieren
23. highly effective: data sharding ...
24. let “sharding“ follow your data ...
25. ... and build separate cores for every client.
26. Duplicate data as long as access is fast. andybahn / photocase.com
27. Authentifizierung vs. Caching ...
28. ... gelöst durch transparente Infrastrukturkomponenten
29. Datenfluss zur Suchmaschine
30. Daten werden von Klotz zu Klotz geworfen
31. Extraktion eines denormalisierten Sortiments
32. Wozu brauche ich jetzt nochmal einen Search Consultant?
33. Dedizierte Suchcores - dedizierte ETL-Prozesse
34. Alle Daten maximal vorverarbeiten
35. das auge entwickelt mit: umfassende doku muss nicht hässlich sein.
36. zweifel, ein treuer begleiter: transparenz von anfang an schaffen
37. Questions? Comments? ‣ Twitter: @tboeghk ‣ Github: @tboeghk ‣ Email: torsten.koester@s24.com ‣ Web: s24.com ‣ Developer (old): developer.smatch.com ‣ Developer (new): developer.s24.com Images: sxc.hu (unless noted otherwise)