Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Architectural challenges of search

Architectural challenges of search

held at University of Hamburg in Software Architecture class in 2011

A6bb61c55fa41db28e68cd476cb54ab9?s=128

Torsten Bøgh Köster

April 13, 2012
Tweet

Transcript

  1. Architecture challenges of search. Torsten Bøgh Köster (Shopping24) University of

    Hamburg, November, 14th 2011
  2. Inhalt ‣ Ich & mein Brötchengeber ‣ Von Totalausfällen und

    roten Kleidern ‣ Von „Pimping“ und „Tweaking“ ‣ Authentifizierung und Caching ‣ Von Flüssen und Klötzen
  3. @tboeghk ‣ Software- and systems- architect ‣ Studied at University

    of Hamburg (class of 2005) ‣ Thesis on geo-spatial search ‣ 4y experience with Solr / Lucene ‣ 5y software architect at Deutscher Ring insurance developing customer and sales internet / intranet portals ‣ 2y system administrator & PHP/Perl hacker ‣ Currently team of 8 Java developers at Shopping24
  4. shopping24 internet group

  5. None
  6. google legt die messlatte ...

  7. ... sehr hoch

  8. suche hat viele facetten

  9. Suche bei shopping24

  10. apache solr

  11. aktuelle sucharchitektur

  12. None
  13. Eine neue API!

  14. Rahmenbedingungen ‣ Jeder Aspekt ein Deployable ‣ Caching ‣ Authentifizierung

    ‣ Vollständige fachliche Kapselung ‣ Suchmaschine austauschbar ‣ 1 Request <> 1 Portalseite ‣ 100ms
  15. Inhalt ‣ Ich & mein Brötchengeber ‣ Von Totalausfällen und

    roten Kleidern ‣ Von „Pimping“ und „Tweaking“ ‣ Authentifizierung und Caching ‣ Von Flüssen und Klötzen
  16. von totalausfällen und roten kleidern

  17. None
  18. None
  19. Precision & Recall

  20. Suchqualität manuell ermitteln

  21. Entwicklungserfolg wird messbar

  22. Zugriffszeiten minimieren

  23. highly effective: data sharding ...

  24. let “sharding“ follow your data ...

  25. ... and build separate cores for every client.

  26. Duplicate data as long as access is fast. andybahn /

    photocase.com
  27. Authentifizierung vs. Caching ...

  28. ... gelöst durch transparente Infrastrukturkomponenten

  29. Datenfluss zur Suchmaschine

  30. Daten werden von Klotz zu Klotz geworfen

  31. Extraktion eines denormalisierten Sortiments

  32. Wozu brauche ich jetzt nochmal einen Search Consultant?

  33. Dedizierte Suchcores - dedizierte ETL-Prozesse

  34. Alle Daten maximal vorverarbeiten

  35. das auge entwickelt mit: umfassende doku muss nicht hässlich sein.

  36. zweifel, ein treuer begleiter: transparenz von anfang an schaffen

  37. Questions? Comments? ‣ Twitter: @tboeghk ‣ Github: @tboeghk ‣ Email:

    torsten.koester@s24.com ‣ Web: s24.com ‣ Developer (old): developer.smatch.com ‣ Developer (new): developer.s24.com Images: sxc.hu (unless noted otherwise)