Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Datenproduktion in modularer Sucharchitektur be...

Datenproduktion in modularer Sucharchitektur bei Shopping24

Mit 7 Mio. Produkten verwaltet die Shopping24 GmbH den größten Datenbestand im Bereich Mode & Wohnen in Deutschland. Für ihre Long-Tail-Produktsuchen und angebundenen Kooperationspartner werden die Produktdaten gezielt produziert. Sie werden über eine API oder als individualisierte Datenfeeds zur Verfügung gestellt. Beim Architekturschnitt waren schnelle Durchlaufzeiten und eine Elastizität der ETL-Prozesse wesentliche Kriterien. Der Vortrag zeigt die wesentlichen Erfolgsfaktoren des Architekturentwurfs, z.B. uniforme, atomar geschnittene ETLProzesse, uniforme Java/Spring/Tomcat-Architektur, ein kanonisches Datenmodell sowie die klare Trennung von Datenbanken mit unterschiedlichem fachlichen Anreicherungsstand. Der Vortrag zeigt auch, wie das Einziehen einer neuen Technologie wie MongoDb oder Hadoop alleine der Fachlichkeit nicht zuträglich ist.

Torsten Bøgh Köster

June 06, 2012
Tweet

More Decks by Torsten Bøgh Köster

Other Decks in Technology

Transcript

  1. Torsten Bøgh Köster (Shopping24) Seacon 2012, Hamburg, 6. Juni 2012

    Datenproduktion in modularer Sucharchitektur Torsten Bøgh Köster (Shopping24) Seacon 2012, Hamburg, 6. Juni 2012
  2. Inhalt ‣ Was macht Shopping24? ‣ Suche & Datenaufbereitung ‣

    Aktuelles (Teil-)Projekt: Datenaufbereitung ‣ Architekturbewertung ‣ Ausblick & Erfolgsfaktoren
  3. @tboeghk ‣Software- and systems- architect ‣Studied at University of Hamburg

    (class of 2005) ‣4y experience with Solr / Lucene ‣5y software architect at Deutscher Ring insurance ‣Currently team of 8 Java developers at Shopping24
  4. Questions? Comments? ‣ Twitter: @tboeghk ‣ Github: @tboeghk ‣ Email:

    [email protected] ‣ Slides: speakerdeck.com/u/tboeghk ‣ developer.s24.com