Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Datenproduktion in modularer Sucharchitektur bei Shopping24

Datenproduktion in modularer Sucharchitektur bei Shopping24

Mit 7 Mio. Produkten verwaltet die Shopping24 GmbH den größten Datenbestand im Bereich Mode & Wohnen in Deutschland. Für ihre Long-Tail-Produktsuchen und angebundenen Kooperationspartner werden die Produktdaten gezielt produziert. Sie werden über eine API oder als individualisierte Datenfeeds zur Verfügung gestellt. Beim Architekturschnitt waren schnelle Durchlaufzeiten und eine Elastizität der ETL-Prozesse wesentliche Kriterien. Der Vortrag zeigt die wesentlichen Erfolgsfaktoren des Architekturentwurfs, z.B. uniforme, atomar geschnittene ETLProzesse, uniforme Java/Spring/Tomcat-Architektur, ein kanonisches Datenmodell sowie die klare Trennung von Datenbanken mit unterschiedlichem fachlichen Anreicherungsstand. Der Vortrag zeigt auch, wie das Einziehen einer neuen Technologie wie MongoDb oder Hadoop alleine der Fachlichkeit nicht zuträglich ist.

A6bb61c55fa41db28e68cd476cb54ab9?s=128

Torsten Bøgh Köster

June 06, 2012
Tweet

Transcript

  1. Torsten Bøgh Köster (Shopping24) Seacon 2012, Hamburg, 6. Juni 2012

    Datenproduktion in modularer Sucharchitektur Torsten Bøgh Köster (Shopping24) Seacon 2012, Hamburg, 6. Juni 2012
  2. Inhalt ‣ Was macht Shopping24? ‣ Suche & Datenaufbereitung ‣

    Aktuelles (Teil-)Projekt: Datenaufbereitung ‣ Architekturbewertung ‣ Ausblick & Erfolgsfaktoren
  3. @tboeghk ‣Software- and systems- architect ‣Studied at University of Hamburg

    (class of 2005) ‣4y experience with Solr / Lucene ‣5y software architect at Deutscher Ring insurance ‣Currently team of 8 Java developers at Shopping24
  4. shopping24 internet group

  5. None
  6. Suche bei shopping24

  7. Subjektivität von Suche http://www.flickr.com/photos/cube-the-planet/7308219034/sizes/l/in/photostream/

  8. Die simple rasende eierlegende Wollmilchsau http://www.flickr.com/photos/davegkelly/194642201/sizes/l/in/photostream/

  9. Neue Technologien als Heilsbringer http://www.flickr.com/photos/laguglio/7082251461/sizes/l/in/photostream/

  10. Suche hat viele Facetten

  11. Interface kapselt komplexe Logik http://www.flickr.com/photos/pjen/3117275983/sizes/l/in/photostream/

  12. Interface sichtbar ... http://www.flickr.com/photos/lupinehorror/2659454214/sizes/l/in/photostream/ ... Aufwandstreiber ist Datenproduktion

  13. Fokus auf Datenproduktion http://www.flickr.com/photos/25229906@N00/4556981248/sizes/l/in/photostream/

  14. Garbage in - Garbage out

  15. Wo kommen die Produkte her?

  16. Shops liefern CSV-Dateien http://www.flickr.com/photos/cubagallery/3995393830/sizes/o/in/photostream/

  17. Normalisierung & Ablage im RDBMS http://www.flickr.com/photos/titanium-white/446771596/sizes/l/in/photostream/

  18. „Shop von Shops“ ... nur ohne Pakete

  19. Brainstorming: Datenfluss

  20. Data-Pipelining http://www.flickr.com/photos/eldano/5616170938/sizes/l/in/photostream/

  21. Produktsortiment http://www.flickr.com/photos/walmartcorporate/5684838910/sizes/l/in/photostream/

  22. Data-Pipelining mit ETL-Prozessen

  23. Umsetzung Data-Pipelining

  24. Architekturreview (1): Bottleneck Datenbanken http://www.flickr.com/photos/jakescreations/88003222/sizes/l/in/photostream/

  25. Architekturreview (2) Parallelität als Aspekt http://www.flickr.com/photos/texas_tongs/3203488941/sizes/l/in/photostream/

  26. Disruptoren & Ringbuffer Eventhandler Schreiben in Solr Produktqueue

  27. Sortimentsbefüllung mit Ring-Buffern

  28. Architekturreview (3): Bottleneck Datenbank (schon wieder)

  29. Ringbuffer-Recycling

  30. Umbau auf klassische Queues

  31. Einmal aufnehmen, n-mal verteilen http://www.flickr.com/photos/didiergrand/4314399874/

  32. load once

  33. Ausblick & Bewertung http://www.flickr.com/photos/davydubbit/3288307338/sizes/l/in/photostream/

  34. Weitere Ziele der Verteilung: „Fastlane“

  35. Besucherpattern zur Datenanreichung http://www.flickr.com/photos/charleswelch/3758500978/sizes/l/in/photostream/

  36. Fachlichkeit, Fachlichkeit, Fachlichkeit http://www.flickr.com/photos/bhaskardutta/6701663729/sizes/l/in/photostream/

  37. be elastic - embrace change http://www.flickr.com/photos/pudontour/3427312596/sizes/l/in/photostream/

  38. Questions? Comments? ‣ Twitter: @tboeghk ‣ Github: @tboeghk ‣ Email:

    torsten.koester@s24.com ‣ Slides: speakerdeck.com/u/tboeghk ‣ developer.s24.com