Datenproduktion in modularer Sucharchitektur bei Shopping24

Mit 7 Mio. Produkten verwaltet die Shopping24 GmbH den größten Datenbestand im Bereich Mode & Wohnen in Deutschland. Für ihre Long-Tail-Produktsuchen und angebundenen Kooperationspartner werden die Produktdaten gezielt produziert. Sie werden über eine API oder als individualisierte Datenfeeds zur Verfügung gestellt. Beim Architekturschnitt waren schnelle Durchlaufzeiten und eine Elastizität der ETL-Prozesse wesentliche Kriterien. Der Vortrag zeigt die wesentlichen Erfolgsfaktoren des Architekturentwurfs, z.B. uniforme, atomar geschnittene ETLProzesse, uniforme Java/Spring/Tomcat-Architektur, ein kanonisches Datenmodell sowie die klare Trennung von Datenbanken mit unterschiedlichem fachlichen Anreicherungsstand. Der Vortrag zeigt auch, wie das Einziehen einer neuen Technologie wie MongoDb oder Hadoop alleine der Fachlichkeit nicht zuträglich ist.

Transcript

1. Torsten Bøgh Köster (Shopping24) Seacon 2012, Hamburg, 6. Juni 2012 Datenproduktion in modularer Sucharchitektur Torsten Bøgh Köster (Shopping24) Seacon 2012, Hamburg, 6. Juni 2012
2. Inhalt ‣ Was macht Shopping24? ‣ Suche & Datenaufbereitung ‣ Aktuelles (Teil-)Projekt: Datenaufbereitung ‣ Architekturbewertung ‣ Ausblick & Erfolgsfaktoren
3. @tboeghk ‣Software- and systems- architect ‣Studied at University of Hamburg (class of 2005) ‣4y experience with Solr / Lucene ‣5y software architect at Deutscher Ring insurance ‣Currently team of 8 Java developers at Shopping24
4. shopping24 internet group
6. Suche bei shopping24
7. Subjektivität von Suche http://www.flickr.com/photos/cube-the-planet/7308219034/sizes/l/in/photostream/
8. Die simple rasende eierlegende Wollmilchsau http://www.flickr.com/photos/davegkelly/194642201/sizes/l/in/photostream/
9. Neue Technologien als Heilsbringer http://www.flickr.com/photos/laguglio/7082251461/sizes/l/in/photostream/
10. Suche hat viele Facetten
11. Interface kapselt komplexe Logik http://www.flickr.com/photos/pjen/3117275983/sizes/l/in/photostream/
12. Interface sichtbar ... http://www.flickr.com/photos/lupinehorror/2659454214/sizes/l/in/photostream/ ... Aufwandstreiber ist Datenproduktion
13. Fokus auf Datenproduktion http://www.flickr.com/photos/25229906@N00/4556981248/sizes/l/in/photostream/
14. Garbage in - Garbage out
15. Wo kommen die Produkte her?
16. Shops liefern CSV-Dateien http://www.flickr.com/photos/cubagallery/3995393830/sizes/o/in/photostream/
17. Normalisierung & Ablage im RDBMS http://www.flickr.com/photos/titanium-white/446771596/sizes/l/in/photostream/
18. „Shop von Shops“ ... nur ohne Pakete
19. Brainstorming: Datenfluss
20. Data-Pipelining http://www.flickr.com/photos/eldano/5616170938/sizes/l/in/photostream/
21. Produktsortiment http://www.flickr.com/photos/walmartcorporate/5684838910/sizes/l/in/photostream/
22. Data-Pipelining mit ETL-Prozessen
23. Umsetzung Data-Pipelining
24. Architekturreview (1): Bottleneck Datenbanken http://www.flickr.com/photos/jakescreations/88003222/sizes/l/in/photostream/
25. Architekturreview (2) Parallelität als Aspekt http://www.flickr.com/photos/texas_tongs/3203488941/sizes/l/in/photostream/
26. Disruptoren & Ringbuffer Eventhandler Schreiben in Solr Produktqueue
27. Sortimentsbefüllung mit Ring-Buffern
28. Architekturreview (3): Bottleneck Datenbank (schon wieder)
29. Ringbuffer-Recycling
30. Umbau auf klassische Queues
31. Einmal aufnehmen, n-mal verteilen http://www.flickr.com/photos/didiergrand/4314399874/
32. load once
33. Ausblick & Bewertung http://www.flickr.com/photos/davydubbit/3288307338/sizes/l/in/photostream/
34. Weitere Ziele der Verteilung: „Fastlane“
35. Besucherpattern zur Datenanreichung http://www.flickr.com/photos/charleswelch/3758500978/sizes/l/in/photostream/
36. Fachlichkeit, Fachlichkeit, Fachlichkeit http://www.flickr.com/photos/bhaskardutta/6701663729/sizes/l/in/photostream/
37. be elastic - embrace change http://www.flickr.com/photos/pudontour/3427312596/sizes/l/in/photostream/
38. Questions? Comments? ‣ Twitter: @tboeghk ‣ Github: @tboeghk ‣ Email: torsten.koester@s24.com ‣ Slides: speakerdeck.com/u/tboeghk ‣ developer.s24.com