Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit (Otto Group BI Streaming Round Table)

A newer and more recent version of the talk held at WJAX 2015.

Transcript

1. Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit Otto Streaming Round Table 2016 Torsten Bøgh Köster (Shopping24) 19. Mai 2016
2. Agenda
3. @tboeghk CTO shopping24 internet group Search Technology Meetup Hamburg Search, build, delivery, code quality, road bike
5. Open Source Power. Delivered.
6. search system @ shopping24
7. Anwendungsfall 1
8. Sucharchitektur
9. Produktbefüllung
10. Keine Index-Updates zur Prime Time
11. Verfügbarkeit aktualisieren
12. Verfügbarkeit von 1,5 Mrd. Produkten?
13. Bloomfilter
14. Funktionsweise Bloomfilter
15. Lokale Bloomfilter
16. Anwendungsfall 2
17. Relevante Produkte je Suchanfrage
18. Benutzeraktionen einfangen
19. Benutzeraktionen verarbeiten
21. You cannot scale into real time!
22. Stream Mining
23. Logstash FTW!
24. Popularitätswerte als Rankingfaktor
25. Mit Mandanten exponentielle Datenpunkte
27. The Count-Min-Sketch: A Bloomfilter on Steroids
28. Wie geht das?
30. Relevanz von Datenpunkten im zeitlichen Verlauf
31. Exponential Decay
32. Punisher.java
33. Anwendungsfall 3
34. Populäre Suchen in der Autocompletion boosten
35. Heavy Hitters a.k.a. TopK
36. Und so geht’s
40. Questions? @tboeghk developer.s24.com torsten.koester@s24.com