Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit (Otto Group BI Streaming Round Table)

Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit (Otto Group BI Streaming Round Table)

A newer and more recent version of the talk held at WJAX 2015.

A6bb61c55fa41db28e68cd476cb54ab9?s=128

Torsten Bøgh Köster

May 20, 2016
Tweet

Transcript

  1. Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit Otto Streaming Round

    Table 2016 Torsten Bøgh Köster (Shopping24) 19. Mai 2016
  2. Agenda

  3. @tboeghk CTO shopping24 internet group Search Technology Meetup Hamburg Search,

    build, delivery, code quality, road bike
  4. None
  5. Open Source Power. Delivered.

  6. search system @ shopping24

  7. Anwendungsfall 1

  8. Sucharchitektur

  9. Produktbefüllung

  10. Keine Index-Updates zur Prime Time

  11. Verfügbarkeit aktualisieren

  12. Verfügbarkeit von 1,5 Mrd. Produkten?

  13. Bloomfilter

  14. Funktionsweise Bloomfilter

  15. Lokale Bloomfilter

  16. Anwendungsfall 2

  17. Relevante Produkte je Suchanfrage

  18. Benutzeraktionen einfangen

  19. Benutzeraktionen verarbeiten

  20. None
  21. You cannot scale into real time!

  22. Stream Mining

  23. Logstash FTW!

  24. Popularitätswerte als Rankingfaktor

  25. Mit Mandanten exponentielle Datenpunkte

  26. None
  27. The Count-Min-Sketch: A Bloomfilter on Steroids

  28. Wie geht das?

  29. None
  30. Relevanz von Datenpunkten im zeitlichen Verlauf

  31. Exponential Decay

  32. Punisher.java

  33. Anwendungsfall 3

  34. Populäre Suchen in der Autocompletion boosten

  35. Heavy Hitters a.k.a. TopK

  36. Und so geht’s

  37. None
  38. None
  39. None
  40. Questions? @tboeghk developer.s24.com torsten.koester@s24.com