Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit (Otto Group BI Streaming Round Table)

A6bb61c55fa41db28e68cd476cb54ab9?s=47 Torsten Bøgh Köster
May 20, 2016
Technology
0
29

Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit (Otto Group BI Streaming Round Table)

A newer and more recent version of the talk held at WJAX 2015.

A6bb61c55fa41db28e68cd476cb54ab9?s=128

Torsten Bøgh Köster

May 20, 2016
Tweet

More Decks by Torsten Bøgh Köster

See All by Torsten Bøgh Köster
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
37
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
1
35
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
580
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
450
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
48
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
82
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
88
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
0
42
A6bb61c55fa41db28e68cd476cb54ab9?s=48 tboeghk
2
1.3k

Other Decks in Technology

See All in Technology
Ecad9d801d79f6c6e5df93094690685e?s=48 sinsoku
8
730
Cfe33d3ab95f1c4902ee70b54af9e2a5?s=48 tokyoyoshida
0
220
00851927294532e0742c2c174730dff0?s=48 ido_kara_deru
1
120
E123f0d70182268563d4e63e23d8c55c?s=48 drumath2237
0
200
3009eedce0d0f7ae45987a7bd8f57b85?s=48 nkjzm
0
150
84cfa5aa96405be9af4874ba266785af?s=48 giancosta86
1
170
A64ac825509279a770c13c6fc517f11a?s=48 kawaguti
PRO
4
610
D79df863ac26fcad4777f67a669bdacd?s=48 feedtailor
1
110
3e66b3ccfa617b78c59d9dec865aa29f?s=48 noppefoxwolf
1
520
De96bf5df1407e8c7b22a970c265c809?s=48 kazushieguchi
0
1.8k
Ea6f48942c1e74ed0c78250321b124f9?s=48 dhamuharker
0
550
98234c645fe8c935edc0fec0186d28b8?s=48 garethr
1
110

Featured

See All Featured
719435d98d452de7ac367c828266cf01?s=48 erikaheidi
27
5k
651dcfe41723207fbb0aa044a4f7c07f?s=48 dotmariusz
99
5.7k
F716e5f737fcfb03f2cf8d1a184f1dbe?s=48 nonsquared
84
3.6k
E9221b172e78e888355fa2fe4541b595?s=48 mclloyd
PRO
2
7.4k
Ecdea9b9714877b86cee08458f085481?s=48 trallard
24
1.2k
C620790ae5bf5b50c245b2e0ef95f338?s=48 deanohume
294
28k
9fa239b3154a0169d99ab7bf1422dd12?s=48 marcelosomers
224
15k
E4f5d494ebdc9e7cce1aecf3ce3e8bc1?s=48 shpigford
167
19k
1519587b1a0febb658c36c94f6272b0d?s=48 roundedbygravity
85
8.1k
1f74b13f1e5c6c69cb5d7fbaabb1e2cb?s=48 sferik
612
56k
5ce91fa49a613cbc3e20d5f96856473f?s=48 edds
56
9.6k
E195ae45320d9202eaa01c9f1d31a416?s=48 marktimemedia
14
660

Transcript

  1. Streamingdatenstrukturen zum Analysieren von Nutzeraktionen in Echtzeit Otto Streaming Round

    Table 2016 Torsten Bøgh Köster (Shopping24) 19. Mai 2016

  2. Agenda

  3. @tboeghk CTO shopping24 internet group Search Technology Meetup Hamburg Search,

    build, delivery, code quality, road bike
  4. None

  5. Open Source Power. Delivered.

  6. search system @ shopping24

  7. Anwendungsfall 1

  8. Sucharchitektur

  9. Produktbefüllung

  10. Keine Index-Updates zur Prime Time

  11. Verfügbarkeit aktualisieren

  12. Verfügbarkeit von 1,5 Mrd. Produkten?

  13. Bloomfilter

  14. Funktionsweise Bloomfilter

  15. Lokale Bloomfilter

  16. Anwendungsfall 2

  17. Relevante Produkte je Suchanfrage

  18. Benutzeraktionen einfangen

  19. Benutzeraktionen verarbeiten

  20. None

  21. You cannot scale into real time!

  22. Stream Mining

  23. Logstash FTW!

  24. Popularitätswerte als Rankingfaktor

  25. Mit Mandanten exponentielle Datenpunkte

  26. None

  27. The Count-Min-Sketch: A Bloomfilter on Steroids

  28. Wie geht das?

  29. None

  30. Relevanz von Datenpunkten im zeitlichen Verlauf

  31. Exponential Decay

  32. Punisher.java

  33. Anwendungsfall 3

  34. Populäre Suchen in der Autocompletion boosten

  35. Heavy Hitters a.k.a. TopK

  36. Und so geht’s

  37. None
  38. None
  39. None

  40. Questions? @tboeghk developer.s24.com torsten.koester@s24.com