Ruby, gigabajty danych dziennie i czas rzeczywisty

Speaker: Łukasz Piestrzeniewicz

Transcript

1. RUBY, GIGABAJTY DANYCH DZIENNIE I CZAS RZECZYWISTY Łukasz Piestrzeniewicz
2. WYSZUKIWANIE KOSZTUJE
3. DANE DO WYKORZYSTANIA Statystyki
4. 30GB DANYCH/DZIEŃ 5,5 TB - dane z pół roku
5. 0,5-5 WYSZUKIWAŃ NA SEKUNDĘ
6. SKOMPLIKOWANA STRUTURA DANYCH
7. TRUDNE ZAPYTANIA • Najtańsze dostępne loty z konkretnego miasta • Najpopularniejsze cele lotów • Jak długo warto cache’ować wyniki
8. 50 MS NA PRZYJĘCIE DANYCH
9. 250 MS NA WYŚWIETLENIE STATYSTYKI
10. CO NIE DZIAŁA • Bazy NoSQL • Bazy SQL
11. ZWYKŁY SPOSÓB • Zbierz dane • Wrzuć w storage • Wybierz to co Cię interesuje • Wyświetl wyniki
12. LEPSZY SPOSÓB • Zbierz dane • Wybierz to co Cię interesuje • Wrzuć w storage • Wyświetl wyniki
13. POMYSŁ • Jedna tabela na zapytanie • Dane tylko dla tego zapytania • Kasujemy zbędne dane • Brak zapytań ad-hoc
14. TRZY FAZY • Kolekcja danych (błyskawiczna) • Przetwarzanie danych (w tle) • Wyświetlanie statystyk (natychmiastowe)
15. KOLEKCJA • Aplikacja Goliath • Dane w request • Zapisanie na dysk • Dodanie do kolejki przetwarzania • 1 ms
16. PRZETWARZANIE • Resque (Redis) • Wybierz dane z paczki • Zaktualizuj wszystkie tabele • 300 ms
17. WYŚWIETLANIE • Odczyt z jednej tabeli • Renderowanie HTML • 100 ms
18. MAP/REDUCE by hand
19. PODSUMOWANIE • Istniejące technologie • Odmienny sposób patrzenia • Umiejętność przekonania klienta, że nie dostanie wszystkiego • Ruby się skaluje • Evented programming FTW!
20. ROOM FOR IMPROVEMENT • Zapis danych na dysk z poziomu workera