Ruby, gigabajty danych dziennie i czas rzeczywisty

Transcript

1. RUBY, GIGABAJTY DANYCH DZIENNIE I CZAS RZECZYWISTY Łukasz Piestrzeniewicz

2. WYSZUKIWANIE KOSZTUJE

3. DANE DO WYKORZYSTANIA Statystyki

4. 30GB DANYCH/DZIEŃ 5,5 TB - dane z pół roku

5. 0,5-5 WYSZUKIWAŃ NA SEKUNDĘ

6. SKOMPLIKOWANA STRUTURA DANYCH

7. TRUDNE ZAPYTANIA • Najtańsze dostępne loty z konkretnego miasta •

   Najpopularniejsze cele lotów • Jak długo warto cache’ować wyniki

8. 50 MS NA PRZYJĘCIE DANYCH

9. 250 MS NA WYŚWIETLENIE STATYSTYKI

10. CO NIE DZIAŁA • Bazy NoSQL • Bazy SQL

11. ZWYKŁY SPOSÓB • Zbierz dane • Wrzuć w storage •

    Wybierz to co Cię interesuje • Wyświetl wyniki

12. LEPSZY SPOSÓB • Zbierz dane • Wybierz to co Cię

    interesuje • Wrzuć w storage • Wyświetl wyniki

13. POMYSŁ • Jedna tabela na zapytanie • Dane tylko dla

    tego zapytania • Kasujemy zbędne dane • Brak zapytań ad-hoc

14. TRZY FAZY • Kolekcja danych (błyskawiczna) • Przetwarzanie danych (w

    tle) • Wyświetlanie statystyk (natychmiastowe)

15. KOLEKCJA • Aplikacja Goliath • Dane w request • Zapisanie

    na dysk • Dodanie do kolejki przetwarzania • 1 ms

16. PRZETWARZANIE • Resque (Redis) • Wybierz dane z paczki •

    Zaktualizuj wszystkie tabele • 300 ms

17. WYŚWIETLANIE • Odczyt z jednej tabeli • Renderowanie HTML •

    100 ms

18. MAP/REDUCE by hand

19. PODSUMOWANIE • Istniejące technologie • Odmienny sposób patrzenia • Umiejętność

    przekonania klienta, że nie dostanie wszystkiego • Ruby się skaluje • Evented programming FTW!

20. ROOM FOR IMPROVEMENT • Zapis danych na dysk z poziomu

    workera