Агрегация и обработка статистики

Transcript

1. Агрегация и обработка статистики реального времени Валерий Змиевской

2. Что нам нужно? • База данных • Отказаться от запросов:

   group by keyfield … order by sum(datafield) desc • Upsert MongoDB, MySQL - есть нативный синтаксис

3. Как хранить данные Хранить данные для каждого ключа группировки в

   отдельной таблице: user : [last_login, orders, coupons_used, …] category, date : [orders_amount, items_sold] region, date : [orders_amount, items_sold] ….

4. OLAP-куб на одной таблице Ключи : данные [region, category, year,

   month] : [ord, isold] [<all>, 12, 2013, 01] : [100, 665] [<all>, <all>, 2013, 01] : [1600, 5200] ….

5. Срезы [region, category, year, month] [0, 0, 1, 0], [0,

   0, 1, 1], [1, 0, 1, 0], [1, 0, 1, 1] [0, 1, 1, 0], [0, 1, 1, 1], [1, 1, 1, 0], [1, 1, 1, 1] [0, 1, 0, 0], [1, 1, 0, 0] Не нужны срезы: [*, *, 0, 1] и [*, 0, 0, 0]

6. Показываем: category, графики по месяцам Сортируем: ord, isold Индексы: •

   region, category, year, month - unique|Charts • region, year, month, ord - Orders/Category • region, year, month, isold - It. sold/Category Индексы

7. Запросы: Категории: region=<all>, year=<all>, month=<all> region=EU, year=<all>, month=<all> region=EU, year=2013,

   month=<all> График по категории Goods за 2013 год region=EU, year=2013, category=’Goods’