Андрей Лузин (2ГИС), Big data engineering 101, CodeFest 2017

https://2017.codefest.ru/lecture/1172

На сегодняшний день подход big data доказал свою полезность для бизнеса и сформировался как самостоятельное направление в IT-индустрии. Анализом больших объёмов статистики занимаются не только компании-гиганты, в этой области пробуют силы даже стартапы. Однако у небольших компаний нет готовой инфраструктуры и набора inhouse-решений для приёма, доставки и обработки данных.

В этом докладе я расскажу о принципах, подходах и open-source компонентах на которых можно такое решение построить. Сфокусируемся на инженерной части BigData: бэкендах приёма, очередях доставки и хранилищах данных. Рассмотрим потоковую (data streaming) и массовую (map-reduce) обработку данных. Также поговорим про такую важную тему как форматы представления данных, немного затронем тему сбора данных в приложении / браузере. И конечно я расскажу как и с помощью каких инструментов мы решали эту задачу в 2GIS. В ходе рассказа будут упомянуты Golang, C++, Hadoop, Kafka, Spark и некоторые другие технологии. Если вы используете другой стек - не страшно, упор будет сделан на принципы и архитектуру.

Цель моего доклада: Если (на самом деле когда) к вам прийдёт CEO со словами "давай начнём собирать данные", вы будете знать, какими принципами руководствоваться и в какую сторону копать. Информации на тему “как освоить R, Python, Hadoop за 21 день и стать высокооплачиваемым data scientist ’ом, увы, не будет.

Transcript

1. Big Data Engineering 101 Инженерная составляющая системы приёма, обработки и хранения данных Андрей Лузин Backend developer
2. [Not So] Big Data • ~ 100 миллиардов записей в хранилище • ~ 1KB - размер записи • ~ 10K вставок в секунду
4. Специалист по анализу данных - Мат.статистика - R - Python - Hadoop M/R - SQL - etc
5. Задачи инженерной части • Сбор данных • Доставка к месту анализа • Надёжное хранение истории • Удобный доступ инструментам анализа
6. Open source & code glue
7. SaaS
8. Cloud
9. Пример
10. Очевидное решение access.log
11. Логи есть не везде
12. Логи содержат не всё • Не все события генерируются при обращении на бэкенд • Не хочется регистрировать каждое событие отдельным HTTPS запросом
13. Не Hadoop’ом единым • Существующие OLAP, BI → ETL • Поточная обработка • Обогащение данных • Ad-hoc & one-off
15. Этапы обработки
16. Собираем события { "type": "search", "query": "Экспоцентр" "event-id": "someguid42", "user-id": "anotherguid23", "session-id": "sessionguid64", "timestamp": 1490245277, "version": 2, ... }
17. Рекомендуемые поля • ID события • ID сессии • ID пользователя? • Версия
18. Формат представления • JSON • Google Protobuf • Apache Avro
19. Как сделано в 2GIS • Сбор на клиенте • Zipped JSON • Версионирование, JSON Schema
20. Транспортировка • Частота vs. нагрузка • Транспорт - HTTPS
21. Приём
22. Сглаживаем пики
23. Батчинг • Эффективная обработка • Крупноблочный параллелизм обработки
24. Сырые данные • Возможножность репроцессинга • Расследование проблем с форматом и валидацией
25. Пример 2GIS
26. Доставка
27. Дедупликация
28. Фрод
29. Валидация
30. Пример 2GIS - Дедупликация: хэши сессий в Tarantool - Антифрод: эвристики + ML - Валидация: схемы + правила
31. Доставка • Несколько получателей • Фильтрация • Отслеживание позиции чтения на стороне транспорта • Возможность “перемотки” • Шардинг и параллелизм • Обогащение данных
32. Пример 2GIS
33. Обогащение данных
34. Поточная обработка
35. Доставка
36. Приём и доставка
37. Хранение и анализ
38. Hadoop • Надёжное хранилище архива • Массовая обработка данных • Источник для других систем
39. Hadoop для людей
40. Вся цепочка
41. Быстрые выборки и агрегации
42. Эксплуатация
43. Логирование
44. Мониторинг • Время прохождения через систему • Потери • Дубли
45. Summary • Big data ≠ Hadoop • Разделяйте приём, доставку и хранение • Не бойтесь избыточности хранения данных
47. Материалы по теме https://github.com/dronnix/CodeFest2017
48. @dronnix Вопросы? andrew.luzin@gmail.com Андрей Лузин Backend developer