Построение системы realtime-аналитики на ClickHouse

Егор Матешук, CDO, Qvant.ru

Transcript

1. Real-time аналитика для DSP Как мы выбирали архитектуру для real-time аналитики Егор Матешук
2. О чем сегодня поговорим • Какие есть подходы к построению real-time аналитики? • Какие у них плюсы и минусы? • Почему мы выбрали ClickHouse? 2
3. 3 Для начала: какой аналитикой мы занимаемся?
4. Первая версия архитектуры Требования к первой версии аналитики для DSP • Использовать адаптированные технологии • Поддерживать гео-распределенность • Поставлять данные с задержкой до 15 минут 4
5. 5 Первая версия архитектуры DSP UI
6. С какими проблемами столкнулись? • Сложности мониторинга • Сложность сверки • Проблемы с ускорением доставки 6
7. 7 Новые требования На основе этого опыта были сформированы новые требования: • Уменьшить “зоопарк” • Дать доступ разработчикам к данным • Ускорить доставку
8. Какие есть схемы для real-time аналитики? • Lambda • Kappa 8
9. 9 Serving Backend Serving Layer Queries Lambda Batch Layer Streaming Layer Data storage Raw data Results Batch Engine Real-time Engine
10. Lambda • Batch Layer - надежная пакетная обработка • Streaming Layer - быстрая потоковая обработка • Serving Layer - абстракция для агрегатов из двух предыдущих слоев 10
11. 11 Stream Storage Stream Processing Serving Layer Batch Processing Batch Storage
12. 12 Stream Storage Stream Processing Serving Layer Batch Processing Batch Storage
13. 13 Stream Storage Stream Processing Serving Layer Batch Processing Batch Storage
14. 14 Serving Backend Serving Layer Queries Lambda Batch Layer Streaming Layer Data storage Raw data Results Batch Engine Real-time Engine
15. 15 Lambda Data storage Raw data Results Queries
16. 16 Lambda Плюсы + Скорость стрима + Надежность батча + Простой репроцессинг Минусы - Дублирование логики - Дублирование сервисов
17. 17 Kappa Serving Backend Serving Layer Queries Data storage Raw data Results Streaming Layer Real-time Engine
18. Kappa • Streaming Layer - потоковая обработка • Serving Layer - хранилище агрегатов 18
19. 19 Kappa Serving Backend Serving Layer Queries Data storage Raw data Results Streaming Layer Real-time Engine
20. 20 Kappa Queries Data storage Raw data Results
21. 21 Lambda Плюсы + Скорость стрима + Без дублирования кода Минусы - Ограничения реализации - Сложный репроцессинг
22. И тут появляется ClickHouse • Интеграция с Kafka • Хранение больших объемов данных • Materialized view • Быстрые агрегаты • Передача готовых данных “на фронт” 22
23. 23 Роль Materialized View Raw data Aggregate Σ
24. Роль Materialized View • Быстрая доставка новых данных • Избавление от периодических джоб 24
25. 25 Serving Backend Serving Layer Queries Lambda Batch Layer Streaming Layer Data storage Raw data Results Batch Engine Real-time Engine
26. 26 Queries Lambda Data storage Raw data Results SQL Mat View
27. 27 Первая версия архитектуры DSP UI
28. 28 Вторая версия архитектуры DSP UI
29. Что нужно учитывать • Mat View проигрывает по функционалу Flink • Заливку из кафки удобнее делать отдельными инструментами • “Грабли” в поддержке базы 29
30. Результаты • Уменьшение “зоопарка” технологий • Сокращение времени доставки данных • Упрощение разработки 30
31. Выводы ClickHouse позволяет • Решать задачу аналитики в реальном времени • Упростить разработку аналитического решения 31
32. Буду рад вопросам и конструктивной критике :) Это всё Егор Матешук egor@mateshuk.com https://t.me/Egorios