Доверяй, но проверяй

Рассказываю о том, как мы обрабатываем пользовательские события и почему для этого понадобился свой сервис

1. Доверяй, но проверяй Как мы в KION готовим продуктовые события
2. О себе Скирда Матвей Ведущий Python разработчик Разрабатываю стартап по управлению своим временем и эмоциональным состоянием Fullstack: python, JS (TS), DevOps (капельку) Занимаюсь спортом, читаю комиксы В качестве хобби изучаю C, Rust и исходники Cpython
3. Зачем?
4. О чём поговорим ➔ Путь события от пользователя к нам ➔ Свой сервис приема и обработки событий ➔ Выбор технологии: Go vs Python ➔ Уровни обработки и повышения качества данных ➔ Что используем для повышения качества данных ➔ Добиваемся высокой скорости приёма данных ➔ Немного бенчмарков нашей валидации: Pydantic vs Pydantic v2
5. А так же ➔ Как мы реагируем на ошибки валидации ➔ Проверка валидации при релизе ➔ Мониторинг ошибок ➔ Пощадите ваш процессор
7. 6000+ RPS 400M+ событий в сутки Что мы имеем 8+ продуктовых вертикалей
8. Что такое продуктовое событие? Открытие приложения Авторизация Показ витрины Клик по карточке фильма … Событие N
9. Как выглядит событие Информация об устройстве Информация о пользователе Список экспериментов Информация о действии пользователя Метаданные
10. Какие бывают события? Продуктовые Персональная витрина А/B эксперименты Скорость Ресурсы Улучшаем продукт Обучение ML Технические UX-исследования Логи Отладочные Разбор проблем
12. Почему качество этих данных важно?
13. Свой приёмник – зачем? Нет лимитов Реальное время* Вариативность
14. Client request Get/Post Http server приемник Consumer 1 … Consumer N Consumers Kafka Clickhouse GUI Redash/Superset/SQL Product manger 1 Product manger N User Topic parsed events Topic raw events Архитектура своего приемника
15. Client request Get/Post Consumer 1 … Consumer N Consumers Clickhouse GUI Redash/Superset/SQL Product manger 1 Product manger N User Kafka Topic parsed events Topic raw events Http server приемник Http server Резервный приемник Kafka Topic raw events Архитектура своего приемника
16. Client request Get/Post Consumer 1 … Consumer N Consumers Clickhouse GUI Redash/Superset/SQL Product manger 1 Product manger N User Kafka Topic parsed events Topic raw events Http server приемник Http server Резервный приемник Kafka Topic raw events Архитектура своего приемника
17. Архитектура консьюмера Kafka consumer Парсер Remote конфиг Гео-обогащение Дедупликация Kafka producer Topic 1 Kafka … TopicN DLQ kafka продюсер Очередь событий после парсинга Очередь событий после дедупликации
18. Сравнение реализации на Python и Go Python 3.11 Go 1.21.0 VS
19. Golang 1.17 confluent-kafka-go.v1 v1.8.2 ask=0 WRK Python 3.11 Fastapi 0.103.2 Сравнение приёмника на Python и Go
21. Почему именно Python? Скорость разработки
22. Скорость разработки Легкость Почему именно Python?
23. Скорость разработки Легкость Сваггер Почему именно Python?
24. Скорость разработки Легкость Сваггер Скилы Почему именно Python?
25. Скорость разработки Легкость Сваггер Скилы Ресурсы Почему именно Python?
26. Скорость разработки Легкость Сваггер Скилы Ресурсы Быстрее в несколько раз Почему именно Python?
27. Уровни In schema Физический уровень Event валидация Out schema Контроль поступления данных Логический уровень Контроль отклонений Как мы обеспечиваем качество данных:
28. Стек уровней качества данных In schema Физический уровень Event валидация Out schema Python Pydantic 2 +
29. Python + Контроль поступления данных Логический уровень Контроль отклонений Стек уровней качества данных
30. Уровень In schema Как мы обеспечиваем качество данных:
31. Пример валидатора In схемы Как мы обеспечиваем качество данных:
32. Уровень Event валидации Как мы обеспечиваем качество данных:
33. Как мы описываем Event валидацию Описываем валидацию полей Как мы обеспечиваем качество данных:
34. Составляем валидатор событий + контекстно зависимая валидация Как мы описываем Event валидацию Как мы обеспечиваем качество данных:
35. Как мы описываем Out схему Как мы обеспечиваем качество данных:
36. Сравнение скорости Pydantic и Pydantic 2
37. Валидация без жертв CPU app_version device_model Счётчик с ключем cityhash event_name
38. Мониторинг — Алертинг Дедуплицирование Отстрел раз в сутки Consumer Event валидатор In memory дедупликатор Redis TTL время до 0 часов Telegram
39. Мониторинг-Алертинг Логический уровень валидации Количественный мониторинг событий Алертинг в телеграм при отклонениях
40. Мониторинг-Алертинг Логический уровень валидации Redash Clickhouse Airflow dag Telegram
41. Проверка при релизе
43. Вопросы?