Вячеслав Коськин — Хит парад кринжовых решений в А/В-тестах: Анализ / Разработка / Менеджмент

Transcript

1. Ozon Tech 2023 Вячеслав Коськин Product-owner A/В-Platform Ozon
2. Ozon Tech 2023 Вячеслав Коськин Product-owner A/В-Platform Ozon
3. Аналитик превращается в джина, который должен выполнить желание менеджера - найти эффект любой ценой
5. • Все показывают отличные результаты по запускам, но метрики компании не растут • Аналитиков никто не контролирует, метрики считаются с ошибками • Методология АВ-тестов = тлен, результаты не валидны Создается иллюзия продуктового контроля
7. • Даже если есть централизованные инструменты есть, никто не хочет интегрироваться • Каждая команда лобирует свои интересы и катит фичи стиле "мне-пофиг-драйвен" • Нет команды, которая будет судить споры сторон • Разброд и шатание
8. • Прозрачный процесс А/В-тестирования и принятия решений • Комитет по А/В-экспериментам, который разруливает споры • Все фичи катятся через А/В-тесты + система контроля • Выделены самые важные метрики компании