Подходы к ускорению A/B-тестов для Data-продуктов

Transcript

1. Подходы к ускорению A/B- тестов для Data-продуктов Анжелика Шахурина Lead Product Analyst of Data Products
2. Lamoda – одна из крупнейших e-commerce компаний в России в сфере Fashion & Lifestyle 17 млн MAU 4 000+ брендов 600 000+ товаров
3. Дата-продукты, АБ-платформа и бизнес-модель 1 Продуктовая воронка и особенность тестирования гипотез 2 Предсказание продажи для ускорения тестирования гипотез 3 ПЛАН
4. АБ-платформа Дата-продукты Бизнес-модель 1. ПОГРУЖЕНИЕ
5. Поиск и ранжирование каталога Рекомендательные системы 1 2 Визуально похожие С чем носить Дата-продукты – это десятки ML-моделей
6. АБ-платформа
7. Бизнес-модель Lamoda принимает поставку Lamoda хранит товары на своем складе и собирает заказы Lamoda фотографирует товары для сайта Покупатель заказывает товар на Lamoda Lamoda подтверждает заказ Lamoda доставляет заказ домой или в пункт выдачи Покупатель получает заказ
8. Особенность тестирования гипотез Продуктовая воронка 2. ПРОБЛЕМАТИКА
9. Воронка
10. Воронка
11. Воронка
12. Как не держать тесты 2 месяца?
13. Не ждем – предсказываем! ВЖУХ и тест готов!
14. Результаты моделирования Предсказание продаж 3. КОНЦЕПТ
15. Воронка
16. Что может влиять на покупку? *С момента добавления товара в корзину
17. Что может влиять на покупку? Сам товар: - Категория - Бренд - Размер - Цена - Скидка - … ИЗИ ТЯЖКО
18. Что может влиять на покупку? Корзина: - Наличие похожих товаров - Соответствие ценовому сегменту - … Х ✓
19. Пользователь: - Лояльность - Пол - Регион - История в приложении - … Что может влиять на покупку?
20. Как предсказать покупку? *На основе данных о пользователе, его корзине и характеристик товара
21. Модель Фичи Разработка модели Объект - Товар, добавленный в корзину Таргет - Покупка товара
22. Модель Фичи - Товарные - Юзерные - Соответствие товара корзине/юзеру Разработка модели Объект - Товар, добавленный в корзину Таргет - Покупка товара
23. Модель - Градиентный бустинг (CatBoost) Фичи - Товарные - Юзерные - Соответствие товара корзине/юзеру Разработка модели Объект - Товар, добавленный в корзину Таргет - Покупка товара
24. Результаты
25. Результаты ROC_AUC_score: 0.71
26. ПЛАНЫ Разрабатываем новую модель Спускаемся на следующий этап - формирование заказа Будем предсказывать факт конечной покупки Тестируем подход Прогоняем модель на прошлых тестах И тестируем на новых Внедряем решение Внедряем в АБ- платформу прогнозные значения продажи товара
27. Спасибо!