Петр Ермаков. LAMODA. Автоматическая валидация контента в e-commerce

Пальто с 300 кОрманами, или как искать ошибки.
LAMODA — это один из основных игроков онлайн-торговли в России с более чем 5 миллионами товаров в каталоге. И это не только сайт. Это - свои склады размером с футбольные поля, свои курьеры и парк автомобилей, свой отдел e-production с фото-студией и моделями. Компания не только делает свои фотографии товаров, но и сама создает описание и заполняет атрибуты. К сожалению, ручной процесс не исключает ошибок.
Как автоматизировать поиск ошибок в контенте и как методы анализа данных в этом помогают?

Transcript

1. Пальто с 300 корманами или как искать ошибки Петр Ермаков Lamoda / DataGym
2. О себе Петр Ермаков https://ermakovpetr.ru • Lamoda // Senior Data Scientist • Юла MailRu Group // Руководитель отдела аналитики • HeadHunter // Data Scientist Веду телеграмм канал https://t.me/PowerOfData Data Coach https://DataGym.ru
3. Agenda • Задачи Lamoda • Особенности и данные • Задача: качество контента
4. Задачи • Рекомендации, Каталог, Поиск • Ценообразование • Логистика • Маркетинг • Отток • … другое
5. Рекомендации • Похожие товары • С этим товаром покупают • Рекомендовано для вас • Рекомендации на корзину • Визуальные рекомендации
6. Поиск • Саджесты • Ранжирование • Синонимы • Фильтрация
7. Каталог • Ранжирование • Фильтрация
8. Поиск по фото
9. Дополненная реальность
10. Задачи • Рекомендации, Каталог, Поиск • Ценообразование • Логистика • Маркетинг • Отток • … другое
11. Метрики • Клики • Заказы • Средний чек • Выкупы • Выручка • Прибыль
12. Карточка товара • Какие фото? • Какое описание?
13. Размеры • Унификация размеров • Рекомендация размеров • Большемерки/Маломерки
14. Закупки • За несколько месяцев • Медленное управление ассортиментом • Время жизни товара
15. Свой склад • Быстро распродается - плохо? • А медленно? • Сток в дороге
16. Особенность данных • Отказы • Возвраты • Задержка до месяца • Черная пятница
17. Сколько карманов?
18. Сколько карманов?
19. Сколько карманов?
20. Где больше карманов?
21. Карманы это важно!!!
22. Какие могут быть ошибки? • Неверная категория • Ошибки/опечатки в тексте • Неверные числовые значения • Неверные категориальные значения • Ошибочные фото
23. Текст
24. Текст
25. Текст
26. Текст
27. Текст
28. Текст
29. Подход: Здравый смысл
30. Подход: Здравый смысл
32. Подход: Статистика
33. Подход: Статистика
34. Мультиклассификация на текстах • TfidfVectorizer + XGBClassifier (multi:softprob) • https://github.com/zveryansky/textvec/
35. … + признаки • Word2Vec + CatBoostClassifier (MultiClass)
36. VGG16 + fine tuning
37. VGG16 + fine tuning • https://github.com/zalandoresearch/fashion-mnist • https://github.com/lmcinnes/umap • https://flyyufelix.github.io/2016/10/03/fine-tuning-in-keras-part1.html
38. Почему качество - это важно? • Поиск • Рекомендации • Пользователи ❤
39. Особая благодарность • Александру Желубенкову • Кристине Аветисян • Дарье Шурыгиной • Олегу Хомюку
40. Контакты Петр Ермаков • https://ermakovpetr.ru Telegram Channel: • https://t.me/PowerOfData