В поисках стиля: Deep Learning в fashion-индустрии

Илья Черников, Senior Data Scientist в Lamoda Tech

Transcript

1. В поисках стиля: Deep Learning в fashion индустрии Илья Черников Senior Data Scientist
2. 2 О чем сегодня поговорим? • Применение нейронных сетей в поиске • Генерация модных образов с помощью Deep Learning
3. Как устроен поиск в Lamoda, Александр Желубенков: 3 Deep Learning в поиске
4. 4 Брюки трикотажные Проблема: сложные запросы Спортивные штаны Треники со шнурком на поясе с резинкой
5. 5 Генерация кандидатов для поиска “Треники со шнурком на поясе с резинкой” Векторы запросов Векторы товаров
6. Query Query Encoder Triplet Loss Document Encoder 6 Нейросети в поиске: обучение Positive item Negative item Document Encoder *Document Encoder - одна модель для positives/ negatives
7. 7 Triplet Loss Query Positives Negatives На этапе обучения позитивный пример “приближается” к запросу, негативный- “отталкивается”.
8. 8 Генерация позитивных сэмплов Query Positives Используем онлайн-сигнал от наших пользователей: клики в поиске и добавления в корзину
9. 9 Генерация негативных сэмплов: наивный подход Query Positives Easy Negatives
10. 10 Генерация негативных сэмплов: hard negatives Query Positives Hard Negatives
11. 11 Генерация негативных сэмплов: semi-hard negatives Query Positives Easy Negatives margin Hard Negatives Semi-hard Negatives margin
12. 12 Генерация негативных сэмплов: наш подход “Треники со шнурком на поясе с резинкой …” Hard negatives Hard semi-hard negative Cosine distance
13. Query text Transformer Encoder 13 Архитектура модели: query encoder Linear projection
14. Query text Transformer Encoder Concatenation 14 Архитектура модели: document encoder Color Brand … Embedding Layer Document text Transformer Encoder Linear projection Linear projection
15. Query text Transformer Encoder Concatenation 15 Архитектура модели Color Brand … Embedding Layer Document text Transformer Encoder Linear projection Linear projection Cosine similarity Offline
16. 16 Результаты “Треники со шнурком на поясе…” • Конверсия в покупку • Доля пустых поисковых выдач А/Б тест в 1Q24
17. 17 Развитие и планы Проанализировали проблемные запросы Нужно использовать фотографии товаров! Так обычно выглядят атрибуты, которые кодируются Document encoder
18. 18 CLIP от Open AI Изумрудное платье Великая компания Супер гуд! Text encoder Image encoder I1 I2 I3 … IN T1 T2 T3 … Tn I1*T1 I1*T2 I1*T3 … I1*TN I2*T1 I2*T2 I2*T3 … I2*TN I3*T1 I3*T2 I3*T3 … I3*TN … … … … … IN*T1 IN*T2 IN*T3 … IN*TN
19. 19 CLIP: преимущества Zero shot Возможность использования без дообучения CLIP как дополнение к поиску Использование векторов изображений Двунаправленность Можно обогащать поисковый индекс атрибутами по изображению Легко дообучить На описаниях или поисковых запросах и фотографиях товаров Можно попробовать где-то еще Об этом 2 часть доклада! 01 02 03 04 05
20. 20 Deep Learning для генерации образов
21. 21 Нейросеть или стилисты? vs
22. 22 Нейросеть или стилисты? vs Нейросеть Стилисты
23. 23 Генерация образов Сейчас образы генерируются 2-мя способами: Образы от стилистов Образы, сгенерированные алгоритмом на основе действий пользователей
24. 24 Генерация образов Якорные товары Векторы товаров Образ
25. 25 OutfitNet: архитектура Куртка утепленная Diesel, цвет: синий … CLIP Text encoder CLIP Image encoder Concatenatio n Triplet Loss Товары из образов стилистов Linear projection
26. 26 OutfitNet: примеры образов Образ от OutfitNet Якорный товар
27. 27 OutfitNet: примеры образов Образ от OutfitNet Якорный товар
28. 28 OutfitNet: примеры образов Образ от OutfitNet Якорный товар
29. 29 OutfitNet: примеры образов Образ от OutfitNet Якорный товар
30. 30 OutfitNet: примеры образов Образ от OutfitNet Якорный товар
31. 31 OutfitNet: примеры образов Образ от OutfitNet Якорный товар
32. 32 OutfitNet: планы • Провести А/Б тест и получить фидбек от пользователей • Сгенерировать больше образов для обучения с помощью фотографий от фотостудии • Обучить модели на сегментированных фотографиях • Модель для “скоринга” образов • Больше экспериментов!
33. 33 Выводы • Нейросети и metric learning работают • Мультимодальность данных: атрибуты, счетчики, тексты и фото • Deep learning и инновации в Fashion индустрии
34. Q&A Илья Черников Senior Data Scientist, Lamoda Tech tg: @ichrnkv