Алексей Гурьянов – Как устроена система рекомендаций Ozon

Transcript

1. Ozon Tech 2023 Архитектура рекомендаций Ozon Алексей Гурьянов, руководитель отдела по продукту «Рекомендации и персонализация»
2. 2 • Как устроена система рекомендаций • Как мы персонализируем товарную выдачу • Как мы развиваем систему рекомендаций • А так же какие интересные инженерные задачи возникают во время разработки системы рекомендаций План рассказа
3. Что такое рекомендации 3 • Показать пользователю самые подходящие ему товары (и не только) во время его путешествия по сайту/приложению • Полка рекомендаций: отвечает за место и способ визуализации, а так же логику набора товаров
4. Требования к системе рекомендаций • В зависимости от контекста должны вернуть 5-200 наиболее подходящих товаров • Товарная база — 100+ млн товаров • Напичкана машинным обучением для выявления самых подходящих товаров • Миллиарды событий ежедневно, которые мы должны учитывать • 20K+ RPS в пике Архитектура рекомендаций • На все — примерно 100 ms в 0.9q
5. Обработка запроса Архитектура рекомендаций 5 Shelf-API User-History-API URM-server-go URM-storage
6. Двухуровневая система рекомендаций Архитектура рекомендаций 6 100+ миллионов товаров ~3000-5000 товаров 5-200 товаров Отбор кандидатов/ Легкое ранжирование Тяжелое ранжирование
7. URM-server-go Архитектура рекомендаций 7 • Бизнес-логика алгоритмов рекомендаций • Отбор кандидатов — urm-storage • Тяжелое ранжирование • In-memory Feature Store
8. Какие товары больше всего подходят пользователю Z? URM-storage — подходы к отбору кандидатов Архитектура рекомендаций 8 Какие товары в категории X самые популярные? Какие товары являются лучшими аксессуарами к товару Y? Инженерно реализуются как запросы в БД по одному ключу
9. In-memory Feature Store Архитектура рекомендаций 9 • Раз в 24 часа обновляем «in- memory Feature Store» во всех инстансах сервиса • Хранит признаки и метаданные по подмножеству товаров, которые мы хотим рекомендовать o Простота реализации o Быстродействие Плюсы o Дорого масштабировать по количеству товаров и товарных признаков Минусы o Как следствие — работа на грани стабильности/надежности
10. Развитие архитектуры — Feature Store Архитектура рекомендаций 10 Feature Store URM- server-go 3000-5000 Кандидатов Признаки
11. Развитие архитектуры — признаки в URM-storage Архитектура рекомендаций 11 URM-storage URM- server-go Методы отбора кандидатов 3000-5000 кандидатов + Признаки
12. Как работает персонализация Персонализированные рекомендации 12 PostgreSQL Kafka User-history- API • Регулярная обработка больших массивов данных и сохранение пользовательских данных/агрегатов для последующего использования в алгоритме рекомендаций • Накопление пользовательских событий в realtime и использование их для расчета признаков
13. Развитие системы рекомендаций Ozon 13 • Встроены почти на всех страницах Ozon • Активно развиваются • Десятки полок в продакшене • Постоянно экспериментируем с новыми полками
14. Развитие системы рекомендаций Ozon Быстрое внедрение новой полки Backend-driven UI: Как работает backend-driven UI Легкое конфигурирование алгоритмов рекомендаций
15. Развитие системы рекомендаций Ozon Новые форматы рекомендаций 15 Рекомендации категорий/других сущностей Выбор порядка полок Batch-рекомендации …
16. Наши вакансии Ведущий Data Scientist (Deep Learning), Рекомендации и персонализация Старший Data Scientist, Товарные рекомендации Разработчик Go, Рантайм рекомендаций 16
17. alguryanov@ozon.ru Спасибо за внимание Алексей Гурьянов, руководитель отдела по продукту «Рекомендации и персонализация»