Илья Осиновсков — Го обсудим: продакшен ML на Golang

Transcript

1. Го обсудим: продакшен ML на Golang Осиновсков Илья Руководитель группы Товарные рекомендации
2. Содержание Рекомендации в Ozon Оффлайн подход Реалтайм подход Инференс моделей в реалтайме Итоги
3. Рекомендации в Ozon
4. Рекомендации в Ozon
5. Как у нас работало раньше? Spark джобы Item2item пересчитывались раз в неделю Персональные рекомендации обновлялись раз в день
6. Как у нас работало раньше? •минимум затрат в момент рекомендации •нет ограничений на сложность модели •время выполнения джобы растет с ростом айтемов/юзеров •считать рекомендации для всех пользователей накладно •не учитываем контекст текущей сессии пользователя
7. А давайте попробуем в реалтайме? •не нужно считать рекомендации для всех пользователей •легко проводить аб-тесты •можем считать realtime фичи по последним действиям •сложность алгоритма рекомендаций ограничивается временем ответа от сервиса
8. Пайплайн рекомендательной системы
9. Индекс товаров Flatbuffer • Быстрый доступ к сериализованным данным • Оптимальный по памяти • Гибкий для дополнения https://google.github.io/flatbuffers/
10. А давайте попробуем в реалтайме? На python + numba вышло медленно Успеваем ранжировать всего 500 товаров для пользователя
11. А давайте попробуем в реалтайм на Golang? •параллелизация из коробки •порог входа ниже чем в C++ •ограничения по встраиванию ML-моделей
12. Реалтайм инференс моделей https://github.com/bourbaki/catboost-go Через C api с помощью cgo Docker контейнер с http/grpc интерфейсом
13. Архитектура решения
14. Итоги • В оффлайне строим индекс товаров • В реалтайме считаем рекомендации только при открытии страницы • Для PoC python подойдет, если нет жестких требований по latency
15. Осиновсков Илья Спасибо за внимание! osinovskov@ozon.ru