Canary deployment, мониторинг и тестирование моделей силами одного специалиста

Александр Дмитриев (MyBook)

В докладе я на примере рекомендательного сервиса покажу, как поднять инфраструктуру для приятной работы с моделями в продакшене. Больше никаких волнений перед выкаткой новой версии модели и просмотров Графаны за утренним кофе. Для этого не нужен DevOps, много времени и огромная команда.

Transcript

1. Canary deployment, мониторинг и тестирование моделей силами одного специалиста. Дмитриев Александр, MyBook
2. MyBook Библиотека по подписке 150К+ книг Редакторские подборки Рекомендации на основе ML iOS Android Web
3. Backend
4. Технологический стек
5. Первая модель
6. A/B Первый А/Б тест
7. A/B A/B A/B Приехало еще моделей
8. •добавление новых алгоритмов дорого •нет service discovery •мониторинг здоровья сервисов и сбор метрик •время на АБ тесты •невозможность плавно менять количество запросов на новую модель Проблемы:
9. Новая архитектура
10. Traefik (Cloud Native Edge Router)
11. Универсальность: Сервис провайдеры: • Docker Swarm • K8S • Mesos • Rancher • Consul • ECS • etc. Экспорт метрик: •Prometheus •DataDog •StatsD •InfluxDB
12. Настройка Traefik
13. Добавление алгоритмов
14. Traefik dashboard
15. Управляющий скрипт
19. •легко горизонтально масштабируем •просто добавляем новые модели •настройки инфраструктуры в одном .yml, а весь лог экспериментов в git •раскатываем постепенно, а пользователи голосуют за модели Выкатываем в прод:
20. •деградация модели приводит к ее отключению •экспортируем ML метрики •healthcheck •метрики сервера •circuit breakers Мониторинг:
21. datahoarder@mybook.ru ODS slack: uSasha Демо на GitHub: