Особенности разработки и деплоя ML-моделей

В 2010-х произошел значительный прорыв в области Data Science и машинного обучения. В то же время вопросам внедрения моделей в продакшен уделялось куда меньше внимания. Проекты могли тянуться годами из-за отсутствия стратегии внедрения. Некоторые проекты отменялись после нескольких лет разработки - становилось ясно, что модели плохо работают в реальных условиях или их функциональность неприменима на практике. Сейчас деплой моделей стал неотъемлемой частью процесса разработки и применения алгоритмов машинного обучения. Любая, даже самая точная и сложная модель бесполезна, если она не интегрируется и не работает надежно в Production-среде.

На всех этапах от разработки до внедрения моделей ML могут возникнуть сложности, и на докладе будут подробно рассмотрены основные из них, а именно моменты связанные с:
- Подготовка данных (DataEngineering).
- Обучение/дообучение модели.
- Версионирование обучающих выборок и весов (Трекинг эксперимента).
- Организация разработки
- Управление ресурсами
- Безопасность данных
- Организация CI/CD
- Мониторинг запущенных моделей

Спикер расскажет, к каким вызовам нужно быть готовым, если вы собираетесь начать или уже начали разработку и эксплуатацию ML-моделей. На многие из этих вызовов нет каноничных ответов, и многое приходится прокладывать путь самому, набивая шишки, так как область внедрения ML в Production находится в начале своего пути и открывает большие возможности тем кто разрабатывает такие сервисы.

Спикер: Руслан Гайнанов, тимлид DevOps-команды в ИТ-Холдинге Т1

Transcript

1. Особенности разработки и деплоя ML-моделей Спикер: Руслан Гайнанов @ ИТ-холдинг Т1 1
2. Обо мне • больше 10 лет в IT • спикер DevOops, Импульс, UDW • ментор, инженер и разработчик • тимлид команды DevOps на проекте Осмакс Создаем инновационные решения для автоматизированного управления устройствами и пользователями в организациях разного масштаба
3. План • Что же ты такое «Модель ML»? • Как рождаются модели? • Этапы жизни модели • MLOps и укрощение моделей • Выводы 3
4. Что такое ИИ (AI)? Текст 4
5. Что такое ИИ (AI)? 5 *ИИ – искусственный интеллект *AI – artificial intelligence *ИИ == AI
6. Что такое ИИ (AI)? 6
7. Что такое ИИ (AI)? 7
8. Что такое ИИ (AI)? Искусственный интеллект – наука и технология создания интеллектуальных машин, особенно интеллектуальных алгоритмов и компьютерных программ 8 Машинное обучение – обширный подраздел ИИ, изучающий методы построения алгоритмов способных обучаться. Глубокое обучение – совокупность методов машинного обучения, основанных на обучение представлениям, а не специализированным алгоритмам под конкретные задачи
10. Задачи решаемые ИИ в банках 10
11. Что такое ИИ (AI)? Текст 11
12. Жизненный цикл разработки ML-моделей 1.Идея/гипотеза/задача 2.Сбор и очистка данных 3.Разметка данных 4.Обучение модели 5.Оценка качества 6.Развертывание 7.Мониторинг 12
13. Жизненный цикл разработки ML-моделей 1.Идея/гипотеза/задача 2.Сбор и очистка данных 3.Разметка данных 4.Обучение модели 5.Оценка качества 6.Развертывание 7.Мониторинг 13
14. Анализ идеи для ML • Доступность данных • Освоение новых технологий • Требуемое и достижимое качество 14
15. Что такое ИИ (AI)? Текст 15
16. Что такое ИИ (AI)? Текст 16
17. Что такое ИИ (AI)? Текст 17
18. Что такое ML-модель? 18 Обучающая выборка
19. Что такое ML-модель? 19
20. Выбор алгоритма в зависимости от задачи 20
21. Что такое ML-модель? 21
22. Процесс подбора алгоритма и весов – процесс обучения 22
23. Место обучения в ML-решении 23
24. Место обучения в ML-решении 24
25. Полный пайплайн ML 25
26. Полный пайплайн ML Текст 26 ML DS ML DS DE
27. MLOps 27
28. MLOps 28 — это методология, направленная на снижение затрат, связанных с развертыванием и обслуживанием ML-моделей, обеспечивая при этом их надежность и масштабируемость
29. 29 0: Manual process 1: ML pipeline automation 2: CI/CD pipeline automation Модель уровней зрелости MLOps от Google
30. 30 0: Manual process 1: ML pipeline automation 2: CI/CD pipeline automation Модель уровней зрелости MLOps
31. 31 Модель уровней зрелости MLOps от Google
32. 32 Трекинг – код, входные модели, данные; Логирование – все артефакты, метрики, потребление ресурсов; Web UI – можно ставить и трекать эксперименты откуда угодно; Оркестрирование – автоматический старт экспериментов в докер; Пайплайны – объединение экспериментов в связанные цепочки; Интерактивные сессии – Jupyter-ноутбуки на нашем железе с любого компьютера с доступом в интернет. Что дает автоматизация в обучении? (training)
33. 33 Оптимизация – ускорение, эффективное использование ресурсов; Логирование – метрики, потребление ресурсов; Воспроизводимость – уверенность в работе модели; Оркестрирование – масштабирование под нагрузки; Пайплайны – деплой и откат по кнопке, версионирование; Преобразование – модель в API, безопасность. Что дает автоматизация в развертывании? (inference)
34. 34 По ту сторону от деплоя ML-модели
35. 35 • Мониторинг потребления и производительности После развертывания ML-модели
36. 36 • Мониторинг потребления и производительности • Безопасность данных После развертывания ML-модели
37. 37 • Мониторинг потребления и производительности • Безопасность данных • Анализ качества данных и дрифта модели После развертывания ML-модели
38. 38 • Мониторинг потребления и производительности • Безопасность данных • Анализ качества данных и дрифта модели • Переобучение модели После развертывания ML-модели
39. Что такое ИИ (AI)? Текст 39
40. Что такое ИИ (AI)? Текст 40
42. 42 Open-source платформы для деплоя ML-моделей
44. ML-модель: - данные - алгоритм - веса 44 MLOps: - ML - DevOps - Data Жизненный цикл ML: - идея - данные - моделирование - развертывание - поддержка Выводы
45. Руслан Гайнанов главный инженер DevOps ИТ-Холдинг T1 @gainanovrus Спасибо за внимание!