Дата-инженеры и машинное обучение

Евгений Виноградов
Руководитель отдела разработки хранилищ данных, Яндекс.Деньги
SECR 2019

В докладе пойдет речь о роли дата-инженера в проектах, связанных с построением моделей машинного обучения. Мы обсудим его зону ответственности, влияние на результат проекта, а также особенности работы в команде с дата-саентистом.

Transcript

1. Дата-инженеры и машинное обучение Евгений Виноградов Software Engineering Conference Russia 14-15 ноября, 2019. Санкт-Петербург
2. Кто занимается DS-проектами? Data Scientist Data Ingest Data Steward Data Dev Ops Information Security
3. Кто занимается DS-проектами? Data Scientist Data Ingest Data Steward Data Dev Ops Information Security
4. Что такое Data Science-проект? 4
5. Что такое Data Science-проект? 5 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Количество операций
6. › Мы хотим автоматически определять что-нибудь (аварии и простои) › И никто до нас не сделал устраивающего нас решения (или мы о нем не знаем) Что такое Data Science-проект?
7. Что такое Data Science-проект? 7 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Количество операций
8. Порядок действий › Датасет › Проблема › Построение модели › Оценка результата › Обратная связь 8
9. Порядок действий 9 Датасет Проблема Построение модели Оценка результата Обратная связь
10. Датасет 10
11. Кто-то что-то об этом знает Авторизация Сбор реквизитов Авторизация карты Зачисление денег в систему Перевод на счет получателя Уведомление получателя Клиринг и т.д.
12. Кто-то что-то об этом знает Авторизация Сбор реквизитов Авторизация карты Зачисление денег в систему Перевод на счет получателя Уведомление получателя Клиринг и т.д. Авторизация Сбор реквизитов Авторизация карты Зачисление денег в систему Перевод на счет получателя Уведомление получателя Клиринг и т.д.
13. Составление датасета › Интеграция › Разметка › Очистка › Расчет фич › Актуализация
14. Порядок действий 14 Датасет Проблема Построение модели Оценка результата Обратная связь
15. Датасет – 2 › Новый расчет фич › (или Realtime-расчет фич) 15
16. Feature Engineering
17. Создание признаков ▌ Каждый час берем с временным окном, увеличиваем окно пока не наберем достаточное число платежей ▌ Выбираем как далеко мы готовы смотреть в прошлое, и минимальное количество дней для подсчета статистики ▌ Накопив данных за минимально достаточное число дней, начинаем расчеты в рамках срезов: › аномальность значения: если значение полученное на текущий час сильно отклоняется от медианы предыдущих дней, то считаем значение аномальным › по неаномальным значениям считаем стандартное отклонение › рассчитываем критическое значение задержки: текущее значение + стандартное отклонение умноженное на выбранное значение лямбда ▌ В реальном времени сравниваем время с последнего платежа и критическую задержку
18. Модель 18
19. Как выбрать модель? Применить экспертные знания
20. Как выбрать модель? Применить экспертные знания Посмотреть http://www.machinelearning.ru/
21. Как выбрать модель? Применить экспертные знания Посмотреть http://www.machinelearning.ru/ Почитать, кто чего недавно в этой области делал
22. - А если все спрыгнут с крыши, ты тоже спрыгнешь? - Ну, вам же никто не мешает говорить фразу, которую все говорят! 22
23. - А если все спрыгнут с крыши, ты тоже спрыгнешь? - Ну, вам же никто не мешает говорить фразу, которую все говорят! 23
24. - А если все спрыгнут с крыши, ты тоже спрыгнешь? [изобретено машинное обучение] 24
25. - А если все спрыгнут с крыши, ты тоже спрыгнешь? [изобретено машинное обучение] - Да! 25
26. И тут меняется профиль 26 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Количество операций
27. ML Engineer › Переобучение моделей as a service › CICD для моделей 27
28. Технологии 28
29. На каких технологиях все это работает? Доставка событий: Kafka, BatchAPI, RabbitMQ, … Репортинг: PowerBI/SSRS, кубы, Tableau, d3js, … Управление ETL: SSIS, SQL Server Agent, python, cron, Jenkins-jobs,… ХД: MSSQL (columnstore/rowstore), clickhouse, graphite, hdfs, …
30. RT Storage exeLogs In Memory Row Store Аналитики txnData Service Broker Column Store Аналитики requestLogs Service Broker Row Store Эксплуатация
31. 31 Академический подход ▌ Математика ▌ Kaggle ▌ Coursera ▌ Тестовый проект ▌ Сбор данных ▌ Реальный проект Бери и делай ▌ Найти задачу ▌ Coursera/Machinelearning.ru ▌ Сбор данных ▌ Coursera/Machinelearning.ru ▌ Решение ▌ Снова сбор данных
32. Итого › В реальных проектах ML-проектах Data Engineer играет одну из наиболее важных ролей › Бэкграунд разработчика сильно помогает › Возможности по решению проблем часто шире, чем у дата- саентиста 32
33. jonny@yamoney.ru Спасибо! Евгений Виноградов Руководитель отдела разработки хранилищ данных