Что делать, если данных мало?

Наталья Полковникова, генеральный директор, ООО "Институт прикладной математики и информатики"

Transcript

1. Что делать если данных мало? Наталья Полковникова Институт прикладной математики и информатики np@csins.ru +7 495 185 58 64
2. Типичные проблемы цифровой трансформации реального бизнеса ЧТО ДЕЛАТЬ? Данных мало Типичный пример – лизинговая компания с относительно не большим количеством клиентов Данные есть, но в них мало интересующих нас событий Типичный пример данные по увольнениям х х х х х х х х х х х х х х х х х ✓
3. Внешние источники • Социальные сети • Спакр • Данные агентства кредитных историй …….
4. Проблемы
5. Что делать если данные все равно не сбалансированы? Oversampling Undersampling
6. Примеры из реальной жизни Увольнения сотрудников
7. Данные по клиентам/сотрудникам До SMOTE После SMOTE Имеют некоторое распределение Целевой показатель
8. Статистика хорошая. Но что получили? Но мы же хотели поймать красных! Статистика, описывающая работу моделей в среднем по 2 классам
9. До SMOTE После SMOTE
10. Какая модель нам подходит?
11. Примеры из реальной жизни Лизинг
12. До обработки данных После чистки и обогащения данных
13. Главное не переобучиться!
14. Вопросы? Наталья Полковникова Генеральный директор Институт прикладной математики и информатики np@csins.ru / +7 495 185 58 64