Денис Баталов (Amazon Web Services), Как предотвратить уход пользователей с помощью машинного обучения, CodeFest 2017

https://2017.codefest.ru/lecture/1219

Предсказать момент, когда клиент перестает пользоваться продуктом можно с помощью систем машинного обучения. В докладе разберем пример из практики: как подступиться к данным, как создать модель, как настроить модель для практического применения.

Transcript

1. Как предотвратить уход пользователей c помощью машинного обучения Денис Баталов, PhD @dbatalov Sr. Solutions Architect Спец по ML и AI Amazon Web Services Luxembourg
2. Уход пользователей
3. Машинное Обучение Науки • Информатика • Статистика • Нейробиология • Наука Управления Искусственный Интеллект • Получение правил из данных • На примере обучения человека • Адаптивные алгоритмы Инженерное дело • Обучения: данные  модель • Предсказание: модель  прогноз • Решение: прогноз  действие
4. MO - Робототехника
5. МО: Робототехника
6. МО: Распознавание Образов
7. Обучение с учителем
8. Обучение с учителем Вход Выход
9. Обучение с учителем Вход Выход Вход Вход Вход Выход Выход Выход
10. Обучение с учителем Вход Выход Вход Вход Вход Выход Выход Выход Обучение известные исторические данные Amazon ML
11. Supervised learning Новые данные Похожий результат Amazon ML Вход Вход Вход Вход Выход Выход Выход Выход известные исторические данные Обучение
12. Сервис Amazon Machine Learning
13. Сервис Amazon Machine Learning
14. Сервис Amazon Machine Learning
15. Сервис Amazon Machine Learning
16. Набор данных мобильного оператора, США • Данные клиентов, их тарифные планы и поведение • 21 атрибут, 3333 записи: • Клиент: State, Area_Code, Phone • План: Intl_Plan, VMail_Plan • Поведение: VMail_Messages, Day_Mins, Day_Calls, Day_Charge, Eve_Mins, Eve_Calls, Eve_Charge, Night_Mins, Night_Calls, Night_Charge, Intl_Mins, Intl_Calls, Intl_Charge • Другие: Account_Length, CustServ_Calls, Churn
17. Набор данных мобильного оператора, США • Данные клиентов, их тарифные планы и поведение • 21 атрибут, 3333 записи: • Клиент: State, Area_Code, Phone • План: Intl_Plan, VMail_Plan • Поведение: VMail_Messages, Day_Mins, Day_Calls, Day_Charge, Eve_Mins, Eve_Calls, Eve_Charge, Night_Mins, Night_Calls, Night_Charge, Intl_Mins, Intl_Calls, Intl_Charge • Другие: Account_Length, CustServ_Calls, Churn
18. Набор данных мобильного оператора, США KS, 128, 415, 382-4657, 0, 1, 25, 265.100000, 110, 45.070000, 197.400000, 99, 16.780000, 244.700000, 91, 11.010000, 10.000000, 3, 2.700000, 1, 0 OH, 107, 415, 371-7191, 0, 1, 26, 161.600000, 123, 27.470000, 195.500000, 103, 16.620000, 254.400000, 103, 11.450000, 13.700000, 3, 3.700000, 1, 0 NJ, 137, 415, 358-1921, 0, 0, 0, 243.400000, 114, 41.380000, 121.200000, 110, 10.300000, 162.600000, 104, 7.320000, 12.200000, 5, 3.290000, 0, 0 OH, 84, 408, 375-9999, 1, 0, 0, 299.400000, 71, 50.900000, 61.900000, 88, 5.260000, 196.900000, 89, 8.860000, 6.600000, 7, 1.780000, 2, 0 OK, 75, 415, 330-6626, 1, 0, 0, 166.700000, 113, 28.340000, 148.300000, 122, 12.610000, 186.900000, 121, 8.410000, 10.100000, 3, 2.730000, 3, 0 AL, 118, 510, 391-8027, 1, 0, 0, 223.400000, 98, 37.980000, 220.600000, 101, 18.750000, 203.900000, 118, 9.180000, 6.300000, 6, 1.700000, 0, 0
19. Консоль: Создание datasource для Amazon ML
20. Консоль: Создание datasource для Amazon ML
21. Консоль: Построение модели Amazon ML
22. Recipe { "groups": { "NUMERIC_VARS_NORM": "group('Intl_Charge','Night_Calls','Day_Calls','Eve_Calls','Eve_Mins','Int l_Mins','VMail_Message','Intl_Calls','Day_Mins','Night_Mins','Day_Charge', 'Night_Charge','Eve_Charge','Account_Length')” }, "assignments": {}, "outputs": [ "ALL_BINARY", "State", "Area_Code", "normalize(NUMERIC_VARS_NORM)", "CustServ_Calls" ] }
23. Recipe: функция normalize() Account_Length Нормализованное 128 0.808771865 107 -0.047574816 137 1.175777586 84 -0.985478323 75 -1.352484044 118 0.400987732
24. Анализ модели Amazon ML
25. Цена ошибки • Цена утраты клиента (false negative): • Потерянная прибыль • Стоимость рекламы для привлечения нового клиента • Административные расходы • Цена удержания клиента (false + true positive) • Скидки • Новый смартфон • И т.д.
26. Финансовый результат применения модели Уход без MO Цена ухода $ без МО 14.49% $500.00 $72.46
27. Financial outcome of applying a model Уход без MO Цена ухода $ без МО 14.49% $500.00 $72.46 False Negative True + False Pos Цена удержания $ с МО 4.80% 12.10% + 14.30% $100.00 $50.40
28. Financial outcome of applying a model Уход без MO Цена ухода $ без МО 14.49% $500.00 $72.46 False Negative True + False Pos Цена удержания $ с МО 4.80% 12.10% + 14.30% $100.00 $50.40 • Порог 0.3  0.17 • $22.06 экономии на клиента • При 100,000 клиентах, МО экономит $2MM+
29. Что дальше? • https://aws.amazon.com/machine-learning/developer- resources/ • https://aws.amazon.com/ru/blogs/ai/predicting-customer- churn-with-amazon-machine-learning/
30. @dbatalov Вопросы? aws.amazon.com/ru Денис Баталов, PhD Sr. Solutions Architect Спец по ML и AI Amazon Web Services Luxembourg @awsoblako aws.amazon.com/ru/blogs/rus/