OpenTalks.AI - Даниил Каневский, Искусственный интеллект. Придется поработать​

Transcript

1. Искусственный интеллект: придется поработать О сложностях внедрения ИИ в бизнесе Даниил Каневский GoodsForecast Директор по аналитике
2. «Хайп» машинного обучения Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
3.  Бизнес-процессы  Постановки задач и критерии качества  Культура структурирования данных  Команда  Ожидания Заказчика Составляющие успешного внедрения ИИ Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
4. Бизнес-процессы
5. Задача: борьба с «неликвидами» в розничных магазинах Переплавка в золото Перемещение в другой магазин Товар не продается Возможность изготовить ликвидный товар Потеря камней и золота на переплавке, затраты на перемещение Шанс продать товар быстрее Затраты на перемещение Кейс: сеть ювелирных магазинов Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
6. • Оценены вероятности продажи изделия в магазине методом «анализа выживаемости». • Построена модель оптимизации, оценивающая выгоду перемещения в магазин с большей вероятностью продажи, с учётом стоимости перевозки. • Построена модель оптимизации, оценивающая выгоду от переплавки с учётом стоимости золота, стоимости переплавки, инфляции и отвлечения средств. Подход к решению Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
7. Модель оптимизации для оценки переплавки не была использована, так как команде не удалось определить параметры стоимости золота и стоимости процесса переплавки. Модель перемещения товаров многократно уточнялась, поскольку бизнес ставил задачу учесть все факторы, включая стоимость упаковки товара. Был подготовлен пилотный проект: в течение 1 месяца выполняются перемещения согласно модели, далее в течение 3 месяцев идёт анализ продаж по перемещённым моделям. Рекомендации модели были проверены аналитиками и бизнесом, получено подтверждение готовности выполнять перемещения со стороны руководства. Перемещения не были запущены, поскольку выяснилось, что магазины разделены на большое количество юрлиц, перемещения между которыми невозможны. Дальнейшее развитие проекта было остановлено, так как бизнес не видел результатов. Результаты Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
8. Критерии качества
9. 120 магазинов (в том числе 15 новых) Все категории (9324 SKU), в том числе 879 новинок В среднем около 5000 SKU в каждом магазине Прогнозы: • на ближайшие 4 недели по дням (оперативный) • на 4 следующие недели по неделям (тактический) Четыре версии прогнозов со смещением в одну неделю Более 13 млн прогнозов в каждой версии Пилотный проект в крупной торговой сети Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
10. № Наименование показателя Ед. изм. Вес оценки 1 Точность прогноза % 50% 2 Оценка экспертизы команды % 50% № Наименование показателя Ед. изм. Вес оценки 1 Точность прогноза (все категории) % 50% 2 Точность прогноза (все категории, только промо) % 25% 3 Точность прогноза (группы тюнинг) % 25% Точность прогноза складывается из трех показателей: Каждый показатель считается как средняя точность по отдельным версиям: Q  Q  + Q2 + Q3 + Q4 Точность отдельного релиза считается как взвешенная сумма по типам прогноза: QVersion  0.6 QOPER + 0.4 QTACT Точность внутри релиза рассчитывается по функционалу WAPE: WAPE  σ=1 (−) σ =1 Формальный критерий качества Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
11.  Точность прогнозирования  Несмещенность оценки  Точность прогнозирования по ключевым позициям  Применимость  Оценка доверительных интервалов  Скорость расчетов  Управляемость  Интерпретируемость результатов Неформальные критерии качества Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
12. Ошибка прогнозов (7 участников пилота) Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
13. Несмещённость прогнозов Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
14. Культура работы с данными
15. Постановка задачи Построить многофакторную обучаемую модель прогноза продаж для ключевых клиентов:  сезонность;  промоакции;  изменения цен;  развитие сети;  конкуренты;  и т. д. Кейс: прогнозирование спроса ключевых клиентов Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
16.  Есть продажи клиента в рынок (вторичные продажи), но id товаров в них не совпадают с БД Заказчика.  Есть данные о промо, но данные о товарах в них – в текстовом виде.  Есть 2 (два) случая существенного изменения цен в прошлом и один в период прогнозирования.  Есть экспертная оценка развития сети (рост числа магазинов по форматам)  Данных по конкурентам нет.  В рамках текущего процесса все данные сводит вручную аналитик. Первичный анализ факторов Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
17.  Вручную произведены необходимые сопоставления данных.  Построена интерпретируемая модель прогнозирования, учитывающая тренды, сезонности, промоакции, изменения цен, развитие сети, ввод новинок.  Модель показала стабильное повышение точности прогнозирования на 4 %% и снижение смещённости прогнозов на 8 %% по отношению к прогнозам Заказчика. Результаты пилотного проекта Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
18. Команда
19. Задача: Улучшение существующего алгоритма прогнозирования спроса Sell-In history Price changes Promo Sell-Out Customer stock Assortment Availability Planned orders and shipments Data cleaning Core forecasting algorithm (xgBoost) Post processing Кейс: Производитель бытовой техники Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
20. Sell-In history Price changes Promo Sell-Out Customer stock Assortment Availability Planned orders and shipments Data cleaning and de- seasoning Core forecasting algorithm (xgBoost) Post processing and adding seasonality Подход к решению и результаты Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast Точность прогнозирования повысилась на 5 п.п. 1 этап (1 месяц): Предложен простой алгоритм учёта сезонности
21. 2 этап (7 месяцев):  Проведён анализ бизнес-процесса и данных по промоакциям.  Определены и измерены ключевые параметры акций: бюджет акции и глубина скидки.  Разработана процедура определения «приоритетной» акции среди многих акций, проходящих одновременно.  Разработаны процедуры оценки «базовых уровней» продаж в акцию и приростов продаж в акцию.  Выполнен анализ зависимости приростов продаж от бюджета и скидки.  Создан алгоритм классификации, определяющий, будет ли эффект у акции (прирост продаж > 50%), с точностью ~ 80%.  Внедрена в промышленную эксплуатацию оценка базовых уровней промо. Подход к решению и результаты Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
22. Смешанная команда:  международная команда Data Science Заказчика  специалисты российского подрядчика (GoodsForecast) Проектное управление по Agile:  тесное взаимодействие с заказчиками проекта  планирование работы короткими спринтами  отслеживание задач в системе Issue Tracking  daily scrum Команда Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
23. Ожидания Заказчика
24. Задача 1 Прогнозы спроса в разрезе «недель» Задача 2 Прогнозы спроса в разрезе «15 минут» Горизонт: 5 календарных недель Детализация: • неделя/ресторан/блюдо • неделя/ресторан/субкатегория • неделя/ресторан Цель: планирование продаж, планирование закупки ингредиентов Горизонт: календарная неделя Детализация: 15минут/ресторан/субкатегория Цель: планирование работы персонала Кейс: Сеть ресторанов Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
25. Было у Заказчика: Алгоритм на основе xgBoost c более чем 100 факторами Подход к решению Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast 90%+ «веса» в прогнозе составлял фактор «продажи в последнюю неделю» Учет глобальных факторов: годовая сезонность, тренд, новые рестораны Шаг 1 Прогноз на уровне «Ресторан/Неделя» Шаг 2 Распределение до «Ресторан/Неделя/Блюдо» Шаг 3 Распределение до «Ресторан/15мин/Субкатегория» Учет локальных факторов: тренд, промо Учет недельной и внутрисуточной сезонности Предложено:
26. 5000000 6000000 7000000 8000000 9000000 10000000 11000000 12000000 02.01.2017 09.01.2017 16.01.2017 23.01.2017 30.01.2017 06.02.2017 13.02.2017 20.02.2017 27.02.2017 06.03.2017 13.03.2017 20.03.2017 27.03.2017 03.04.2017 10.04.2017 17.04.2017 24.04.2017 01.05.2017 08.05.2017 15.05.2017 22.05.2017 29.05.2017 05.06.2017 12.06.2017 19.06.2017 26.06.2017 03.07.2017 10.07.2017 17.07.2017 24.07.2017 31.07.2017 07.08.2017 14.08.2017 21.08.2017 28.08.2017 04.09.2017 11.09.2017 18.09.2017 25.09.2017 02.10.2017 09.10.2017 16.10.2017 23.10.2017 30.10.2017 06.11.2017 Прогноз «Ресторан/неделя», 5-я неделя Факт Референтный алгоритм Алгоритм GoodsForecast Повышение точности на 2,7% Снижение ошибки на 19% Алгоритм внедрён в промышленную эксплуатацию 86,40% 89,10% 70,00% 75,00% 80,00% 85,00% 90,00% Референтный алгоритм Алгоритм GoodsForecast Точность Результаты Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast
27. Чтобы учесть фактор, по нему нужны данные  Garbage in – garbage out На работу с данными уходит львиная доля времени и трудозатрат Математики без знания предметной области чаще всего неэффективны Ключевые игроки команды – связующие между математиками и бизнесом Бизнесу нужно быть «рядом» и анализировать промежуточные результаты Нужны четко формализованные критерии Объективно есть многокритериальность Важный критерий - интерпретируемость MVP редко занимает меньше полугода, внедрение в Production – меньше года Нужно быть готовым менять бизнес- и ИТ-процессы Ждем окупаемости проекта, а не wow-эффектов Бизнес-процессы Постановка задач и критерии качества Ожидания Заказчика Команда Культура структурирования данных Необходима готовность использовать результаты моделей ИИ ИИ не может строиться вне процесса, для которого он предназначен Итоги Искусственный интеллект: придется поработать Даниил Каневский GoodsForecast Составляющие успешного внедрения ИИ
28. Спасибо за внимание! Даниил Каневский GoodsForecast Директор по аналитике kanevskiy@forecsys.ru