OpenTalks.AI - Андрей Черток, Sberbank Vanga Vanga AI -библиотека для работы с временными рядами в Сбербанке

Transcript

1. Офис СDS Sberbank Vanga AI-библиотека для работы с временными рядами в Сбербанке Андрей Черток Управляющий директор по исследованиям и разработкам (Сбербанк) Руководитель Академии технологий и данных (Корпоративный университет Сбербанка) 08 февраля 2018 г.
2. Офис СDS Что может ИИ Если среднестатистический человек может выполнять умственную задачу меньше чем за секунду, мы уже сейчас (либо в ближайшем будущем) можем использовать ИИ для автоматизации этого процесса. Andrew Ng, HBR Nov 2016
3. Офис СDS Что может ИИ Для любого регулярно повторяющегося события мы можем пытаться предсказать исход следующего такого события. Andrew Ng, HBR Nov 2016
4. Офис СDS ИИ в цифровизации 4 СОКРАЩЕНИЕ ЗАТРАТ РОСТ ОБЪЕМОВ И ЭФФЕКТИВНОСТИ ПРОДАЖ ОПТИМИЗАЦИЯ И АВТОМАТИЗАЦИЯ ПРОЦЕССОВ СОКРАЩЕНИЕ ВРЕМЕНИ ПРИНЯТИЯ РЕШЕНИЙ СИНЕРГЕТИЧЕСКИЙ ЭФФЕКТ ТОЧНОСТЬ ПРИНЯТИЯ РЕШЕНИЙ
5. Офис СDS Направления ИИ (финансы и банки) Процесс принятия решений Работа с естественным языком/текстом Компьютерное зрение Речевая аналитика и синтез речи роботизация процессов принятия решений за счет эмуляции части или всех функций человека перевод неструктурированной информации (произвольного текста) в цифровое представление с целью анализа (понимания смысла) и синтеза (ведения диалога) перевод аналоговых фото и видеоизображение в цифровое представление с целью анализа и последующей интерпретацией содержания преобразование аналоговой звуковой информации в цифровое представление и выполнение обратной задачи НАПРАВЛЕНИЯ ИИ ПРИМЕРЫ ПРИМЕНЕНИЙ • Решение о кредитовании • Налоговые вычеты • Выдача сертификата на материнский капитал • Анализ обращений граждан в ведомства • Анализ данных соцопроса • Мониторинг настроений в прессе • Биометрия по фото/видео • Аномальное поведение людей на видеозаписях • Категоризация фотографий в соцсетях • Автоматизация колл-центров • Голосовая биометрия • Категоризация фотографий в соцсетях 1 2 3 4 5
6. Офис СDS Банковские задачи прогнозирования Управление наличной ликвидностью в банкоматах Прогнозирование переводов и остатков средств Прогнозирование клиентопотока в офисах Банка Разработка библиотеки для анализа и прогнозирования временных рядов зашумленных данных
7. Офис СDS Особенности работы с временными рядами «Пропуски» в данных (простои) Изменение тренда (перемещение банкомата) Выбросы в данных (аутлаеры)
8. Офис СDS Библиотека Sberbank Vanga Ключевая функциональность • Детектирование аномалий • Подготовка признакового пространства • Прогнозирование
9. Офис СDS Работа с библиотекой Sberbank Vanga: аномалии • Импортируем библиотеку • Вызываем метод detect() и получаем бинарный ряд • При необходимости визуализируем аномалии на графике
10. Офис СDS Аутлаеры: периодичные и случайные Аутлаеры случаются в один и тот же день месяца – это баг или фича? Аутлаеры распределены равномерно по дням недели – это шум
11. Офис СDS Гибкая настройка переносов регулярных событий из-за выходных • Вызываем метод mark_features() • Настраиваем параметр kind (перенос на рабочий день до выходного или после):
12. Офис СDS AI-алгоритм с разметкой ЗП-дней справляется лучше человека
13. Офис СDS API классов по работе с аномалиями
14. Офис СDS Признаковое пространство для прогнозирования собирается как конструктор Опции • Календарные фичи (дни недели, месяца, выходные, праздники и т.п.) • Лаги заданной глубины • Скользящие статистики («среднее по вторникам за последний месяц») • Задетектированные аномалии (как признак и как исключение из обучения) • Дополнительные переменные в виде таблицы • Глубина данных для обучения • Горизонт прогноза (на сколько дней вперед предсказываем) • Частота переобучения модели по ходу прогнозирования • Режим кросс-валидации (знаем фактические данные и используем их) или realtime (предсказываем значения и используем их)
15. Офис СDS Режимы realtime и кросс-валидация Опции • Прогнозирование на базе фактических данных (используется для кросс-валидации) – ежедневные фактические данные подставляются для расчёта признакового пространства как уже известные величины • Прогнозирование в режиме realtime – ежедневные данные прогнозируются и на базе их формируется признаковое пространство для прогнозирования на следующий день
16. Офис СDS API класса Predictor
17. Офис СDS Sberbank Vanga vs аналитик
18. Офис СDS Прогнозы в реальности попадают на вход следующей модели - оптимизационной Поиск функции : = , , , где S – итоговые затраты на управление ликвидностью объектов; I – затраты на кассу и инкассацию; F – затраты на фондирование денежных средств; R – перечень ограничивающих условий (ограничение по числу инкассаций, доступности объектов и т.п.); dt – уровень финансовой недоступности по причине отсутствия средств  Минимизация затрат на фондирование и кассово-инкассационное обслуживание  Подбор оптимальных параметров (сумма загрузки и периодичность инкассации) Бизнес-задача Математическая интерпретация id 27 авг 28 авг 29 авг 30 авг 31 авг 1 сен 2 сен 3 сен 4 сен 5 сен 6 сен 7 сен 8 сен 9 сен 10 сен 11 сен 12 сен 10355 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 12456 0 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 10432 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 667456 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 34529 0 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 1 128437 1 0 0 0 1 0 0 1 0 0 1 0 1 0 0 1 0 34098 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 53921 1 0 0 0 1 0 1 0 1 0 0 0 1 0 1 1 0 Алгоритмическая интерпретация Расстановка 1 (есть инкассация) и 0 (нет инкассации) для каждого АТМ и даты на горизонте в несколько недель
19. Офис СDS Масштабы задачи и решение «в лоб» Масштабы Количество объектов прогнозирования в КИЦ: х 1500 Горизонт прогноза: Кол-во заявок в день Кол-во возможных вариантов инкассации: дней ∗ объектов ≈ ≈ Ограничения id 27 авг 28 авг 29 авг 30 авг 31 авг 1 сен 2 сен 3 сен 4 сен 5 сен 6 сен 7 сен 8 сен 9 сен 10 сен 11 сен 12 сен 10355 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 12456 0 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 10432 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 667456 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 34529 0 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 1 128437 1 0 0 0 1 0 0 1 0 0 1 0 1 0 0 1 0 34098 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 53921 1 0 0 0 1 0 1 0 1 0 0 0 1 0 1 1 0 0 0 Недоступность в выходные банкоматов 0 0 0 График работы инкассации Создание ограничивающих «масок» 1 1 Совместная и раздельная инкассация
20. Офис СDS Оптимизационные алгоритмы