Share
Embed
OpenTalks.AI - Андрей Черток, Sberbank Vanga Vanga AI -библиотека для работы с временными рядами в Сбербанке
OpenTalks.AI
March 01, 2018
Transcript
20 slides
-
Офис СDS Sberbank Vanga AI-библиотека для работы с временными рядами
в Сбербанке Андрей Черток Управляющий директор по исследованиям и разработкам (Сбербанк) Руководитель Академии технологий и данных (Корпоративный университет Сбербанка) 08 февраля 2018 г. -
Офис СDS Что может ИИ Если среднестатистический человек может выполнять
умственную задачу меньше чем за секунду, мы уже сейчас (либо в ближайшем будущем) можем использовать ИИ для автоматизации этого процесса. Andrew Ng, HBR Nov 2016 -
Офис СDS Что может ИИ Для любого регулярно повторяющегося события
мы можем пытаться предсказать исход следующего такого события. Andrew Ng, HBR Nov 2016 -
Офис СDS ИИ в цифровизации 4 СОКРАЩЕНИЕ ЗАТРАТ РОСТ ОБЪЕМОВ
И ЭФФЕКТИВНОСТИ ПРОДАЖ ОПТИМИЗАЦИЯ И АВТОМАТИЗАЦИЯ ПРОЦЕССОВ СОКРАЩЕНИЕ ВРЕМЕНИ ПРИНЯТИЯ РЕШЕНИЙ СИНЕРГЕТИЧЕСКИЙ ЭФФЕКТ ТОЧНОСТЬ ПРИНЯТИЯ РЕШЕНИЙ -
Офис СDS Направления ИИ (финансы и банки) Процесс принятия решений
Работа с естественным языком/текстом Компьютерное зрение Речевая аналитика и синтез речи роботизация процессов принятия решений за счет эмуляции части или всех функций человека перевод неструктурированной информации (произвольного текста) в цифровое представление с целью анализа (понимания смысла) и синтеза (ведения диалога) перевод аналоговых фото и видеоизображение в цифровое представление с целью анализа и последующей интерпретацией содержания преобразование аналоговой звуковой информации в цифровое представление и выполнение обратной задачи НАПРАВЛЕНИЯ ИИ ПРИМЕРЫ ПРИМЕНЕНИЙ • Решение о кредитовании • Налоговые вычеты • Выдача сертификата на материнский капитал • Анализ обращений граждан в ведомства • Анализ данных соцопроса • Мониторинг настроений в прессе • Биометрия по фото/видео • Аномальное поведение людей на видеозаписях • Категоризация фотографий в соцсетях • Автоматизация колл-центров • Голосовая биометрия • Категоризация фотографий в соцсетях 1 2 3 4 5 -
Офис СDS Банковские задачи прогнозирования Управление наличной ликвидностью в банкоматах
Прогнозирование переводов и остатков средств Прогнозирование клиентопотока в офисах Банка Разработка библиотеки для анализа и прогнозирования временных рядов зашумленных данных -
Офис СDS Особенности работы с временными рядами «Пропуски» в данных
(простои) Изменение тренда (перемещение банкомата) Выбросы в данных (аутлаеры) -
Офис СDS Библиотека Sberbank Vanga Ключевая функциональность • Детектирование аномалий
• Подготовка признакового пространства • Прогнозирование -
Офис СDS Работа с библиотекой Sberbank Vanga: аномалии • Импортируем
библиотеку • Вызываем метод detect() и получаем бинарный ряд • При необходимости визуализируем аномалии на графике -
Офис СDS Аутлаеры: периодичные и случайные Аутлаеры случаются в один
и тот же день месяца – это баг или фича? Аутлаеры распределены равномерно по дням недели – это шум -
Офис СDS Гибкая настройка переносов регулярных событий из-за выходных •
Вызываем метод mark_features() • Настраиваем параметр kind (перенос на рабочий день до выходного или после): -
Офис СDS Признаковое пространство для прогнозирования собирается как конструктор Опции
• Календарные фичи (дни недели, месяца, выходные, праздники и т.п.) • Лаги заданной глубины • Скользящие статистики («среднее по вторникам за последний месяц») • Задетектированные аномалии (как признак и как исключение из обучения) • Дополнительные переменные в виде таблицы • Глубина данных для обучения • Горизонт прогноза (на сколько дней вперед предсказываем) • Частота переобучения модели по ходу прогнозирования • Режим кросс-валидации (знаем фактические данные и используем их) или realtime (предсказываем значения и используем их) -
Офис СDS Режимы realtime и кросс-валидация Опции • Прогнозирование на
базе фактических данных (используется для кросс-валидации) – ежедневные фактические данные подставляются для расчёта признакового пространства как уже известные величины • Прогнозирование в режиме realtime – ежедневные данные прогнозируются и на базе их формируется признаковое пространство для прогнозирования на следующий день -
Офис СDS Прогнозы в реальности попадают на вход следующей модели
- оптимизационной Поиск функции : = , , , где S – итоговые затраты на управление ликвидностью объектов; I – затраты на кассу и инкассацию; F – затраты на фондирование денежных средств; R – перечень ограничивающих условий (ограничение по числу инкассаций, доступности объектов и т.п.); dt – уровень финансовой недоступности по причине отсутствия средств Минимизация затрат на фондирование и кассово-инкассационное обслуживание Подбор оптимальных параметров (сумма загрузки и периодичность инкассации) Бизнес-задача Математическая интерпретация id 27 авг 28 авг 29 авг 30 авг 31 авг 1 сен 2 сен 3 сен 4 сен 5 сен 6 сен 7 сен 8 сен 9 сен 10 сен 11 сен 12 сен 10355 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 12456 0 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 10432 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 667456 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 34529 0 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 1 128437 1 0 0 0 1 0 0 1 0 0 1 0 1 0 0 1 0 34098 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 53921 1 0 0 0 1 0 1 0 1 0 0 0 1 0 1 1 0 Алгоритмическая интерпретация Расстановка 1 (есть инкассация) и 0 (нет инкассации) для каждого АТМ и даты на горизонте в несколько недель -
Офис СDS Масштабы задачи и решение «в лоб» Масштабы Количество
объектов прогнозирования в КИЦ: х 1500 Горизонт прогноза: Кол-во заявок в день Кол-во возможных вариантов инкассации: дней ∗ объектов ≈ ≈ Ограничения id 27 авг 28 авг 29 авг 30 авг 31 авг 1 сен 2 сен 3 сен 4 сен 5 сен 6 сен 7 сен 8 сен 9 сен 10 сен 11 сен 12 сен 10355 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 12456 0 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 10432 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 667456 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 34529 0 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 1 128437 1 0 0 0 1 0 0 1 0 0 1 0 1 0 0 1 0 34098 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 53921 1 0 0 0 1 0 1 0 1 0 0 0 1 0 1 1 0 0 0 Недоступность в выходные банкоматов 0 0 0 График работы инкассации Создание ограничивающих «масок» 1 1 Совместная и раздельная инкассация