Share
Embed
OpenTalks.AI - Максим Милков, Оптимизация бизнес-процессов и документооборота с использованием NLP технологий Бизнес-кейс: Цифровой аудитор
opentalks2
February 04, 2021
Transcript
34 slides
-
Милков Максим Технический директор, Lead Data Scientist Департамента анализа данных
(Softline AI) Выпускник МФТИ, более 10 лет опыта реализации консалтинговых проектов по анализу данных для крупнейших российских и международных компаний в сфере финансов, промышленности, ритейл и др. -
НАПРАВЛЕНИЯ ДЕЯТЕЛЬНОСТИ SOFTLINE AI R&D в области Data Science Обучение
Data Science Внедрение и настройка AI инструментов Разработки методик по автоматизации процесса анализа данных -
СОБСТВЕННЫЕ РАЗРАБОТКИ НА ОСНОВЕ OPEN SOURCE КОМАНДА ЭКСПЕРТОВ МЕЖДУНАРОДНЫЕ ВЕНДОРЫ,
ПЛАТФОРМЫ ВЕДУЩИЕ ВУЗЫ -
2020 Нормирование цен на примере рынка канцелярских товаров Softline AI
Конкурс DataContest декабрь 2020 -
Проблематика По причине отсутствия определения предельных цен на широкий перечень
товаров, работ, услуг, приобретаемых государственными организациями, а также методических рекомендаций по расчету нормативных цен и ответственности за их завышение, при проверке обоснованности расчётов обнаруживается некорректность нормативных цен, рассчитываемых организациями, что приводит к завышению планируемых затрат при формировании бюджета. -
Задачи создать решение для: • формирования справедливой нормативной цены •
с использованием ИИ • сопоставления нормативных цен, цен закупки и справедливой цены • оценка корректности • прогнозирования динамики нормативных цен в будущих периодах • может быть рекомендована органам • глубокой аналитики и мониторинга • с использованием информационных панелей -
• Проблема • Ограниченные возможности поиска (связанные с человеком, с
площадкой) • Длительная оценка коммерческого интереса тендерной закупки • Задача • Разработать программный продукт для автоматизированного/оптимизированного поиска тендерных закупок • Выгоды • Снижение расходов на поиск тендерных закупок • Рост скорости обнаружения тендерных закупок, вызывающих коммерческий интерес • Перепрофилирование сотрудников отдела мониторинга тендеров на более трудоемкую и значимую деятельность • Цифровизация процесса для дальнейшего улучшения и моделирования -
Торговые площадки Электронная площадка(и) закупок Озеро данных Сырые (html /
Word / PDF/ …) Ядро (реляци- онные таблицы) Аналитика (витрины) Информационные панели сервисы (роботы / парсинг / OCR / …) Источники данных ML микро-сервисы Сервисы -
Исторические данные по закупкам и НД на zakupki.gov.ru / agregatoreat.ru
Актуальные прайс-листы торговых площадок -
• Python скрипты • Роботы-«пауки» (загрузка) • zakupki.gov.ru (ЕИС) –
ftp:xml API:json web:html • agregatoreat.ru (Берёзка) – web:html • коммерческие торговые площадки – API:json web:html • Парсинг (извлечение, трансформация, загрузка в реляционные таблицы) • json/xml – десериализация • html – разбор вёрстки страниц -
• конвертирование документов из «doc» в «docx» • поиск релевантных
таблиц (нечёткий поиск ключевых слов) • поиск необходимых столбцов в таблице (нечёткий поиск по паттернам) • обработка вложенных подтаблиц • обработка значений (форматирование, разделение на наименование и атрибуты – NER модель) -
Текстовое описание товара (работы, услуги) Векторное описание товара (частотный подход,
категориальный подход, word2vec) Обучение и валидация модели Определение справедливой цены из распределения и категории отклонения -
• каждый товар описывается вероятностным распределением цены • результат применения
модели • из параметров восстановленного распределения определяется • рекомендуемая (справедливая) цена • категория отклонения цен • шкала -4 – 4 Товар: Маркеры *упрощённый пример Характеристика товара: Тип Цена -
• Метрика определения точности - средняя абсолютная ошибка (МАЕ), интерпретируемая
в контексте данной задачи, симметричная • Модель определения справедливой цены (исторические очищенные данные по закупкам) - 3,41 руб. • Модель определения цены (прайс-листы торговых онлайн- площадок) - 6,46 руб. • Модель прогнозирования справедливой цены (по отдельной категории “маркеры” на 9 месяцев вперед) - 9,05 руб. -
• Продуктивная версия • ЦОД • Базы Данных / Big
Data • Python микро-сервисы • SOICA • BI платформа • «Облако» • Прототип • * Случайная ограниченная выборка закупок • * Выборка нормативных документов гос. органов • Локальное файловое хранилище • Выгрузки табличных данных в плоские файлы • BI платформа c поддержкой скриптов Python -
Разработан индикатор для составления рейтинга организаций по уровню отклонений от
справедливой цены с учётом объёма закупок -
Цифровой аудитор • инструмент глубокой аналитики для • формирования нормативных
цен • мониторинга закупок и сопоставления цен • прогнозирования цен • визуального и интерактивного анализа ✓ Разработана методика выявления существенных отклонений цен ✓ индикатор рейтинга организаций и закупок ✓ Разработан прототип решения -
Цифровой аудитор ✓ Осуществляется операционный мониторинг нормативных цен и аналитика
процессов закупочной деятельности ✓ Оптимизация распределения средств бюджета ✓ Формирование рекомендаций по регулированию процессов формирования -
• Проблема: При наличии в компании большого количества регламентов, сотрудникам
становится проблематично находить ответы на вопросы по бизнес процессам. • Решение: Пользователь задает вопрос в произвольной форме относительно любого из процессов, описанных в корпоративных документах, и получает на него ответ в виде фрагмента текста. • Документы (тех. регламенты) разбиваются на разделы и содержимое каждого раздела сохраняется в коллекцию документов. • Обучается и применяется модель ранжирования документов. Для заданного вопроса отбираются N фрагментов из коллекции документов, потенциально содержащих ответ. • Создается и применяется модель поиска ответа. Модель анализирует вопрос и затем, читая последовательно по словам фрагмент текста, для каждого слова принимает решение: может ли данное слово являться ответом. • Дополнительно определяется оценка ответа, которая позволяет ранжировать ответы если модель находит несколько возможных вариантов. -
• Пример работы Правильный ответ: Вопрос 1: «Где заявитель проводит
испытания образцов зерна для подтверждения соответствия? Ответы: Уверенность модели в ответе Оценка модели: 100 Оценка модели: 76 Альтернативный ответ: -
Softline Digital 25+ лет на рынке Глобальное присутствие 3000+ партнеров
Техническая и продуктовая экспертиза Топовые позиции в международных рейтингах Команда экстра-класса с глобальной отраслевой и технической экспертизой Взаимодополняющие направления бизнеса Ведущие научные и технологические партнеры: HSE, SkolTech и т.д. Заказная разработка для разных отраслей и специфических задач Быстрая оценка и быстрый старт цифровой трансформации