OpenTalks.AI - Александр Прозоров, Референсная архитектура робота сервисного центра в отраслях с изменчивыми бизнес-процессами

Transcript

1. Референсная архитектура робота сервисного центра в отраслях с изменчивыми бизнес-процессами https://cybersyn.ch Александр Прозоров 4 февраля 2021 info@cybersyn.ch
2. О спикере Александр Прозоров CберТех, архитектор Основатель Киберсин, консультант по технологиям Научный сотрудник лаборатории машинного интеллекта МФТИ Вопросы ждем на info@cybersyn.ch Github репо с кодом Service Centre Robot Reference Architecture ВЕНДОР ПЛАТФОРМЫ ГИПЕРАВТОМАТИЗАЦИИ CYBERSYN INTELLIGENT AUTOMATION PLATFORM С 2015 года Лаборатория разрабатывает и внедряет программно-аппаратных роботов: комплектовщиков, дефектовщиков, кладовщиков, диспетчеров, сортировщиков, контролёров качества, маркировщиков, охранников и другие важные профессии. Клиенты: KPMG, Pepsico, СБЕР, Ингосстрах, Русагро, ДИТ Москвы, Alpha Automotive Technologies… ЛАБОРАТОРИЯ КИБЕР-ФИЗИЧЕСКИХ СИСТЕМ https://cybersyn.ch
3. • Что такое сервисный центр? Проблемы, функции, бизнес-метрики, место в цифровой трансформации компаний • Пример типового проекта в «кровавом» enterprise. AS IS, TO BE. • Функциональные и системные требования к архитектуре робота • Решаемая задача с т.з. ML • Референсная архитектура робота • Ответы на вопросы https://cybersyn.ch О чем доклад?
4. Сервисный центр глазами бизнеса ХОТИМ ПРОБЛЕМА ИТ КАНАЛЫ ИТ ГРАМОТНОСТЬ ИТ ЛЮДИ ЭКОНОМИЯ ПЕРСПЕКТИВЫ Удовлетворённость пользователей (NPS) Мы сделали общение с ИТ-службой как можно проще и комфортнее Снижение количества заявок, зарегистрированных не правильно Перераспределение нагрузки ИТ специалистов в сторону усложнения задач Снижение затрат на переклассификацию заявок на 70%, на мониторинг заявок на 90% Перераспределение нагрузки ИТ специалистов в сторону усложнения задач Пользователи не ограничены выбором из каталога, учатся правильно формулировать Перераспределили время и внимание сотрудников на более сложные задачи Повысили эффективную стоимость каждого ИТ специалиста Человеческие ресурсы используются для решения сложных задач, выполнения рутины средней сложности Отсутствие 1 линии поддержки, только портал Слишком мало точек входа для пользователей Пользователи часто ошибаются, обратной связи нет Нет или жалко ресурсов на обработку заявок ИТ специалисты дорогие Много ручного труда в рутине Возможность регистрации по электронной почте Возможность обращения к ИТ через чат-бот Робот думает за пользователей Ресурсы только для интеллектуальных задач ИТ специалисты выполняют ценные задачи Возможность отдавать роботу рутину МЕТРИКИ ВОЗМОЖНОСТИ https://cybersyn.ch
5. Бизнес-метрики проекта роботизации 30% Классификация и маршрутизация, освобожденные ресурсы ВРЕМЯ ИСПОЛНЕНИЯ 20% Пользователям интересно, учатся «правильно» писать ВОВЛЕЧЕННОСТЬ 70% Заявки обрабатываются РОБОТОМ РЕШЕНИЙ РОБОТОМ 45% Снизились прямые затраты ЗАТРАТЫ НА РУТИНУ 10% Пользователям нравятся упрощенные каналы взаимодействия NPS 3 дня Малое время обновления навыка робота ОБНОВЛЕНИЕ НАВЫКА https://cybersyn.ch
6. Типовые функции робота Робот (ВА) – штатный ассистент сервисного центра Корпорации ★ Быстрая регистрация заявок ★ Непрерывный контроль качества работы робота ★ Сезонные словари на регулярной основе ★ Анализ изображений ★ Автоответы по базам знаний ★ Быстрое получение информации о статусе систем и конфигурационным единицам https://cybersyn.ch
7. https://cybersyn.ch AS IS: типовые проблемы СОТРУДНИКИ АГЕНТЫ Email Телефон Портал АИС Отдел сопровождения бизнес-систем Отдел технической поддержки 13000 6000 200 800 1-я линия 2-я линия 3-я линия 2-я линия 3-я линия ITSM решается 9300 4000 заявок/мес 22000 заявок/мес 6000 инц/мес 16000 ЗнО/мес 1500 инц/мес 2500 ЗнО/мес АП 100 Сворминг решается 14200 решается 700 Чат-бот 3 Email Телефон Портал АИС 1700 50 1 50 АП 2200 Чат-бот 1 30% 70% Обращения • Каталог услуг – интерфейс между бизнес- процессами; как следствие, частые изменения в каталоге услуг • Сезонность лексики пользователей при обращениях => модели быстро деградируют • Высокая нагрузка на 1-ю линию по анализу заявок • Высокая доля переклассифицированных заявок на 2-й линии • Дублирование задач на 2-й линии из-за неверных обращений пользователей • Сложный портал для пользователей (ошибки назначения заявок на 2-ю линию) • Нет автоответов на типовые запросы • Когда пользователи знают что им надо – они склонны пользоваться порталом самообслуживания. В противном случае пишут письма
8. https://cybersyn.ch TO BE: типовые цели • Внедрить виртуальный ассистент (чат- бот с навыком диалога) для взаимодействия с пользователями посредством почты и мессенджера • Внедрить навыки по классификации и маршрутизации заявок пользователей • Внедрить навык «мастер оформления заявки» • Внедрить навык «ответ на типовой вопрос» • Оптимизировать корпоративную базу знаний под навыки • Оптимизировать каталог услуг под навыки • Внедрить единую среду DevOps/DataOps/MLOps для глубокой автоматизации процессов разработки и технической поддержки системы СОТРУДНИКИ Отдел сопровождения бизнес-систем Отдел техической поддержки 1-я линия 2-я линия 3-я линия 2-я линия 3-я линия ITSM Решается 1800 (-75%) 22000 заявок/мес 6000 инц/мес 16000 ЗнО/мес Сворминг Решается 700 Робот База знаний ответов Email Телефон Портал АИС 10800 (-30%) 4200 (-30%) 200 550 (-30%) АП 100 Чат-бот 6700 (+30%) АГЕНТЫ 4000 заявок/мес 1500 инц/мес 2500 ЗнО/мес Email Телефон Портал АИС 1200 (-30%) 50 1 50 АП 1500 (-30%) Чат-бот 1200 (+30%) Решается 13500 (-5%) Решается 1700 (-10%)
9. https://cybersyn.ch Требования к роботу Функциональные требования Системные требования Внедрить виртуальный ассистент (робот) Интегрировать робот с: • Системой разделения доступа (типа MS AD) • ITSM-системой (типа ServiceNow) • Корпоративной почтой (типа MS Exchange) • Корпоративным мессенджером (типа MS Teams) Обеспечить SLA при расчётной нагрузке (пример: 30 заявок/сек, TTM новой версии навыка - 3 дня) Внедрить инфраструктуру робота с учётом SLA Внедрить навык классификации Обеспечить низкий TTM для новых версий навыка: для этого внедрить DataOps и MLOps Внедрить навык маршрутизации Обеспечить низкий TTM для новых версий навыка: для этого провести интеграцию с ITSM-системой в части каталога услуг Внедрить навык «мастер оформления заявки» Обеспечить низкий TTM для новых версий навыка: для этого внедрить модуль ведения диалога на основе сценариев (low code подход) Внедрить навык «ответ на типовой вопрос» Обеспечить низкий TTM для новых версий навыка: для этого внедрить автопополняемую базу знаний вопросов-ответов и интегрировать робот с ITSM-системой в части БДКЕ Внедрить автопополняемую базу знаний вопросов-ответов (БЗВО) Интегрировать БЗВО с: • Корпоративной базой знаний (типа Confluence) • ITSM-системой (типа ServiceNow), в части источников данных для майнинга типовых ВО Внедрить процесс автопополнения БЗВО
10. Текстам заявок должна быть сопоставлена группа назначения или элемент каталога, с учетом: 1. Иерархии (тематическая вложенность) в каталоге 2. Обучающая выборка собрана AS IS (по имеющемуся каталогу, который чудовищно не сбалансирован) 3. Каталог постоянно меняется 4. Классификация должна быть стабильной во времени Постановка задачи для машинного обучения https://cybersyn.ch
11. Боли, причины и курсы лечения ПРИЧИНЫ ЧТО ДЕЛАТЬ? ПРОБЛЕМА ↓ ТОЧНОСТИ КЛАССИФИКАЦИИ Лексика быстро меняется в зависимости от этапа производства СЕЗОННОСТЬ ↑ Пользователи забывают о правилах НИЗКАЯ ОБУЧАЕМОСТЬ Максимально автоматизируем процесс сбора и каталогизации данных DataOps Регулярно пополняем сезонный словарь и верифицируем спорные метки MLOps Меняем восприятие: пользователь такой же участник ИТ процесса! ВОВЛЕЧЕНИЕ Не было исторических данных для обучения НЕТ ДАННЫХ Функции центра компетенции Заказчика https://cybersyn.ch
12. Команда проектов со стороны Заказчика Менеджер проекта, аналитик Аналитик Формирование частных требований с учетом специфики подразделений Заказчика Разработчики ИТ-систем Заказчика интеграция с роботом, проверка качества работы робота на тестовых выборках Архитектор ИТ инфраструктуры, специалист ИБ Размещение продуктивной и среды опытной эксплуатации, настройка интеграции с тестовой и средой разработки подрядчика Тестировщик Функциональное тестирование процесса регистрации заявок, и сценариев поведения чат-бота участие постоянно участие по запросу Команда разработчиков робота Команда разработчиков робота https://cybersyn.ch
13. MLOps - подробнее DEV + STAGE PROD Модельеры данных Интегратора Единое хранилище log- записей Корпоративная система Заказчика Jupyter Notebook Textomator AppServer 8 6 7 9 Textomator AppServer PROD 5 Аналитики Заказчика Textomator Web Console 3 2 4 1 https://cybersyn.ch
14. Подводные камни 1) В обучающей выборке много шума - операторы могут отнести одно и то же обращение к разным группам назначений (машина учится на этих ошибках и начинает ошибаться сама) 2) Иерархия означает, что семантически близкие запросы проявятся в разных частях каталога (например, подкатегория «консультация» есть и в «SAP ERP», и «Рабочее место», и во многих других категориях) 3) Каталог постоянно трансформируется – раз в месяц-два добавляются новые элементы каталога, а в старых изменяется лексика 4) На стабильность алгоритмов во времени влияет сезонность: - резкие скачки доли разных тем в потоке обращений - сезонность лексики внутри тем обращений https://cybersyn.ch
15. Как обходить подводные камни 1) Шум в обучающей выборке С помощью ML выделяются пограничные письма и сообщения, которые могут быть с близкой вероятностью отнесены к разным классам. Эти письма отправляются на повторную разметку. Определить строгие правила классификации для сообщений, содержащих только спецтермины, корпоративные идентификаторы и т.д. https://cybersyn.ch
16. Как обходить подводные камни 2) Близкие по смыслу запросы в разных частях каталога такие запросы разделять по группам назначения, это позволит выделить дополнительные информативные признаки 3) Оптимизация каталога услуг необходимо проводить с учетом «читаемости» его непосредственно пользователями, операторами и машиной. Если ошибается человек => будет ошибаться и машина 4) Для стабильной работы классификатора в условиях изменчивости структуры и лексики обращений был построен ансамбль классификаторов https://cybersyn.ch
17. Как обходить подводные камни категория_1 0.93 категория_2 0.81 ... категория_N 0.72 категория_1 0.79 категория_2 0.83 ... категория_N 0.95 категория_1 0.81 категория_2 0.91 ... категория_N 0.86 категория_1 0.93 категория_2 0.91 ... категория_N 0.95 Data + ML Ops Workflows Исходный поток данных (примеры запросов) Подвыборки Random Forest Decision Trees DL/BERT Ансамбль классификаторов Тестовые данные STAGE/ PREPROD Примеры запросов, верифицированные словари и обучающие выборки AutoML + MLOps Workflows Диалоговый агент Модели кандидаты https://cybersyn.ch
18. Baseline результат Общее качество: 85%+ верных классификаций на группу назначения для частей каталога, где есть 200+ примеров за последние 2 месяца https://cybersyn.ch
19. Реф. архитектура среды DevOps* Prometheus Kibana Elasticsearch Grafana Redmine Gitlab, Docker CR sd-bot Ansible DEVOPS Developers Duty Staff Staff DEBAGGING DEV STAGE PREPROD PROD Kibana Elasticsearch BUSINESS ANALYSIS Developers MONITORING КОНТУР ИНТЕГРАТОРА КОНТУР ЗАКАЗЧИКА Grafana Kibana 1 2 3 4 5 6 7 8 9 10 11 12 HTTPS, SSH HTTPS, SSH HTTPS https://cybersyn.ch *Товарные названия компонентов среды приведены для справки
20. Стек сред Data and ML Oрs* DataOps Автоматизированная среда сбора, преобразования, каталогизации и повторного использования согласованных наборов данных. MLOps Автоматизированная среда подготовки рабочих наборов данных для обучения и тестирования моделей- кандидатов. При помощи DevOps обеспечивается развертывание моделей- кандидатов или выбранных моделей для их эксплуатации *Товарные названия компонентов сред приведены для справки https://cybersyn.ch Опытная эксплуатация моделей Оценка и валидация моделей Обучение моделей Описание значимых признаков Описание данных Анализ данных Захват данных Textomator Local Storage (Postgres + Ceph) Central Log Storage (Elasticsearch) Corporate IT Systems (RDBMS) Git + GitLab Ansible + Docker + Kubernetes DevOps DataOps Стадия STAGE / PREPROD / PROD Files (XLS, CSV, XML) Textomator (верификация меток, словарей, терминологий, результаты AutoML) Jupyter (MLCore и другие библиотеки) MLOps
21. DataOps & MLOps workflows* *Товарные названия компонентов сред приведены для справки https://cybersyn.ch DEV + STAGE PROD PROD Модельеры данных Интегратора Единое хранилище log- записей Подсистема обработки писем Диалоговая подсистема 2 DataFabric Storage (Textomator) Корпоратив- ные системы Заказчика Конечные пользователи MLOps Workflow (Textomator) MLOps Workflow (Jupyter Notebook) Аналитики Заказчика 1 4 3 4 5 6 DataFabric Storage (Textomator) PROD / PREPROD 8 7 9 11 12 10 DataOps MLOps
22. Auto generated from Python https://cybersyn.ch Корпоративные системы Обработка заявок по разным каналам Компоненты общего назначения База знаний DataOps MLOps
23. Благодарю за внимание! Пройдите бесплатное дистанционное обучение по новой системе разделения труда в сервисном центре! Для этого просто направьте заявку на обучение по адресу info@rtlab.ru, указав в теме письма «Обучение по роботам в сервисном центре» Александр Прозоров, Киберсин info@cybersyn.ch Пример обучающего видео для клиентов сервисного центра https://cybersyn.ch