Артем Артемов. Когнитивные системы. Учет неизвестных признаков нейромодели на примере кейса МФЦ

Нейросеть должна не только правильно классифицировать корректные запросы, но также отфильтровывать заведомо неправильные. Необходимо, чтобы обученная сеть на нерелевантные запросы давала ответ «не знаю», а не предлагала наиболее подходящую услугу. Например, на вопрос «где получить паспорт?», сетка должна назвать номер кабинета и услугу, а на вопрос «где получить паспорт пирата?» ответить «не знаю».

Transcript

1. УЧЕТ НЕИЗВЕСТНЫХ ПРИЗНАКОВ НЕЙРОМОДЕЛИ НА ПРИМЕРЕ КЕЙСА МФЦ http://cogsys.company Артем Артемов, «Когнитивные системы»
2. ПРОБЛЕМА БЛИЗКОГО ОТВЕТА •Нейросети пытаются найти наиболее близкий ответ на любой запрос – преимущество и проблема •Особенно актуально в языковых моделях и диалоговых системах • Часто это мешает – такой ответ может ввести пользователя в заблуждение
3. ПРОБЛЕМА БЛИЗКОГО ОТВЕТА Когда отвечать «не знаю»?
4. ЗАДАЧА МФЦ Разработать нейромодель для Промобота, консультирующего посетителей по услугам в МФЦ.
5. ДАННЫЕ Датасет из 10 000 классифицированных реальных запросов посетителей МФЦ Запрос Тип услуги Как получить страховое пенсионное свидетельство? Выдача СНИЛС Как получить добавку к пенсии за службу? Перерасчет пенсии Что нужно для заказа паспорта? Паспорт РФ Нужно оформить загран паспорт ребенку? Заграничный Паспорт
6. В основе метода лежит информационный нейробайесовый подход (ИНП) - весовые коэффициенты интерпретируются как мера количества информации в признаках объекта для возможности идентификации его класса. МЕТОДОЛОГИЧЕСКАЯ ОСНОВА
7. ПРОБЛЕМА Результаты первичного тестирования: В первой итерации - 60% правильных классификаций. Большинство заведомо неправильных запросов классифицировались системой как корректные. question true_class first_sim_precedent pred_class confidenсe Мне необходимо получить загран. паспорт основное| услуга 5.0| загран_заход Документы, необходимые для выдачи паспорта услуга 2.0| паспорт_заход| основное 0,636 Мне надо заказать льготу на квартиру основное| услуга 15.0| субсидиижкх_заход Мне надо заказать регистрацию в квартире услуга 1.0| прописка_заход| основное 0,928
8. ПОСТАНОВКА Нейросеть должна не только правильно классифицировать корректные запросы, но также отфильтровывать заведомо неправильные. Обученная сеть на нерелевантные запросы должна давать ответ «не знаю», а не предлагать наиболее подходящую услугу. Пример: на вопрос «где получить паспорт?», модель должна назвать номер кабинета и услугу, а на вопрос «где получить паспорт пирата?» ответить – «не знаю».
9. РЕШЕНИЕ – УЧЕТ НЕИЗВЕСТНЫХ ПРИЗНАКОВ Теорема: В условиях ограниченных данных, равное число одинаково неизвестных признаков объекта не могут иметь разный вес. !" = 1 − &" 'неизвест признаки 'все признаки ∑ 45" 65 Представленная модель дисконтирования весов универсальна и, благодаря коэффициенту &7 , может быть адаптирована для различных функции активации.
10. УРОВЕНЬ УВЕРЕННОСТИ
11. «РЕЦЕПТ» РЕШЕНИЯ ПРОБЛЕМЫ 1. Слова каждого запроса лемматизируются и сводятся к инвариантам. 2. Преобразованный запрос разбивается на биграммы и отдельные слова. 3. Выбираем запросы из обучающего датасета, наиболее полно соответствующих данным по биграммам и униграммам. 4. Степень соответствия определяется по трем функциям SMI, NI и SRI, от значений которых считается среднее арифметическое - уровень уверенности (УУ).
12. ОСНОВА РЕШЕНИЯ ПРОБЛЕМЫ Уровень уверенности - мера оценки незнания системой ответа на заданный вопрос. Пользователю выдается ответ, если класс ответа соответствует приемлемому уровню уверенности Пользователю выдается сообщение «некорректный вопрос», если УУ ниже 60% – высокой вероятности неправильной классификации.
13. РЕЗУЛЬТАТЫ Модель показывает 93,64% правильных классификаций с учетом использования в тесте заведомо корректных и некорректных запросов*. *тестовый датасет на 50 000 запросов Artemov, A & Bolokhov, I & Kem, D & Khasenevich, I. (2019). Neural Network-based Object Classification by Known and Unknown Features (Based on Text Queries). http://arxiv.org/abs/1906.00800
14. ВЫВОДЫ Использование УУ позволяет системе : A. Давать ответы на корректные запросы и отфильтровывать заведомо неверные. B. Распознавать парафразы и синонимы. Пример: система должна давать верный ответ на различные формулировки вопроса «как получить паспорт», «как получить удостоверение личности» и т.п. C. Система оценивает свою возможность дать корректный ответ с помощью показателя «уровень уверенности» - мера соответствия заданного запроса найденному. При низком уровне уверенности система дает ответ «не знаю».
15. СПАСИБО ЗА ВНИМАНИЕ http://cogsys.company