Moscow Python Meetup №98 Михаил Васильев (Маквес, Старший специалист по машинному обучению). NLP нейросети в защите данных: опыт Makves DCAP

В этом докладе я расскажу о том, как мы использовали NLP решения для расширения возможностей DCAP (data-centric audit and protection) системы компании Makves. Мы обсудим, почему обработка неструктурированных текстовых данных без нейросетей является сложной задачей и как мы преодолели эти вызовы. Я поделюсь нашим опытом сбора и подготовки датасета, а также раскрою трюки и методы, которые мы применяли для оценки качества полученных решений. Также рассмотрим ограничения, с которыми мы столкнулись при продуктивизации моделей, и как мы их преодолели. Доклад будет полезен как опыт реального внедрения NLP функционала в работающий продукт.

Видео: https://moscowpython.ru/meetup/98/nlp-for-data-defence/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. NLP НЕЙРОСЕТИ 
 В ЗАЩИТЕ ДАННЫХ:
2. ОБО МНЕ Старший специалист по машинному обучению 
 
 Makves (входит в группу компаний «Гарда») 
 
 CV, NLP, ASR etc 
 
 Open source contributor 
 
 Амбассадор Яндекс Практикума 
 
 Выпускник DLS МФТИ
3. СОКРАЩЕНИЯ DCAP Data-Centric Audit and Protection NER Named Entity Recognition NLP Natural Language Processing SOTA State of the Art
4. ЗАДАЧА
5. НЕСТРУКТУРИРОВАННЫЕ ДАННЫЕ
6. Категория Информационные объекты Договор Техническое задание Квитанция Другое Другое Договор Иванов И. И. ООО Ромашка ООО Ромашка, Иванов И. И. Петров П. П. Иванов И. И. ООО Иванов и партнёры Название файла ДОГОВОР_ФИНАЛ.DOC НОВЫЙ ФАЙЛ (3).RTF РОМАШКА_ПЛАТЁЖКА.XLSX ПЕРЕДЕЛКА_НОВАЯ.DOCX ПРАВКИ ЗАКАЗЧИК.DOCX ДОГОВОР_ФИНАЛ_ФИНАЛ.DOC
7. КЛАССИФИКАЦИЯ
8. КЛАССИФИКАЦИЯ Количество файлов по выборкам
9. КЛАССИФИКАЦИЯ Количество файлов по выборкам
10. КЛАССИФИКАЦИЯ Количество файлов по выборкам
11. NAMED ENTITY RECOGNITION
12. NER
13. NER
14. NER
15. Иванов Иван Иванови является одним из ведущих специалистов в области информационных технологий. Он обладает обширным опытом работы и глубокими знаниями в своей сфере деятельности. Иванов успешно руководит проектами, связанными с разработкой программного обеспечения и управлением IT-инфраструктурой. Благодаря своему профессионализму и умению находить инновационные решения, он внес значительный вклад в развитие НОРМАЛИЗАЦИЯ
16. SOTA не всегда подходит Метрики могут просесть Сбор данных = инсайты 12 ВЫВОДЫ
17. MAKVES Российский разработчик программного обеспечения