Методы и алгоритмы решения задач классификации и рекомендации текстов​

Виталий Зайчук (А-нью Технолоджи, Старший разработчик) @ Moscow Python Meetup 62

"Обработка естественного языка (NLP) — активно развивающаяся научная дисциплина, занимающаяся поиском смысла и обучением на основании текстовых данных. Неважно, кто вы — опытный Data Scientist, или начинающий Python разработчик — вы всегда можете использовать текстовые данные для того, чтобы усовершенствовать продукт над которым работаете и расширить его функциональность.

В докладе, на примере сайта кулинарных рецептов, будут описаны шаги преобразования и очистки данных. Исследованы методы классификации и определения сходства текстов на основе: Mean word2vec, Tf-idf weighted word2vec, Doc2vec, fastText, Word Mover’s Distance. Сравнение качества итоговых моделей. Также поговорим про внедрения в проект моделей классификации и рекомендаций".

Видео: http://www.moscowpython.ru/meetup/62/text-classifying/

Transcript

6. Предыстория...
19. • • • •
21. from gensim.models import Word2Vec
25. from gensim.models.doc2vec import Doc2Vec
38. • •
39. - - - from gensim.similarities import WmdSimilarity