Методы и алгоритмы решения задач классификации и рекомендации текстов​

Виталий Зайчук (А-нью Технолоджи, Старший разработчик) @ Moscow Python Meetup 62

"Обработка естественного языка (NLP) — активно развивающаяся научная дисциплина, занимающаяся поиском смысла и обучением на основании текстовых данных. Неважно, кто вы — опытный Data Scientist, или начинающий Python разработчик — вы всегда можете использовать текстовые данные для того, чтобы усовершенствовать продукт над которым работаете и расширить его функциональность.

В докладе, на примере сайта кулинарных рецептов, будут описаны шаги преобразования и очистки данных. Исследованы методы классификации и определения сходства текстов на основе: Mean word2vec, Tf-idf weighted word2vec, Doc2vec, fastText, Word Mover’s Distance. Сравнение качества итоговых моделей. Также поговорим про внедрения в проект моделей классификации и рекомендаций".

Видео: http://www.moscowpython.ru/meetup/62/text-classifying/

Transcript

1. View Slide

2. View Slide

3. View Slide

4. View Slide

5. View Slide

6. Предыстория...
   

   View Slide

7. View Slide

8. View Slide

9. View Slide

10. View Slide

11. View Slide

12. View Slide

13. View Slide

14. View Slide

15. View Slide

16. View Slide

17. View Slide

18. View Slide

19. ●
    ●
    ●
    ●
    

    View Slide

20. View Slide

21. from gensim.models import Word2Vec
    

    View Slide

22. View Slide

23. View Slide

24. View Slide

25. from gensim.models.doc2vec import Doc2Vec
    

    View Slide

26. View Slide

27. View Slide

28. View Slide

29. View Slide

30. View Slide

31. View Slide

32. View Slide

33. View Slide

34. View Slide

35. View Slide

36. View Slide

37. View Slide

38. ●
    ●
    

    View Slide

39. -
    -
    -
    from gensim.similarities import WmdSimilarity
    

    View Slide

40. View Slide

41. View Slide

42. View Slide

43. View Slide

44. View Slide

45. View Slide

46. View Slide

47. View Slide

48. View Slide