Простые решения машинного обучения в задачах поиска

Сергей Карпович (Mos.ru, руководитель группы поиска) @ Moscow Python Meetup 59
"Поисковая система включает множество самостоятельных сервисов, инструментов анализа и обработки данных. Алгоритмы машинного обучения, используемые для обработки естественного языка, позволяют решить многие задачи, стоящие перед разработчиком поисковой системы. В докладе будет рассказано про способ фильтрации мата, классификации поисковых запросов, метод нахождения дубликатов текстовых документов и решении задачи выделения значимой контентной части из HTML страницы".
Видео: http://www.moscowpython.ru/meetup/59/simple-solutions-for-ml-in-search/

Transcript

1. Простые решения машинного обучения в задачах поиска. Карпович С.Н. Руководитель развития поиска mos.ru
3. Поиск состоит из множества частей.
4. Алгоритмы машинного обучения & Python.
5. Классификатор ненормативной лексики
7. Что потребуется для классификатора
10. Классификатор запросов
11. Подготовка данных
12. Вероятностное тематическое моделирование Библиотеки на Python: • Gensim • BigArtm И подходы: • ML-PLSI
13. PEBL-TM
14. PEBL-TM vs Positive Naive Bayes Classifier
18. Поиск похожих изображений
21. Извлечение значимого контента из HTML страницы
22. Существующие решения • «Boilerplate Detection using Shallow Text Features» (python- boilerpipe • «Извлечение значимой информации из web-страниц для задач информационного поиска»
23. Простое решение на python