Автоматизация контент-фильтрации на pythondigest.ru

Решим задачу классификации в приложении к материалам о языке Python: научимся отличать пригодный к публикации контент от плохого с помощью методов машинного обучения.

Андрей Киселёв @ Moscow Python Meetup #34

Transcript

1. pydigest-classifier
2. pythondigest.ru • Еженедельный дайджест новостей о Python • Посодействуй проекту - добавь интересную новость • github.com/pythondigest/pythondig est • github.com/kiselev1189/pydigest- classifier
3. scikit-learn
4. • Данные подаются как... Множество примеров, , где x - вектор из y - значение класса • Задача - найти функцию Такую, что ошибка на новых точках минимальна
5. scikit-learn ML для всех • Фокус на простоте использования • Легко установить, мало зависимостей • Отличная документация
6. Пример
7. Gradient Boosted Trees
8. Используется в •ATLAS (поиск бозона Хиггса) • Ранжирование веб-страниц •Spotify (рекомендательная система) •Трейдинг • Биология и генетика
9. CART Tree
10. Ансамбль деревьев
11. Boosting • Учим слабое дерево на этих данных
12. Boosting • Сопоставляем больший вес неверно определенным точкам
13. Boosting
14. Boosting
15. Boosting
16. Gradient Boosted Trees •Преимущества Гетерогенные данные, категорные переменные Шумные данные Нелинейные зависимости координат •Недостатки Медленно учится Требует настройки
17. GradientBoostingClassifier • n_estimators - число деревьев в ансамбле • ставим как можно выше • learning_rate - вклад каждого отдельного дерева • понижаем при повышении n_estimators • max_depth - глубина дерева • Чем выше - тем более нелинейные отношения можем смоделировать
18. Практика
19. Задача •Входные данные HTML-документ страницы заголовок описание язык • 11000 размеченных страниц для обучения • Вывод - True/False
20. Данные
21. Подбор векторизации • Метод научного тыка будем подбирать "фичи" и строить графики, позволяющие обосновать их релевантность • Синий - хорошие статьи • Зеленый - плохие
22. Длина документа 66%
23. Длина текста 71%
24. Длина HTML-кода 75%
25. Плотность текста 78%
26. Длина заголовка 81%
27. Длина описания 90%
28. Язык 92% Английский Русский
29. Текстовая классификация заголовков 96% • Векторизация - Bag-of-Words • Классификатор - SVC(probability=True) • Добавим вероятностный вывод классификатора заголовков к основным "фичам".
30. Классификатор
31. Векторизатор
32. Тренировка
33. Оценка классификатора True Real: False Predicted: True False 757 34 37 1326 • Метрики • Accuracy: 0.96% • Precision: 0.95% • Recall: 0.96% • F1-score: 0.95%
34. • В будущем: • Переход на автоматическую фильтрацию контента • Автоматическая расстановка тегов
35. Спасибо за внимание! Андрей Киселев kiselev1189@gmail.com github.com/kiselev1189/pydigest-classifier