Automatic Content Extraction

Transcript

1. Automatic Content Extraction Maxim Filippovich Automatic Content Extraction @mfilippovich http://github.com/fatum
2. Automatic Content Extraction Зачем?
3. • сайты не оптимизированы • интернет растёт и ссылок всё больше • огромное количество неструктурированных данных Проблемы
4. Интернет за 2012 год • у 30% американцев есть мобильное устройство • мобильный трафик ~ 10% • общий трафик > зетабайта
5. Сферы применения • мобильные приложения • агрегаторы и анализаторы • подготовка к data mining
6. • diffbot.com • alchemyapi.com • opencalais.com • readability.com Сервисы
7. • iterationlabs/ruby-readability (ruby) • code.google.com/p/boilerpipe (java) • jiminoc/goose (scala) OpenSource
8. • Vips (Vision Based Page Segmentation) • Cetr (Content Extraction via Text Ratio) Алгоритмы
9. Vision based Page Segmentation VIPS
10. • создали в Microsoft Research • хорошие результаты • расширяется VIPS
11. Идея VIPS • имитация человеческого определения • создание семантических блоков поверх DOM
12. VIPS Определение визуальных блоков
13. VIPS
14. VIPS Top Down Recursion
15. VIPS Блоки первого уровня
16. VIPS Блоки следующего уровня
17. • привязаны к dom элементу • определяются "визуально" • сама страница - блок первого уровня VIPS Блоки
18. • вертикальные и горизонтальные • располагаются между блоками • помогают выявить контур VIPS Разделители
19. VIPS Разделители
20. @mfilippovich http://github.com/fatum VIPS
21. • необходим рендеринг страницы • не даёт окончательный ответ • медленно VIPS минусы
22. Content Extraction via Tag Ratio CETR
23. • соотношение текста к разметке • сглаживание • 2-D кластеризация CETR
24. CETR Соотношение текста и разметки
25. CETR Gaussian smoothing
26. CETR Создаём второе измерение
27. CETR 2D clustering
28. Тестирование Precision & Recall
29. CETR Мера точности
30. CETR Мера полноты
31. CETR среднее гармоническое величин P и R
32. Спасибо! Maxim Filippovich @mfilippovich http://github.com/fatum