UniCrawler - IC05 - UTC - 2013-11-26

Présentation de UniCrawler en amphi de IC05 à l'Université de Technologie de Compiègne

Transcript

1. UniCrawler A Magic Web Crawler with Rainbows
2. Pourquoi un crawler ? Récupère les liens pour les indexer Moteur de recherche Archivage Structuration des données
3. Qu’est-ce qu’un crawler ? Explore des pages web automatiquement Détecter “http://...” dans la page Filtrer Aller sur la nouvelle adresse Recommencer
4. Les données sous
 forme de graphe Le graphe contient : un nœud pour chaque URL, avec éventuellement des mots-clés des liens entre les nœuds en fonction du chemin suivi par le crawler
5. Avant UniCrawler Navicrawler Basé sur une version dépassée de Firefox S’exécute sur le client Sélection manuelle des liens
6. Avant UniCrawler
7. Pourquoi UniCrawler ? UniCrawler Technologie web S’exécute sur un serveur distant Sélection automatique des liens (filtres)
8. Comparaison des architectures Navicrawler UniCrawler
9. Comparaison des architectures
10. Comparaison des architectures
11. Technologies
12. Architecture MongoDB Redis Crawler Interface web API Crawler Crawler Crawler Crawler
13. Interface Web
14. API
15. API
16. Crawler
17. Démonstration Go !
18. Exercice http://unicrawler.emilienkenler.com/index1.html http://unicrawler.emilienkenler.com/index2.html http://unicrawler.emilienkenler.com/index3.html http://unicrawler.emilienkenler.com/index4.html ! À vous !
19. Contribuez ! https://github.com/MiLk/UniCrawler
20. UniCrawler A Magic Web Crawler with Rainbows