Le crawl pour les développeurs AFUP Reims Mai 2018

Qui suis-je ? Julien Deneuville • 29 ans • Monte des sites depuis ~2004 • SEO Pro depuis 2011 • Twitter : @diije • Blog : databulle.com/blog • Vélo • Musique Quelques références ©2018 – Tous droits réservés Databulle – www.databulle.com 2

Qu’est-ce qu’un crawler ? Un logiciel qui est capable de : • Télécharger une page web • En analyser le contenu • En extraire des éléments § Les liens vers d’autres pages § Le title, le H1, la description … • Stocker la liste des pages web à traiter • Stocker les résultats ©2018 – Tous droits réservés Databulle – www.databulle.com 3

Bots & crawlers ©2018 – Tous droits réservés Databulle – www.databulle.com 4 52% du trafic mondial web mondial provient des bots. Source : Incapsula

Screaming Frog Outil SEO de référence Simple et pratique Version gratuite (limitée à 500 URLs) Version payante: £149,00/an ©2018 – Tous droits réservés Databulle – www.databulle.com 5 https://www.screamingfrog.co.uk/seo-spider/

Liens cassés Identifier les liens pointant vers des erreurs : pages introuvables, redirections, erreurs serveur, … ©2018 – Tous droits réservés Databulle – www.databulle.com 6

Liens cassés ©2018 – Tous droits réservés Databulle – www.databulle.com 7 Répartition par type de code réponse Filtre par type de code réponse Liste des liens pointant vers l’URL sélectionnée

D’autres cas d’utilisation Vérifier l’accessibilité des contenus Détecter le contenu dupliqué S’assurer de la bonne réécriture des URLs Vérifier la présence d’un tag sur une liste de pages Comparer le HTML avant/après exécution du JavaScript … ©2018 – Tous droits réservés Databulle – www.databulle.com 8

Allez plus loin Prenez de bonnes habitudes • Améliorez vos recettes • Validez vos mises en production • Faites chauffer vos caches Créez vos propres outils • Par exemple avec Scrapy (en Python, désolé) ©2018 – Tous droits réservés Databulle – www.databulle.com 9