Le crawl pour les développeurs - AFUP Reims mai 2018

Les SEOs ont l'habitude d'utiliser des crawlers au quotidien, mais ce type d'outil peut également être très utile pour les développeurs.
Découverte de l'outil Screaming Frog et de quelques uses-cases à mettre en place dans vos workflows.

Conférence flash lors du Meetup AFUP Reims de mai 2018

Transcript

1. Le crawl pour les développeurs
   AFUP Reims
   Mai 2018
   

   View Slide

2. Qui suis-je ?
   Julien Deneuville
   • 29 ans
   • Monte des sites depuis ~2004
   • SEO Pro depuis 2011
   • Twitter : @diije
   • Blog : databulle.com/blog
   • Vélo
   • Musique
   Quelques références
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   2
   

   View Slide

3. Qu’est-ce qu’un crawler ?
   Un logiciel qui est capable de :
   • Télécharger une page web
   • En analyser le contenu
   • En extraire des éléments
   § Les liens vers d’autres pages
   § Le title, le H1, la description …
   • Stocker la liste des pages web à
   traiter
   • Stocker les résultats
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   3
   

   View Slide

4. Bots & crawlers
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   4
   52% du trafic mondial web mondial
   provient des bots.
   Source : Incapsula
   

   View Slide

5. Screaming Frog
   Outil SEO de référence
   Simple et pratique
   Version gratuite (limitée à
   500 URLs)
   Version payante: £149,00/an
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   5
   https://www.screamingfrog.co.uk/seo-spider/
   

   View Slide

6. Liens cassés
   Identifier les liens pointant vers des erreurs :
   pages introuvables, redirections, erreurs serveur, …
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   6
   

   View Slide

7. Liens cassés
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   7
   Répartition par
   type de code
   réponse
   Filtre par type de
   code réponse
   Liste des liens
   pointant vers l’URL
   sélectionnée
   

   View Slide

8. D’autres cas d’utilisation
   Vérifier l’accessibilité des contenus
   Détecter le contenu dupliqué
   S’assurer de la bonne réécriture des URLs
   Vérifier la présence d’un tag sur une liste de pages
   Comparer le HTML avant/après exécution du JavaScript
   …
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   8
   

   View Slide

9. Allez plus loin
   Prenez de bonnes habitudes
   • Améliorez vos recettes
   • Validez vos mises en production
   • Faites chauffer vos caches
   Créez vos propres outils
   • Par exemple avec Scrapy (en Python, désolé)
   ©2018 – Tous droits réservés
   Databulle – www.databulle.com
   9
   

   View Slide