Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Le crawl pour les développeurs - AFUP Reims mai 2018

Le crawl pour les développeurs - AFUP Reims mai 2018

Les SEOs ont l'habitude d'utiliser des crawlers au quotidien, mais ce type d'outil peut également être très utile pour les développeurs.
Découverte de l'outil Screaming Frog et de quelques uses-cases à mettre en place dans vos workflows.

Conférence flash lors du Meetup AFUP Reims de mai 2018

Julien Deneuville
PRO

May 30, 2018
Tweet

More Decks by Julien Deneuville

Other Decks in Marketing & SEO

Transcript

  1. Le crawl pour les développeurs
    AFUP Reims
    Mai 2018

    View Slide

  2. Qui suis-je ?
    Julien Deneuville
    • 29 ans
    • Monte des sites depuis ~2004
    • SEO Pro depuis 2011
    • Twitter : @diije
    • Blog : databulle.com/blog
    • Vélo
    • Musique
    Quelques références
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    2

    View Slide

  3. Qu’est-ce qu’un crawler ?
    Un logiciel qui est capable de :
    • Télécharger une page web
    • En analyser le contenu
    • En extraire des éléments
    § Les liens vers d’autres pages
    § Le title, le H1, la description …
    • Stocker la liste des pages web à
    traiter
    • Stocker les résultats
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    3

    View Slide

  4. Bots & crawlers
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    4
    52% du trafic mondial web mondial
    provient des bots.
    Source : Incapsula

    View Slide

  5. Screaming Frog
    Outil SEO de référence
    Simple et pratique
    Version gratuite (limitée à
    500 URLs)
    Version payante: £149,00/an
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    5
    https://www.screamingfrog.co.uk/seo-spider/

    View Slide

  6. Liens cassés
    Identifier les liens pointant vers des erreurs :
    pages introuvables, redirections, erreurs serveur, …
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    6

    View Slide

  7. Liens cassés
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    7
    Répartition par
    type de code
    réponse
    Filtre par type de
    code réponse
    Liste des liens
    pointant vers l’URL
    sélectionnée

    View Slide

  8. D’autres cas d’utilisation
    Vérifier l’accessibilité des contenus
    Détecter le contenu dupliqué
    S’assurer de la bonne réécriture des URLs
    Vérifier la présence d’un tag sur une liste de pages
    Comparer le HTML avant/après exécution du JavaScript

    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    8

    View Slide

  9. Allez plus loin
    Prenez de bonnes habitudes
    • Améliorez vos recettes
    • Validez vos mises en production
    • Faites chauffer vos caches
    Créez vos propres outils
    • Par exemple avec Scrapy (en Python, désolé)
    ©2018 – Tous droits réservés
    Databulle – www.databulle.com
    9

    View Slide