Botify @ Data Tuesday

#fr

Transcript

1. What do you really know about your website ? @botify / www.botify.com
2. Je suis Thomas Grange (@mpelmann) Cofondateur de Botify
3. Mon site (aspiré par Botify)
4. Mon site aspiré par un moteur de recherche (Google par exemple)
5. Vu par Botify Vu par le moteur Le meilleur des cas
6. Problème
7. Le moteur ne voit pas du tout la même chose !
8. Vu par Botify Vu par le moteur Le pire des cas
9. Si Google ne peut pas voir mon produit ? Personne ne pourra le rechercher ?
10. Si Google ne peut pas voir mon produit ? Personne ne pourra l’acheter ?
11. Question simple : “Combien de pages avez-vous sur votre site ?”
12. Tous nos clients se sont trompés d’un facteur 10 à 1000 !
13. Quels sont donc les objectifs de Botify ?
14. 1. Obtenir les data 2. Masher les data 3. Interpréter les résultats
15. Botify crawle un site entièrement Sont extraits : liens sortants, metadonnées (title, h1, canonicals..), temps de réponses
16. En chiffres 1 site d’1 million de pages = 200 millions de liens 200 à 500 GB de data
17. Nos clients peuvent également pusher leurs logs serveurs quotidiennement
18. En chiffres Botify reçoit plus de 200 GB de logs par jour
19. et une grande partie de l’analyse est encore effectuée en #python (désolé, ce n’est pas un keyword big data :)
20. 1. Obtenir les data 2. Masher les data 3. Interpréter les résultats
21. Architecture (réseau de liens, profondeur des pages...)
22. Santé (temps de chargement, codes réponses)
23. Qualité sémantique (textes inédits et non dupliqués...)
24. Quels critères justifient qu’une page ne soit pas crawlée
25. Quels critères justifient qu’une page ne soit pas visitée
26. Quelles sont les pages qui pointent vers des pages 404 ?
27. Quelles sont les pages dupliquées entre elles ?
28. Quelles sont les pages qui ne reçoivent qu’un seul lien entrant ?
29. Interpréter avec le crawler + avec les logs serveurs
30. Sur les 3 derniers mois, comment s’est passé le rafraîchissement de mon site par le robot Google ?
31. Sur les 3 derniers mois, quel est le volume de pages crawlées par Google et Bing n’ayant ramené aucune visite
32. Quelles sont les urls que Google a découvert hier ? Ont-elles un potentiel d’audience ? Mise en prod qui a généré des URLS inutiles en SEO
33. 1. Obtenir les data 2. Masher les data 3. Interpréter les résultats
34. Cas pratique : Réduisons la profondeur des pages dans la structure (Profondeur 0 = Homepage) En vert : pages crawlées par Google En rouge : pas non crawlées par Google
35. Le taux de crawl passe de 40% à 90% !
36. +50% d’audience SEO en moins de 30 jours !
37. Le crawler est accessible immédiatement sur botify.com (100K pages offertes pour votre 1er crawl)
38. Nous recrutons ! Un directeur de production Des devs #django #python #go Des passionnés !
39. Merci !