Crawl budget
C
Definition complete
Le crawl budget représente le nombre de pages que Googlebot peut et souhaite explorer sur votre site pendant une période donnée. C'est une ressource limitée : si Google la gaspille sur des pages inutiles, vos pages importantes risquent d'être moins fréquemment crawlées.
Deux facteurs déterminent le crawl budget :
- Crawl rate limit : vitesse maximale de crawl sans surcharger votre serveur
- Crawl demand : intérêt de Google pour votre contenu (popularité, fraîcheur)
Les problèmes courants qui gaspillent le crawl budget :
- Facettes e-commerce : milliers de combinaisons de filtres indexables
- Paramètres d'URL : versions tracking, tri, pagination infinies
- Pages de faible valeur : archives, tags, pages auteur vides
- Contenu dupliqué : versions HTTP/HTTPS, www/non-www
- Erreurs 404/500 : pages cassées toujours crawlées
Optimisation : robots.txt pour bloquer les sections inutiles, canoniques pour consolider, sitemaps priorisés, architecture plate, serveur rapide.
Exemples pratiques
- E-commerce : blocage des /filter/ en robots.txt économisant 80% du crawl budget
- Blog : noindex sur les pages tags peu visitées concentrant le crawl sur les articles
- Sitemap : priorisation des pages à fort potentiel SEO via lastmod et priority
A quoi sert Crawl budget ?
- Optimisation pour grands sites : concentrer le crawl sur les pages strategiques
- Gestion des facettes e-commerce : bloquer les URLs de filtres inutiles
- Acceleration de l'indexation : liberer du budget pour les nouveaux contenus
- Correction des erreurs : reduire les 404 et 500 qui gaspillent le budget
- Prioritisation des sitemaps : guider Google vers les pages importantes
Crawl budget en pratique chez 123web
Chez 123web, nous auditons et optimisons votre crawl budget pour que Google concentre ses ressources sur vos pages stratégiques, accélérant leur indexation et leur positionnement.