CGlossaire

Crawl budget (budget d'exploration)

Le robot a un quota, ne le gaspillez pas sur des pages vides.

Définition

Le crawl budget (budget d'exploration) est la quantité de ressources qu'un moteur consacre à explorer un site donné sur une période : combien de pages ses robots visitent, et à quelle fréquence. Ce budget n'est pas illimité - le moteur arbitre entre l'envie d'explorer un site (selon sa popularité et sa fraîcheur) et sa capacité à le faire sans le surcharger. Sur les très grands sites, ce budget devient une contrainte réelle ; sur les petits, il est rarement limitant.

Pourquoi ça compte

Quand le budget d'exploration est dépensé sur des pages sans valeur, il en reste moins pour les pages importantes - qui sont alors explorées plus rarement, donc mises à jour plus lentement dans l'index. L'enjeu est de ne pas gaspiller ce budget : éviter que les robots passent leur temps sur des doublons, des pages de paramètres, des redirections en chaîne ou du contenu mince. Pour un gros site e-commerce ou éditorial, bien gérer le crawl budget accélère la prise en compte des pages qui comptent. Pour un petit site, c'est secondaire - l'exploration y suffit largement.

Exemple concret

Un site e-commerce génère des milliers d'URLs via des filtres (couleur, taille, tri) qui produisent des variantes quasi identiques. Les robots dépensent l'essentiel de leur budget à explorer ces combinaisons sans valeur, et n'atteignent que tardivement les nouvelles fiches produits. En bloquant l'exploration de ces paramètres inutiles, le site réoriente le budget vers les pages réellement importantes, qui sont alors découvertes et mises à jour plus vite.

Comment l'optimiser

  • Éviter le gaspillage : tenir les robots à l'écart des pages sans valeur (paramètres, doublons, filtres infinis).
  • Limiter les chaînes de redirection et les erreurs, qui consomment du budget pour rien.
  • Maintenir un sitemap propre : guider les robots vers les pages utiles et récentes.
  • Améliorer performance et structure : un site rapide et bien organisé est exploré plus efficacement.

Erreurs fréquentes

  • S'en préoccuper sur un petit site, où le budget n'est presque jamais limitant.
  • Laisser des milliers d'URLs à faible valeur (filtres, paramètres) absorber le budget.
  • Accumuler redirections en chaîne et erreurs qui gaspillent les ressources d'exploration.
  • Confondre crawl budget et indexation : économiser du budget aide à l'exploration, mais n'indexe pas une page faible pour autant.

Termes liés

FAQ

Le crawl budget concerne-t-il tous les sites ? En pratique, surtout les grands sites (dizaines de milliers d'URLs et plus). Pour un site de quelques dizaines ou centaines de pages, les moteurs explorent sans difficulté : le budget n'est généralement pas un frein.

Comment savoir si mon budget d'exploration est gaspillé ? Les statistiques d'exploration de Google Search Console montrent ce que les robots visitent. Si une grande part du budget passe sur des paramètres, des doublons ou des erreurs plutôt que sur vos pages utiles, il y a gaspillage.

Optimiser le crawl budget améliore-t-il mon classement ? Pas directement. Cela aide vos pages importantes à être explorées et rafraîchies plus vite, mais ne remplace ni la qualité du contenu ni l'autorité, qui restent les vrais leviers de classement et d'indexation.