Un client m'a envoyé un mail l'autre jour : « Google met trois semaines à indexer mes nouvelles fiches produits. On est en janvier, elles sortiront en février. » Son site : 42 000 URL, dont 38 000 pages de filtres à facettes. Le problème n'était pas la vitesse de Google. C'était qu'il demandait à Googlebot de lire 38 000 pages qui ne méritaient pas d'exister.
Voilà ce qu'est vraiment le crawl budget : une enveloppe de visites que Google accorde à votre site, et que la plupart des e-commerçants dilapident en silence. Comprendre ce mécanisme, c'est arrêter de se demander pourquoi vos pages stratégiques stagnent en « Découverte, actuellement non indexée ».
Points clés à retenir
- Le crawl budget = capacité serveur (crawl rate limit) × intérêt que Google porte à vos pages (crawl demand). Vous ne contrôlez que le second, mais c'est suffisant.
- Sur un site de moins de 5 000 URL bien structuré, le budget n'est presque jamais le problème. Sur un site à facettes, c'est presque toujours lui.
- Le diagnostic passe par les logs serveur, pas par l'intuition. La Search Console donne une tendance, pas une vérité.
- Le levier le plus rentable : réduire les URL crawlables inutiles (paramètres, tri, pagination infinie).
- noindex n'économise rien. robots.txt économise. La confusion entre les deux coûte des semaines d'indexation.
Comprendre le crawl budget : ce que Google décide vraiment
Googlebot ne parcourt pas le web comme un moteur qui aurait tout son temps. Il dispose d'une capacité d'exploration répartie entre des millions de sites. La vôtre dépend de deux paramètres que Google nomme lui-même : la crawl rate limit (limite imposée par la capacité de votre serveur) et la crawl demand (la probabilité que Google juge utile de revenir chez vous).
La limite que vous subissez vs celle que vous influencez
La crawl rate limit, Google la calcule en observant vos temps de réponse. Si votre serveur met 1,2 seconde à répondre sous la charge, Googlebot ralentit. Point. Vous pouvez forcer une accélération temporaire dans la Search Console, mais c'est un pansement.
La crawl demand, en revanche, se travaille. Elle monte quand vos pages changent souvent, qu'elles sont populaires, qu'elles sont bien liées entre elles et que votre sitemap dit la vérité. Elle descend quand Google explore 10 000 URL pour en trouver 200 qui valent la peine.
Pourquoi ce n'est pas qu'une affaire de gros sites
On lit partout que seuls les sites à plusieurs milliers de pages sont concernés. En pratique, j'ai vu un blog de 800 articles avec un budget gaspillé : les archives par mois, par catégorie, par auteur et par étiquette généraient 4 300 URL crawlables pour 800 contenus. Google passait 80 % de son temps sur des listes vides.
La règle mentale est simple : le budget devient un problème dès que le nombre d'URL inutiles dépasse le nombre d'URL utiles. Pas avant, pas après.
Comment mesurer son crawl budget sans se raconter d'histoires
Première chose à savoir : Google n'affiche nulle part « votre crawl budget est de X requêtes par jour ». La Search Console donne des tendances via le rapport Statistiques d'exploration, mais pas de compteur. Il faut croiser trois sources.
La procédure de diagnostic que j'applique
- Récupérer les logs serveur sur 7 à 14 jours, filtrer les requêtes de Googlebot par user-agent et par IP vérifiée (reverse DNS). Sans ce filtre, vous analysez des scrapers en croyant lire Google.
- Compter les requêtes/jour sur des URL HTML uniques. Si le chiffre reste plat alors que vous publiez 50 pages par semaine, le budget est saturé.
- Calculer le taux de gaspillage : nombre d'URL crawlées qui ne sont ni indexables ni utiles, divisé par le total crawlée. Sur le site du client de tout à l'heure, on était à 71 %.
- Comparer avec la Search Console : rapport Indexation des pages, filtre « Explorée, actuellement non indexée ». Si cette catégorie explose pendant que « Indexée » stagne, c'est un signal.
- Lancer un crawl comparatif (Screaming Frog ou équivalent) en le paramétrant sur le même user-agent que Googlebot, pour voir le site tel qu'il est vu.
Les deux chiffres qui comptent vraiment
Sur les sites que j'ai audités, deux indicateurs suffisent à trancher :
| Indicateur | Calcul | Seuil d'alerte | Ce que ça veut dire |
|---|---|---|---|
| Taux de gaspillage | URL crawlées non indexables / total crawlées | > 40 % | Google lit du vide. Action immédiate. |
| Couverture utile | URL stratégiques crawlées / URL stratégiques connues | < 70 % | Vos pages business ne sont pas vues. |
Un troisième indicateur, plus subtil : le délai de première exploration après publication. Si une page neuve attend plus de 10 jours avant d'être vue, votre budget est mal réparti. Sur un site sain, c'est plutôt 24 à 72 heures.
Les leviers d'optimisation qui changent vraiment les choses
Bon, ici on arrête la théorie. Voici les actions que j'ai vues produire des résultats mesurables, classées par rapport effort/impact.
Réduire les URL crawlables inutiles
C'est de loin le levier le plus rentable. Trois cibles principales :
- Les paramètres d'URL et facettes : sur un catalogue e-commerce, chaque combinaison filtre × tri × pagination crée une URL. 200 produits peuvent générer 50 000 URL. La parade : bloquer les combinaisons sans valeur via
robots.txt, garder crawlables seulement les facettes qui ont une vraie demande de recherche. - La pagination profonde : au-delà de la page 5 d'une liste, quasiment personne ne clique. Mais Googlebot la crawle. Un
noindex, followsur les pages de pagination avancées, ou un blocage pur, libère du budget. - Les URL issues de recherche interne : si votre moteur interne génère des URL indexables, c'est une fuite. Un
robots.txtsur/recherche/suffit généralement.
robots.txt ou noindex : la confusion qui coûte cher
Voici une erreur que j'ai moi-même commise il y a quelques années, et que je vois encore régulièrement. Beaucoup pensent qu'un noindex économise du crawl. C'est faux : Googlebot doit crawler la page pour voir la balise noindex. Vous consommez du budget pour dire « ne m'indexe pas ».
Le robots.txt, lui, bloque avant le crawl. Googlebot ne charge pas la page. C'est le seul outil qui économise réellement. Le revers : si vous bloquez une page déjà indexée via robots.txt, Google ne peut plus voir le noindex et la page peut rester indexée à vie. D'où l'ordre correct : d'abord noindex et attendre la désindexation, puis bloquer dans robots.txt.
Sitemap, canoniques et maillage interne
Un sitemap qui liste 40 000 URL dont la moitié redirige, c'est un signal de mauvaise qualité envoyé à Google. Le mien ne contient que des URL en 200, canoniques, qui méritent d'être explorées. Sur un site e-commerce, cela veut dire exclure les produits en rupture définitive et les variantes sans stock.
Les canoniques jouent un rôle voisin : elles orientent Googlebot vers la version de référence. Attention toutefois — une canonique ne l'empêche pas de crawler la page fautive. Elle l'aide juste à ne pas indexer n'importe quoi.
Surveiller la performance serveur
N'oubliez pas le premier facteur : la crawl rate limit. Si vos pages mettent 2 secondes à sortir, Googlebot réduit sa cadence. J'ai vu un site passer de 12 000 à 30 000 requêtes/jour simplement en réglant un problème de cache serveur sur les pages de catégorie. Aucun changement SEO, juste de la vitesse.
Un cas concret : de 71 % à 18 % de gaspillage en six semaines
Le site client dont je parlais en ouverture. Actions menées : blocage robots.txt sur les combinaisons de filtres sans demande de recherche, noindex sur la pagination au-delà de la page 3, nettoyage du sitemap (de 42 000 à 9 800 URL), correction d'un cache serveur sur les listes. Résultat au bout de six semaines : taux de gaspillage à 18 %, délai de première exploration des nouvelles fiches tombé à 4 jours. Aucune page stratégique n'a été perdue.
Les erreurs que je vois le plus souvent
Franchement, la liste est courte mais tenace.
- Bloquer dans robots.txt sans désindexer d'abord. La page reste indexée pendant des mois, avec un titre et un extrait figés. Effet contre-productif garanti.
- Croire que Google va « comprendre » que vos paramètres sont inutiles. Non. Si c'est crawlable et lié, Google l'explore.
- Confondre lenteur d'indexation et pénalité. Neuf fois sur dix, c'est un problème de budget, pas de qualité. Avant de refondre le contenu, vérifiez les logs.
- Négliger les soft-404. Une page qui renvoie 200 mais affiche « produit indisponible » consomme du budget à chaque visite.
- Publier massivement sans nettoyer. Ajouter 500 URL par mois sans en retirer aucune, c'est arroser un jardin sans jamais désherber.
Et l'erreur silencieuse, celle qui ne se voit pas dans les rapports : ne pas monitorer du tout. On pense que « ça va s'arranger ». Ça ne s'arrange pas.
Faut-il vraiment agir sur son crawl budget ?
La réponse honnête est : pas toujours. Si votre site fait 3 000 URL, que vos nouvelles pages sont explorées en 48 heures et que vos logs ne montrent pas d'anomalie, vous avez mieux à faire. Le crawl budget est un problème de site à volume, avec facettes, pagination profonde, ou catalogue produit massif.
Mais si vous êtes dans le second cas — et vous le savez généralement au moment où vous lisez un article comme celui-ci — alors le diagnostic par les logs est la première action à poser, avant toute refonte technique. Un audit de deux jours m'a coûté moins cher qu'un mois de développement à optimiser des pages qui n'avaient pas besoin de l'être.
Ce qui reste, après tout ça : Google ne crawle pas votre site pour vous faire plaisir. Il crawle là où il trouve de la valeur, à la vitesse que votre serveur lui permet. Votre travail n'est pas d'accélérer Google. C'est de rendre votre site plus facile à lire que celui du voisin.
