Il y a une scène que je vois revenir sans arrêt chez les gens qui me demandent un coup de main : ils publient un article, attendent trois jours, tapent son titre dans Google, ne le trouvent pas, et concluent que leur site est "cassé". Neuf fois sur dix, le site n'a rien de cassé. Google n'est simplement jamais venu lire la page, ou il est venu, s'est cogné à un mur, et est reparti.
Préparer votre site au crawling de Google, ce n'est pas une histoire de magie SEO. C'est du ménage. Vous dégagez le chemin, vous enlevez les pièges, et vous laissez le robot faire son travail sans qu'il perde son temps. Quand je repense à mon premier site, en 2019, je m'étais battu pendant deux mois contre une page d'accueil qui refusait de s'indexer… à cause d'une seule ligne dans mon robots.txt. Une ligne. Deux mois.
Points clés à retenir
- Le crawl est une première étape distincte de l'indexation : une page peut être explorée sans jamais être classée.
- Un robots.txt mal écrit ou un
noindexoublié bloque tout, silencieusement. - Les erreurs qui coûtent le plus cher ne sont pas les 404 : ce sont les redirections en chaîne et les soft 404.
- Le budget de crawl d'un site se gaspille sur les pages sans intérêt (paramètres d'URL, filtres, doublons).
- Google Search Console est votre unique poste de pilotage : sans elle, vous travaillez à l'aveugle.
- Corriger une erreur de crawl prend souvent cinq minutes. La détecter, c'est là que tout le temps part.
Comprendre le crawling de Google avant de toucher à quoi que ce soit
Un moteur de recherche fait trois choses, dans cet ordre, et il ne les mélange jamais : il explore (crawl), il indexe (stocke et analyse), il classe (affiche dans les résultats). Confondre ces trois étapes est l'erreur de diagnostic la plus fréquente que je croise.
Quelle est la différence entre crawl et indexation ?
Le crawl, c'est la visite. Googlebot arrive sur une URL, lit le HTML, suit les liens qu'il y trouve, et repart avec une copie. L'indexation, c'est le classement en bibliothèque : Google décide si cette copie mérite une place dans son index. Une page explorée peut très bien être rejetée à l'étape suivante — contenu trop maigre, doublon d'une autre URL, balise noindex présente.
C'est pour ça que « demander l'indexation » dans Search Console ne garantit rien. Vous demandez au robot de passer. Vous ne lui ordonnez pas d'aimer ce qu'il trouve.
Le budget de crawl, cette notion qu'on ignore trop longtemps
Google n'explore pas votre site à l'infini. Il dispose d'une enveloppe de requêtes, proportionnelle à la taille et à la qualité perçue de votre domaine. Petit site : quelques dizaines de pages par jour. Gros site : bien davantage. Mais dans tous les cas, ce budget est fini.
Et là, le problème classique : si la moitié de votre budget part sur des URL à paramètres générées à l'infini (?tri=prix&couleur=rouge&page=12 et compagnie), Google n'a plus de quoi explorer vos vrais articles. Je l'ai vécu sur une boutique : le rapport d'exploration montrait 68 % des requêtes dirigées vers des pages de filtres. Les fiches produits, elles, attendaient leur tour.
Les erreurs de crawl les plus fréquentes (et comment les repérer)
Un crawl qui échoue ne vous envoie jamais de mail. C'est tout le drame. Il faut aller regarder.
Robots.txt et noindex : le duo qui tue en silence
Le fichier robots.txt, placé à la racine du domaine, dit au robot ce qu'il n'a pas le droit d'explorer. Le piège, c'est qu'un Disallow: / ajouté en urgence pendant une maintenance puis oublié bloque l'intégralité du site. Du jour au lendemain, plus rien n'est exploré. Sans aucune alerte.
L'autre classique : une balise <meta name="robots" content="noindex"> laissée par un développeur sur un environnement de test, puis déployée en production. Vérifiez toujours le HTML servi, pas celui de votre éditeur.
- Robots.txt : lisez-le à voix haute, ligne par ligne. Un
Disallowsur une URL que vous voulez voir indexée est une hérésie fréquente. - Balise noindex : cherchez-la sur vos pages stratégiques avec un simple « contrôle F » dans le navigateur.
- En-tête HTTP X-Robots-Tag : oubliée par presque tout le monde, elle fait exactement la même chose que la balise meta, mais côté serveur. Je l'ai découverte trop tard sur un PDF que je voulais voir indexé.
404, 5xx, soft 404 : comment diagnostiquer
Toutes les erreurs ne se valent pas.
| Code / type | Ce que ça veut dire | Priorité de correction |
|---|---|---|
| 404 | Page absente. C'est normal si l'URL n'a jamais existé. | Faible, sauf si elle reçoit du trafic entrant |
| 5xx | Erreur serveur. Le robot repassera, mais il perd confiance. | Élevée, immédiate |
| Soft 404 | La page renvoie « 200 OK » mais affiche « aucun résultat ». | Élevée, elle trompe Google |
| Redirection en chaîne | A → B → C. Le robot perd du budget à chaque saut. | Moyenne, à corriger en une seule redirection |
| Boucle de redirection | A → B → A. Google abandonne. | Critique |
Le soft 404 est le plus sournois. Vous avez une page de recherche interne qui renvoie un statut 200 alors qu'elle n'affiche rien. Google voit une page vide, la considère comme du vide, et gaspille une visite pour rien. La correction passe par un vrai code 404 côté serveur quand le résultat est vide.
Comment préparer concrètement votre site au passage de Googlebot
Trois chantiers. Dans cet ordre.
Un sitemap XML propre, c'est la moitié du travail
Le sitemap ne fait pas indexer. Il signale. Il dit : « voici la liste des URL que j'estime importantes ». Un sitemap propre contient uniquement des URL en 200, sans redirection, sans noindex. Un sitemap qui liste 4 000 URL dont 2 500 renvoient une redirection perd toute crédibilité auprès de Google.
Générez-le, soumettez-le dans Search Console, puis vérifiez régulièrement qu'il ne contient pas d'URL cassées. Sur mon site, j'ai retiré un jour 40 % des entrées du sitemap. Le taux de pages explorées est remonté en trois semaines. Rien d'autre modifié.
Le JavaScript et le rendu : le chantier qu'on repousse
Google sait exécuter le JavaScript. Mais il le fait en deux temps : il lit d'abord le HTML brut, puis il rend la page plus tard, parfois plusieurs jours après. Conséquence directe : si votre contenu n'apparaît qu'après exécution du JS, il peut mettre du temps à être vu.
La solution que je recommande, sans hésiter : servez le contenu essentiel dans le HTML initial. Rendu côté serveur, pré-rendu, statique — peu importe la technique, l'objectif est le même. Le texte doit être là dès la première réponse, avant que le navigateur n'exécute quoi que ce soit.
Search Console : votre tableau de bord obligatoire
Si vous ne deviez installer qu'un seul outil, ce serait celui-là. Gratuit, officiel, et il vous dit exactement ce que Google pense de votre site.
Le rapport « Statistiques d'exploration », mine d'or sous-exploitée
Presque personne ne l'ouvre. Pourtant il répond à trois questions vitales : combien de requêtes Googlebot envoie chaque jour sur votre domaine, quels codes de réponse il rencontre, et quels fichiers il télécharge le plus.
Regardez la répartition par type de fichier. Si Googlebot passe 70 % de son temps à télécharger des images ou du CSS, votre budget part dans le décor. Regardez aussi la courbe : une chute brutale du nombre de requêtes signale souvent un blocage côté serveur ou un robots.txt modifié. J'ai repéré une panne de ce type en moins de dix minutes grâce à ce graphique, alors que personne dans l'équipe ne s'était rendu compte que le site était partiellement injoignable depuis une heure.
Demander l'indexation d'une URL, mode d'emploi
L'outil d'inspection d'URL vous permet de tester une page en direct. Vous y voyez : le statut de l'exploration, si la page est indexable, quelles ressources bloquent le rendu, et si elle est déjà dans l'index. Un bouton « Demander l'indexation » déclenche une visite prioritaire.
Attention : ça n'a rien d'un accélérateur magique. Si votre page est un doublon ou du contenu vide, Google l'explorera et la rejettera. La demande d'indexation ne sert qu'à gagner du temps quand tout le reste est déjà propre.
La checklist avant chaque mise en ligne
J'ai construit la mienne après une série d'incidents. Elle tient en cinq points, et elle m'a évité bien des sueurs.
- Robots.txt : vérifié, aucune ligne ne bloque une URL légitime.
- Balise meta robots : absente des pages stratégiques (sauf noindex volontaire documenté).
- Statut HTTP : 200 pour les pages vivantes, 301 en une seule redirection pour les anciennes URL.
- Sitemap : à jour, sans URL en erreur.
- Search Console : une inspection d'URL sur la page principale, pour confirmer que tout est en ordre.
Ce dernier point prend trente secondes. Il vous fera gagner des jours.
Bref, préparer votre site au crawling de Google, ce n'est pas une question de technique avancée. C'est une question d'attention à trois choses : le chemin (robots.txt, redirections), le contenu servi (HTML initial, statut HTTP), et la surveillance (Search Console). Le reste, c'est de la littérature.
Et si un jour votre page ne s'indexe pas malgré tout, ne cherchez pas du côté de l'algorithme. Ouvrez le rapport d'exploration, regardez la ligne du blocage. La réponse est presque toujours là, sous vos yeux, dans une ligne que quelqu'un a oublié de supprimer. La vraie question, au fond, ce n'est pas « comment forcer Google à venir ? ». C'est « qu'est-ce qui, dans mon site, décourage Google de revenir ? ». Répondez à celle-là, et le crawling suivra tout seul.
