Testez votre robots.txt : qui peut charger quelle URL.
Saisissez votre site et un chemin. Nous lisons votre robots.txt et montrons, pour sept robots à la fois, si l'URL est autorisée et quelle règle a tranché.
Laissez le chemin vide pour tester la page d’accueil. Nous testons sept robots en une fois et indiquons la règle qui tranche.
Un fichier robots.txt indique aux robots quelles parties d’un site ils peuvent charger. Il est lu avant tout le reste, c’est pourquoi une seule mauvaise ligne peut cacher un site entier, et pourquoi il mérite un test à chaque modification.
Comment la décision est prise
Le testeur suit la même logique que celle documentée par Google pour ses robots, qui est aussi le standard publié sous le nom RFC 9309 :
- Choisir le groupe. Un robot utilise le groupe dont la ligne
User-agentcorrespond le plus précisément à son nom, et ne retombe sur*que s’il n’existe rien de plus précis. Un robot qui a son propre groupe ignore complètement le groupe*. - Comparer les règles. Chaque valeur
AllowouDisallowest un préfixe de chemin.*remplace n’importe quelle suite de caractères et$ancre la fin de l’URL. - Laisser la règle la plus précise gagner. Le chemin correspondant le plus long tranche. Quand un
Allowet unDisallowont la même longueur, la règle la moins restrictive,Allow, l’emporte. - Pas de correspondance, c’est autorisé. Si aucune règle ne s’applique à l’URL, elle peut être chargée.
Pour chacun des sept robots, le résultat montre le verdict et la règle exacte qui l’a produit, de sorte que vous voyez pourquoi /blog/ est ouvert alors que /blog/brouillons/ ne l’est pas.
Les robots que nous testons
| Robot | Pourquoi il compte |
|---|---|
| Googlebot | Indexation dans Google Search |
| Googlebot-Image | Recherche d’images |
| Mediapartners-Google | Le robot qu’AdSense utilise pour examiner les pages et associer les annonces. Le bloquer peut empêcher un examen et l’affichage d’annonces |
| Bingbot | Bing, et les moteurs qui réutilisent son index |
| GPTBot, ClaudeBot, PerplexityBot | Robots d’IA qui publient des agents utilisateurs que vous pouvez viser dans le robots.txt. Les autoriser est une décision d’entreprise, pas technique |
Ce que le testeur signale encore
- Un
Disallow: /sousUser-agent: *qui bloque tout le site. - Le crawler AdSense bloqué sur le chemin testé : une erreur sur la page d’accueil, un avertissement ailleurs.
- Des règles qui bloquent ce qui ressemble à des dossiers CSS, JavaScript ou d’assets, dont Google a besoin pour rendre vos pages comme les voient les visiteurs.
- Une ligne
Noindex:, que Google ne prend plus en charge depuis 2019. - Une ligne
Crawl-delay, que Google ignore et que Bing respecte. - Pas de ligne
Sitemap:, et tout sitemap déclaré qui ne répond pas avec un statut de succès. - Une page HTML servie à la place du fichier, c’est-à-dire un soft 404 que les robots ignoreront.
- Les erreurs serveur et la limite de taille du fichier.
Les erreurs courantes
| Erreur | Conséquence | Correctif |
|---|---|---|
Disallow: / resté du site de préproduction | Tout le site est bloqué | Retirez-le, puis testez la page d’accueil ici |
Blocage de /wp-content/ ou /assets/ | Les pages ne peuvent pas être rendues comme les voient les visiteurs | Autorisez les dossiers qui contiennent CSS, JavaScript et images |
| Utiliser robots.txt pour cacher une page | L’URL peut quand même apparaître dans les résultats, sans extrait | Utilisez noindex sur une page crawlable |
| Un seul fichier pour plusieurs sous-domaines | Les règles ne valent que pour l’hôte, le protocole et le port qui servent le fichier | Donnez à chaque sous-domaine son propre fichier |
| Casse différente dans un chemin | /Prive/ et /prive/ sont différents | Reprenez exactement la casse de vos URLs |
Le fichier robots.txt doit se trouver à la racine de l’hôte : https://votre-domaine/robots.txt. Pour la liste complète des pièges et ce que chacun coûte, lisez erreurs de robots.txt qui bloquent Google et AdSense, et pour la place de ce fichier dans une candidature, la checklist des critères AdSense.
Questions fréquentes
Bloquer une page dans robots.txt la retire-t-elle de Google ?
Non. Le robots.txt bloque le crawl, pas l'indexation. Google indique qu'il ne peut pas indexer le contenu d'une page bloquée mais peut quand même indexer l'URL et l'afficher sans extrait. Pour garder une page hors des résultats, laissez Google la crawler et ajoutez une directive noindex.
Que se passe-t-il si mon robots.txt renvoie une erreur ?
Un 404 est lu comme une absence de restriction. Une erreur 5xx est traitée comme un vrai problème : Google indique qu'il suspend le crawl environ 12 heures en réessayant, puis s'appuie sur une copie en cache jusqu'à 30 jours avant de pouvoir cesser de crawler le site.
Y a-t-il une limite de taille ?
Google applique 500 Kio et ignore tout ce qui dépasse. Les vrais fichiers s'en approchent rarement, mais les fichiers générés qui listent chaque URL peuvent l'atteindre.
Guides liés
Critères AdSense pour un site web : la checklist complète
Ce que Google exige vraiment d'un site AdSense, ce qu'il ne dit pas, et la checklist de contenu, de pages et de technique qui sert à préparer un examen.
Erreurs de robots.txt qui bloquent Google et AdSense
Cinq erreurs de robots.txt qui cachent un site à Google ou au crawler AdSense, chacune avec le fichier fautif, le fichier corrigé et le test qui la repère.
Les autres outils
Vérificateur d’éligibilité AdSense
57 tests sur tout votre site, un score et la liste des correctifs.
Vérifier mon siteAnalyse SEO gratuite
Une page en profondeur : jusqu’à 53 contrôles on-page, rapport complet.
Vérifier une pageGénérateur de politique de confidentialité
Une politique avec la mention des cookies publicitaires qu’AdSense attend.
GénérerVérificateur ads.txt
Récupère, analyse et valide votre ads.txt ligne par ligne.
ValiderAperçu du snippet Google
Contrôlez la longueur du titre et de la description en pixels.
Prévisualiser