Robots.txt

Niveau : Intermédiaire

Objectifs pédagogiques

À l’issue de cette astuce, vous saurez :

• Comprendre le rôle du fichier robots.txt et son impact sur l’indexation.
• Lire et interpréter les directives principales d’un fichier robots.txt.
• Vérifier et modifier votre robots.txt via votre plugin SEO sans risque d’erreur.

Qu’est-ce que le fichier robots.txt ?

Le fichier robots.txt est un fichier texte placé à la racine de votre site (monsite.fr/robots.txt). C’est la première chose que lit un robot d’exploration — Google, Bing, PerplexityBot — avant de visiter quoi que ce soit d’autre sur votre site. Il lui indique quelles zones il est autorisé à explorer et lesquelles il doit ignorer.

Attention : robots.txt est un fichier sensible. Une erreur de configuration — même minime — peut bloquer l’indexation d’une partie ou de la totalité de votre site. La règle d’or : ne le modifiez que si vous avez une raison précise, et testez toujours avant de sauvegarder.

Les directives à connaître

Le fichier robots.txt repose sur quelques directives simples :

• User-agent — désigne le robot concerné par les règles qui suivent. L’astérisque (*) s’applique à tous les robots.
• Disallow — interdit l’accès à un chemin ou une section du site.
• Allow — autorise explicitement l’accès à un chemin, même dans une zone bloquée par Disallow.
• Sitemap — indique l’URL du sitemap XML directement dans le fichier, pour que les moteurs le trouvent sans soumission manuelle.

Un fichier WordPress correct par défaut ressemble à ceci :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://monsite.fr/sitemap_index.xml

La seule zone bloquée est /wp-admin/ — le panneau d’administration n’a aucune raison d’être indexé. L’exception admin-ajax.php est nécessaire pour que certaines fonctionnalités WordPress fonctionnent correctement.

Accéder et modifier le robots.txt depuis WordPress

Ne modifiez jamais le fichier robots.txt directement via FTP ou un gestionnaire de fichiers d’hébergement — votre plugin SEO propose un éditeur intégré bien plus sûr.

Avec Yoast SEO :

Étape 1 — Allez dans Yoast SEO → Outils → Éditeur de fichier.

Étape 2 — L’éditeur affiche le contenu actuel du fichier robots.txt. Modifiez-le si nécessaire.

Étape 3 — Cliquez sur “Enregistrer les modifications du fichier robots.txt”.

Avec Rank Math :

Étape 1 — Allez dans Rank Math → Général → onglet “Éditeur robots.txt”.

Étape 2 — Modifiez le fichier et enregistrez.

Vérifier votre robots.txt après modification

Après toute modification, vérifiez que votre fichier est valide et n’a pas bloqué de zones importantes.

Dans Google Search Console :

Étape 1 — Dans GSC, utilisez l’outil “Inspection d’URL” et testez l’URL d’une page importante de votre site.

Étape 2 — GSC vous indique si la page est bloquée par robots.txt.

Directement dans le navigateur :

Accédez à monsite.fr/robots.txt — le fichier doit s’afficher et contenir uniquement les directives que vous avez configurées.

Les erreurs fréquentes à éviter absolument

Voici les erreurs les plus courantes et leurs conséquences :

• Disallow: / — bloque l’intégralité du site. Google ne peut plus indexer aucune page. C’est l’erreur la plus grave et malheureusement l’une des plus fréquentes lors d’une migration ou d’un développement en mode maintenance.
• Bloquer /wp-content/ — empêche Google de lire les fichiers CSS, JavaScript et les images. Le site lui semble visuellement cassé, ce qui dégrade son classement.
• Bloquer /wp-content/themes/ ou /wp-content/plugins/ — même conséquence : Google ne peut pas rendre le site correctement.
• Oublier l’exception admin-ajax.php — peut provoquer des dysfonctionnements sur certaines fonctions WordPress dynamiques.

Conseil : si vous avez installé Yoast SEO ou Rank Math et que vous n’avez jamais touché au robots.txt, le fichier généré par défaut est correct. Ne le modifiez pas sans raison précise.

Cas où une modification est justifiée

La plupart des sites WordPress n’ont pas besoin de modifier le robots.txt par défaut. Les cas qui justifient une intervention sont :

• Bloquer un robot spécifique (ex. un scraper agressif) avec une règle User-agent ciblée.
• Exclure une section de pages tests ou de prévisualisation (/staging/, /preview/…).
• Bloquer PerplexityBot si vous ne souhaitez pas que votre contenu soit utilisé par l’IA de Perplexity.
• Ajouter l’URL d’un second sitemap si votre site en génère plusieurs.

Tableau récapitulatif

Ce qu’il faut retenir

Le fichier robots.txt est court mais puissant — une seule ligne mal placée peut bloquer tout votre référencement. Avec WordPress et un plugin SEO, le fichier par défaut est déjà correct et ne nécessite généralement aucune modification. Si vous devez intervenir, utilisez toujours l’éditeur intégré du plugin et vérifiez le résultat dans Google Search Console. Quand vous doutez, ne modifiez pas.