Exemples de robots.Txt sur PrestaShop : guide SEO

Le fichier robots.txt sert à guider les robots des moteurs de recherche sur votre boutique PrestaShop. Bien rédigé, généré et testé, il oriente l'exploration sans fermer l'accès à vos catégories ni à vos fiches produits.

À quoi sert le robots.txt en SEO ?

Le robots.txt agit sur l'exploration, c'est-à-dire le parcours des pages par les robots. Il ne décide pas de l'indexation, qui reste le choix du moteur de garder ou non une page.

Guider l'exploration des moteurs de recherche

Le fichier indique aux robots d'exploration, aussi appelés crawlers, les zones de la boutique qu'ils peuvent parcourir. Une URL autorisée n'est pas pour autant assurée d'être indexée, ni bien classée dans les résultats des moteurs de recherche.

Le budget de crawl désigne le temps et les ressources qu'un moteur consacre à l'exploration d'un site. Google destine notamment ses recommandations avancées sur ce sujet à certains sites : ceux qui dépassent 1 million d'URL uniques, ceux qui ont au moins 10 000 URL mises à jour très souvent, ou ceux qui ont une forte part d'URL découvertes mais non indexées.

La plupart des boutiques restent sous ces seuils. Pour elles, le vrai risque est d'en bloquer trop : un fichier trop restrictif peut réduire le trafic organique. Prestashop France by Studio Web Design recommande donc de laisser les robots explorer les fiches produits et les catégories.

Distinguer blocage et désindexation

La directive Disallow limite l'exploration, mais ce n'est pas un moyen fiable d'empêcher l'indexation. Une URL connue grâce à des liens peut toujours apparaître dans les résultats, même si le moteur n'a pas pu lire son contenu. Pour qu'une page HTML sorte de l'index, placez une directive noindex dans une balise méta robots ou dans un en-tête HTTP X-Robots-Tag. Pour un PDF, utilisez cet en-tête.

Ce noindex ne fonctionne que si Google peut le lire. Une page bloquée par le robots.txt doit donc redevenir explorable. Si une URL déjà indexée doit disparaître vite, la procédure de suppression proposée par le moteur peut compléter cette correction durable.

Protéger les données hors du robots.txt

N'importe qui peut lire le robots.txt à l'adresse /robots.txt. Y écrire le chemin de pages sensibles peut donc révéler qu'elles existent. Selon la RFC 9309, publiée par l'IETF en septembre 2022, ces règles ne constituent pas un contrôle d'accès. Un robot malveillant peut les ignorer.

Les données privées doivent donc être protégées par une authentification ou un contrôle côté serveur. Même logique pour une préproduction confidentielle : un simple Disallow n'empêche pas les visiteurs d'y entrer. Seule une restriction d'accès adaptée la protège réellement.

Comment écrire et placer un robots.txt valide ?

Un robots.txt valide doit respecter un format précis et se trouver au bon emplacement. Ses directives doivent aussi viser exactement les chemins voulus. Une erreur sur l'un de ces points peut suffire à rendre le fichier inopérant, ou à le rendre trop large.

Respecter le format et la portée du fichier

Le robots.txt est un fichier texte brut, de préférence encodé en UTF-8. Chaque directive tient sur sa propre ligne. Le fichier doit aussi respecter quatre conditions d'emplacement et de portée :

• Le nom exact : robots.txt, en minuscules et avec un « s ».
• Les commentaires : une ligne qui commence par # est ignorée par les robots.
• L'emplacement : le fichier se place à la racine de l'hôte. Pour https://www.exemple.fr, l'adresse attendue est https://www.exemple.fr/robots.txt. Un fichier placé seulement dans les répertoires /themes/ ou /modules/ ne compte pas.
• La portée : les règles ne valent que pour un protocole, un hôte et un port donnés.

Cette portée limitée a des conséquences sur une installation multiboutique ou multilingue. Vérifiez le fichier servi par chaque domaine accessible, ainsi que les chemins préfixés par la langue.

Rédiger les directives sans ambiguïté

Une ligne User-agent ouvre un groupe d'instructions destiné au robot nommé. User-agent: * vise tous les robots qui respectent le protocole. Un autre groupe peut cibler seulement Googlebot. À l'intérieur de chaque groupe, les règles fonctionnent ainsi :

• Disallow : interdit l'exploration d'un chemin qui commence par /. Un Disallow vide ne bloque rien.
• Allow : crée une exception plus précise. Chez Google, la règle au chemin le plus spécifique l'emporte.
• Disallow: / : interdit l'exploration de toute la boutique aux robots concernés. Cette règle est dangereuse sur un site en production.

À l'inverse, Disallow: /recherche/ ne vise que les URL qui commencent par ce chemin. Google accepte aussi le joker * et le symbole $ de fin de ligne pour écrire des règles plus ciblées. Testez leur effet sur les URL que votre boutique produit réellement.

Signaler le sitemap sans modifier les accès

La directive Sitemap donne l'adresse absolue d'un fichier sitemap XML, ou d'un index de sitemaps, publié et accessible. Elle ne modifie aucune autorisation d'exploration.

Le sitemap aide les moteurs de recherche à découvrir les URL canoniques que vous voulez leur signaler. Il ne garantit pourtant ni leur exploration ni leur indexation. Vous pouvez aussi le transmettre par un outil pour webmasters, sans le déclarer dans le robots.txt.

Google limite chaque fichier à 50 000 URL ou à 50 Mo non compressés, selon la limite atteinte en premier. Prestashop France by Studio Web Design recommande d'autoriser l'accès au sitemap dans le robots.txt.

Comment générer ou modifier le fichier dans PrestaShop ?

PrestaShop peut produire un robots.txt de base. Les règles adaptées à votre boutique demandent toutefois une méthode pour ne pas les perdre. Il faut savoir les générer, les sauvegarder, puis les entretenir dans la durée.

Utiliser le générateur natif

PrestaShop intègre une fonction qui génère le robots.txt. Dans la documentation officielle de PrestaShop 1.7, elle se trouve dans « Paramètres de la boutique > Trafic > SEO & URL ». Les libellés peuvent varier selon votre installation. Le fichier obtenu contient des exclusions de départ. Il ne remplace pas l'examen du catalogue, des modules, des URL canoniques et de vos objectifs d'indexation.

Le générateur a aussi une limite. Selon les documentations officielles de PrestaShop 1.7 et 8, une nouvelle génération peut remplacer le fichier existant. Elle efface alors les instructions ajoutées à la main.

Conserver les règles personnalisées

Avant toute intervention, téléchargez le fichier servi en production et gardez une copie de ses règles personnalisées. Cette copie permet de comparer le fichier avant et après l'opération. Prévoyez aussi un moyen de revenir en arrière si une modification risque de bloquer des pages importantes.

Si le générateur ne suffit pas, modifiez le fichier texte avec un éditeur de texte brut. Publiez-le ensuite à la racine du bon hôte, par le gestionnaire de fichiers, en SFTP ou par un déploiement technique.

Maintenir la configuration après publication

Un déploiement automatique peut, lui aussi, écraser les directives ajoutées à la main. Leur sauvegarde doit donc faire partie de la maintenance. Prestashop France by Studio Web Design recommande de vérifier à nouveau la configuration du module de génération du robots.txt après chaque mise à jour de la boutique.

Produits recommandés

Audit SEO PrestaShop | Analyse Complète de Votre Boutique E-commerce

36,00 € 66,00 €

Quelles URL bloquer ou laisser explorables ?

Bloquer une URL est utile quand elle ne sert à rien aux moteurs. C'est risqué quand elle mène à vos produits. Le choix se fait donc famille d'URL par famille d'URL, à partir des chemins réellement produits par votre boutique.

Écarter les chemins sans intérêt pour l'exploration

Certaines zones de PrestaShop ont peu d'intérêt pour les robots. Leur blocage se décide toutefois après avoir vérifié leurs chemins réels et l'objectif visé :

• Le parcours d'achat et l'administration : panier, commande, compte client et back-office.
• La recherche interne : elle peut créer de nombreuses URL de faible intérêt.
• Les paramètres de tri et de suivi : ils produisent parfois des URL redondantes.

Les paramètres demandent plus de prudence que les deux autres familles. Une directive qui vise tous les paramètres sans distinction peut aussi bloquer des pages utiles. Écrivez donc la règle à partir des URL que vous avez réellement observées.

Arbitrer les facettes et la pagination

Le 17 décembre 2024, Google a ajouté à sa documentation des recommandations sur l'exploration de la navigation à facettes, c'est-à-dire des filtres. Elles visent surtout les très grands ensembles d'URL que créent ces filtres. Avant de bloquer des facettes, séparez quatre cas : les combinaisons sans valeur de recherche, les variantes dupliquées, les pages filtrées utiles et les URL qui permettent aux robots de découvrir des produits.

Un filtre de taille, de couleur, de prix ou de disponibilité peut donner une page pertinente. Les liens internes, les balises canoniques ou les directives d'indexation conviennent alors mieux qu'un blocage général. La pagination mérite la même attention : si elle utilise des paramètres, une règle trop large peut la bloquer, alors que ses pages servent souvent à découvrir les fiches produits.

Préserver les pages et ressources essentielles

Les catégories, fiches produits, pages de marque, guides d'achat et contenus éditoriaux utiles restent explorables tant que leur rôle dans le référencement n'a pas été évalué.

Ces pages ont aussi besoin de leurs ressources pour s'afficher. Bloquer tout le répertoire /modules/ ou /themes/ peut priver Google des fichiers CSS et JavaScript nécessaires au rendu. À vérifier en priorité, donc, avant d'ajouter ces règles. Les images utiles à la compréhension des pages demandent la même vigilance.

Le robots.txt doit aussi rester cohérent avec le reste du site. L'accompagnement en référencement naturel PrestaShop de Prestashop France by Studio Web Design relie sa configuration au sitemap, aux redirections, au traitement du contenu dupliqué et à l'optimisation des catégories et des fiches produits.

Comment tester et corriger un blocage ?

Une règle qui semble correcte peut produire un effet inattendu une fois en ligne. Il faut donc contrôler le fichier publié, retrouver la cause d'un blocage, puis suivre sa prise en compte dans le temps.

Contrôler le fichier réellement servi

Après la publication, ouvrez l'adresse /robots.txt sur le bon hôte. Ce contrôle permet de repérer plusieurs problèmes :

• Une ancienne version encore servie depuis le cache.
• Une erreur serveur au lieu du fichier.
• Une redirection inattendue vers une autre adresse.
• Une page HTML servie à la place du texte attendu.

Une fois le fichier validé, testez des URL représentatives : catégorie, produit, filtre, recherche interne et pagination. Dans Google Search Console, comparez ensuite l'inspection de ces URL avec les rapports d'indexation et de sitemaps. Le rapport robots.txt montre le fichier lu par Google et les erreurs qu'il y a trouvées.

Identifier la cause et rétablir l'accès

Si des fiches produits ne sont plus explorées, testez les directives qui s'y appliquent et rétablissez leur accès. Un Disallow: / oublié après une migration ou une préproduction peut bloquer tout le catalogue. Si le rendu d'une page se dégrade, cherchez plutôt les ressources CSS ou JavaScript bloquées. Bloquer une URL redirigée empêche aussi le moteur de voir la redirection.

Si une boutique reste invisible sur Google, le diagnostic technique passe avant la réécriture des contenus, comme le détaille le guide sur les raisons d'une boutique PrestaShop invisible. L'audit SEO PrestaShop de Prestashop France by Studio Web Design vérifie le robots.txt, le sitemap, les balises méta, les canoniques et les modules SEO. Il permet ensuite de classer les corrections par priorité.

Suivre les délais de prise en compte

Selon Google, son cache du robots.txt dure généralement 24 heures. Ce délai s'allonge si le fichier ne peut pas être actualisé. La désindexation suit un autre calendrier : Google doit revenir sur la page pour lire son noindex, ce qui peut prendre des mois.

Après une correction, suivez les journaux du serveur, les erreurs d'exploration, la découverte des pages prioritaires et les impressions. Dans les journaux, vérifiez qu'une requête attribuée à Googlebot vient bien de Google avant d'en tirer une conclusion.